Object Detection vTool#

Object Detection vTool 會根據您所選定的模型，偵測並分類影像中的物件。

Object Detection vTool 能夠對透過「Image」輸入接腳接收的影像中的物件進行分類。它會透過「InferenceImage」、「BBoxes_px」、「Classes」及「Scores」輸出接腳輸出結果。系統會在每個偵測到的物件周圍繪製一個邊界框。

若您在偵測前使用「ROI Creator vTool 」來指定感興趣區域（ROI），則「Object Detection 」vTool 會透過其Roi輸入接腳接收 ROI 資料。在此情況下，偵測僅針對感興趣區域進行。此舉的附帶效果是能加快處理速度。

如需購買「Object Detection vTool」的授權，請造訪Basler 網站。

運作原理#

假設您想在影像中偵測並辨識特定的物件，例如畫面中的人或其他元素。

這是您的輸入圖片，圖中顯示了六名身穿滑雪裝備的孩童：

您可透過載入一個已受訓用以偵測各種物件（包括人員和滑雪裝備）的模型，來設定 vTool。

接下來，您可以選取想要偵測和分割的類別。有些模型可能會完全針對您的使用案例量身打造。在這種情況下，所有想要的類別都已經被選取。

配置完 vTool 後，您需執行該配方以啟動推論流程。vTool 會利用模型分析影像，並識別及定位其中的物件。分析完成後，系統會回傳分割結果，其中包含影像中每個被偵測到的獨立物件實例的邊界框、類別標籤及置信度分數。

這是接腳資料檢視中的結果影像：

系統偵測到六名人物，其位置位於標有「person」字樣的紫色包圍框內。同樣地，系統也偵測到五副滑雪板，其位置位於標有「skis」字樣的包圍框內。

詳細輸出

• 邊界框 (Bounding Box)：邊界框是繪製在偵測到的物件周圍的矩形。針對每個邊界框，會輸出中心像素、寬度、高度和旋轉。
• 類別：人、滑雪板
  類別標籤顯示，模型將邊界框內的物件識別為「人」或「滑雪板」。
• 分數：分數值（例如 0.890817）表示模型對其檢測結果的信心程度，例如 89.08%。分數越高、越接近 1.0，表示信心程度越高。

設定 vTool#

要設定「Object Detection 」vTool：

1. 在vTool「設定」區域的「配方管理」窗格中，按一下「開啟設定」或雙擊該 vTool。
   此時會開啟 Object Detection 對話方塊隨即開啟。
2. 在 伺服器選取 區域中，選取您要連線的伺服器。
   伺服器必須正在執行，才能與其建立連線。
   • 選項 1：手動輸入 Triton Inference Server 的 IP 位址與連接埠。
   • 選項 2：在下拉式清單中選取您伺服器的 IP 位址 / 主機名稱與連接埠。
3. 按一下 Connect 以建立連線。
   接著，vTool 便會載入可用的模型。
4. 在 模型選取 區域中，在下拉式清單選取包含所需模型的 bundle。
   選取 bundle 後，下拉式清單下方的資訊便會填入該 bundle 的詳細資料，讓您可以確認所選取的 bundle 是否正確。
   
5. 如果清單中沒有所需的 bundle，請按一下 部署新模型 下拉式清單中的
   這會開啟 pylon AI Agent ，可讓您部署更多模型。
   
   部署新模型後，您必須按一下 Refresh 按鈕。

6. 在 Detection Settings 區域中，按一下 Select Classes 來選取您要分類的類別。
   隨即會開啟包含可用類別的對話方塊。依預設會選取所有類別。您可以依需求選取任意數量的類別。

   資訊

   此區域中可用的參數取決於所選的模型。部分參數僅在選取特定模型後才會顯示（例如：IOU 閾值）。預設值由模型提供。

7. 在檢測設定中指定其他選項：

   1. Number of objects: 您可以指定要檢測的最大物件數，或選取 Unlimited。
      此限制適用於每個個別類別。如果影像中存在的物件數量多於此處指定的數量，系統將會檢測出評分最高的配對。
   2. Maximum/Minimum height: 如果您想依高度篩選邊界框，請指定適當的值。由於邊界框的高度對應於物件的高度，這可讓您僅檢測所需大小的物件。
   3. Maximum/Minimum width: 如果您想依寬度篩選邊界框，請指定適當的值。由於邊界框的高度對應於物件的寬度，這可讓您僅檢測所需大小的物件。
   4. Confidence threshold: Confidence 是神經網路的一個係數，表示影像中的物件對於所選類別的代表性。較高的值表示較高的 Confidence，且能減少誤報。
   5. 邊緣：您可以透過將偵測到的物件周圍的包圍框的相應邊緣向指定像素數移動，來擴展這些包圍框。這樣可以確保物件完全位於包圍框內。
   6. IOU 閾值：某些邊界框可能會重疊。透過此參數，您可以控制是否要合併這些邊界框。數值越低，容錯度越低，多數邊界框將會被合併。

8. 按一下 OK。

您可以在引腳資料視圖中查看物件偵測的結果。在此處，您可以選擇要顯示哪些輸出。

Inputs#

Image#

可直接從「相機」vTool 或任何能輸出影像的 vTool（例如「Image Format Converter 」vTool）接收影像。

• 資料類型：圖片
• 影像格式：8 位元至 16 位元彩色影像

Roi#

接受來自 ROI Creator vTool 或任何其他輸出矩形的 vTool 的興趣區域。如果輸入多個矩形，則會使用第一個矩形作為單一興趣區域。

• 資料類型：RectangleF、RectangleF Array

Outputs#

若要將 vTool 與 Starter vTools 搭配使用，可以將輸出接腳的資料類型從多值資料切換為單值資料。若要這麼做，請使用 Features - All 窗格中的 Data Type Selector 參數。

InferenceImage#

針對每個輸入影像傳回繪製了圍繞所檢測物件之邊界框的影像，以將結果視覺化。

• 資料類型：圖片

BBoxes_px#

為每個檢測到的物件傳回一個邊界框。每個邊界框都是由其中心像素的座標、寬度與高度 (x_center, y_center, width, height) 來定義。邊界框輸出可用作其他 vTools 的 Roi 輸入接腳的輸入。

• 資料類型：RectangleF 陣列

Classes#

傳回所檢測物件的類別標籤。

• 資料類型：字串陣列

Scores#

回傳每個偵測到的物件的置信度分數。

• 資料類型：Float Array

Payload#

傳回有關 Inference Server 效能的額外資訊以供評估。只有在 Debug Settings パラメーターグループの Features - All ペインで有効にした場合にのみ、この出力ピンを利用できるようになります。

• 資料類型：String

相關 vTool#

典型前置元件#

• 攝影機vTool
• Image Format Converter vTool
• Image Loading vTool
• ROI Creator vTool

典型後續元件#

• Barcode Reader vTool
• Image Smoothing vTool（例如：用於隱私模糊處理）