Semantic Segmentation vTool#
Semantic Segmentation vTool 可以對透過 Image 輸入接腳接收到的圖片中的物件進行分類。它會透過 Regions 與 Classes 輸出接腳輸出結果。
如果您還想區分同一類別中的不同個體，請使用 Instance Segmentation vTool。
如果您在進行分割之前使用 ROI Creator vTool 來指定興趣區域，Semantic Segmentation vTool 便會透過其 Roi 輸入接腳接收 ROI 資料。在此情況下，分割只會針對興趣區域進行。這會帶來一個附帶好處，即加快處理速度。
若要購買 Semantic Segmentation vTool 的授權，請造訪 Basler 網站。
運作原理#
假設您想要識別並分割圖片中的人物，將其與背景區隔開來。
這是您的輸入圖片，顯示倉庫環境中的三個人物，背景中有各種設備：
您透過載入已訓練過的模型來設定 vTool，該模型能將圖片分割為兩個類別：person 與 background
接下來，您可以選擇要偵測與分割的類別。有些模型可能完全量身打造符合您的使用情境。在這種情況下，所有想要的類別都已經選好了。
設定完 vTool 後，您即可執行啟動推論處理的 recipe。vTool 會利用模型來分析圖片並分割其中的物件。分析完成後，便會傳回分割結果，也就是區域與類別。
這是接腳資料檢視畫面中的結果圖片，僅顯示分割區域，底下的原始圖片則不會顯示。
如果您在 pin data view 中啟用輸入圖片，分割區域就會覆蓋在原始圖片上方。這可讓您同時檢視原始圖片與偵測到的區域。
詳細輸出
Regions：vTool 反白顯示了模型在圖片中偵測到人物的區域。在輸出圖片中，人物與背景已明確分割，通常會以不同的顏色顯示 (在此例中，人物為紫色，背景為綠色)。
Classes：background、person
設定 vTool#
若要設定 Semantic Segmentation vTool：
- 在 Recipe Management 窗格的 vTool Settings 區域中，按一下 Open Settings 或按兩下該 vTool。
隨即會開啟 Semantic Segmentation 對話方塊。 - 在 伺服器選取 區域中，選取您想要連線的伺服器。
伺服器必須執行中才能與其建立連線。- 選項 1：手動輸入您的 Triton Inference Server 的 IP 位址與連接埠。
- 選項 2：在下拉式清單中選取您的伺服器的 IP 位址 / 主機名稱與連接埠。
- 按一下 Connect 以建立連線。
然後，vTool 會載入可用的模型。 - 在 模型選取 區域中，在下拉式清單中選取包含所需模型的套件 (bundle)。
選取套件後，下拉式清單下方的資訊將會填入套件詳細資料，讓您可以檢查是否已選取正確的套件。
- 如果未列出所需的套件，請按一下 部署新模型 位於下拉式清單中。
這會開啟 pylon AI Agent ，可讓您部署更多模型。
部署新模型後，您必須按一下 Refresh 按鈕。 -
在 Detection Settings 區域中，按一下 Select Classes 以選擇您要分類的類別。
隨即會開啟包含可用類別的對話方塊。預設會選取所有類別。您可以根據需要選取任意數量類別。資訊
此區域中可用的參數取決於所選的模型。某些參數只有在選取特定模型後才會顯示。預設值由模型提供。
-
按一下 OK。
您可以在 pin data view 中檢視分割結果。在此，您可以選擇要顯示哪些輸出。
Inputs#
Image#
直接接收來自 Camera vTool 或輸出影像之 vTool（例如 Image Format Converter vTool）的影像。
- 資料類型：Image
- 影像格式：8 位元至 16 位元彩色影像
ROI#
接受來自 ROI Creator vTool 或任何其他輸出矩形的 vTool 的 Region of Interest。如果輸入多個矩形，則會使用第一個矩形作為單一 Region of Interest。
- 資料類型：RectangleF、RectangleF Array
Outputs#
Regions#
傳回每個類別標籤的區域。
- 資料類型：Region Array
類別#
傳回預測的類別標籤。
- 資料類型：String Array
Payload#
傳回有關 Inference Server 效能的額外資訊以供評估。只有在 Debug Settings 參數群組的 Features - All 窗格中啟用它時，此輸出 pin 才會可用。
- 資料類型：String