pylon AI Platform#
它針對每個 AI vTool 提供不同的機器視覺專案，並允許您建立自己的專案。它支援模型生命週期管理的所有階段，從開發到部署，包括針對各種硬體環境進行模型最佳化。
請聯繫 Basler 銷售團隊以取得 pylon AI Platform 的存取權。
運作原理#
作為導引，以下章節提供了一些背景資訊，並說明使用 pylon AI Platform 建立專案的關鍵面向。
概念與術語#
模型：模型是一種可以使用範例影像進行訓練的演算法。根據訓練結果，模型隨後便能夠「預測」影像內容。
架構：模型的架構決定了模型的工作方式。不同的機器視覺任務可使用不同的架構。
資料集：資料集是與特定問題或任務相關的資料集合。它包含與該問題相關的所有視覺屬性。
例如，貓和狗的影像可以組成一個分類模型的資料集，用於區分貓和狗。如果模型不僅需要區分貓和狗，還需要區分老鼠，則必須將老鼠的影像資料新增至資料集中。
通常，資料集分為三個部分：
- 訓練資料：訓練資料構成了深度學習模型用於學習的資料集中最大的一部分。模型會調整其權重，以識別訓練資料中的模式。
- 驗證資料：驗證資料由 DL 模型用於評估其在訓練期間的行為。它獨立於訓練資料之外，不用於最佳化。
- 測試資料：訓練完成後，會使用測試資料評估模型的效能。測試資料代表新的、未見過的範例，並展示模型對現實世界資料的泛化能力。
您可以使用 pylon Viewer 的錄製功能來建立您自己的資料集。若要完成資料集，您還必須為影像進行標註。如需詳細資訊，請參閱下方的標註/標籤一節。完成資料集後，您可以將其新增至 pylon AI Platform 上的專案中。
目前，資料集僅支援 CVAT for images 格式的 1.1 版本。您可以使用 CVAT Server 標註資料，或將您現有的資料集轉換為 CVAT for images 1.1 格式。
對於後者，您可以從訓練環境中將資料集匯出為 CVAT 格式，或是使用第三方工具轉換現有資料集。為此，Basler 建議使用 Datumaro。
標註/標籤：標註（也稱為標籤）會新增至資料集中，以告知模型資料中的重要內容。在訓練過程中，模型會使用此資訊將預測結果與預期/正確結果進行比較。針對上述分類任務，此資訊會指出影像中呈現的是狗還是貓。
若要為 pylon AI 的使用標註影像，您可以使用外部訓練平台或開源工具 CVAT。這部影片示範了如何使用 CVAT 為 Object Detection 替影像加上邊界框 (Bounding Box) 標註。
訓練：在深度學習的領域中，訓練是指神經網路（模型）從訓練資料中學習的過程。模型會針對所有訓練資料做出預測（請參閱上述「資料集」）。接著會將預測結果與基準真相資料（標註/標籤）進行比較，以計算出偏差值。系統會根據偏差值來調整模型的權重，以將偏差降到最低。此過程會不斷重複，直到誤差盡可能縮小為止。為了驗證模型的效能良好，我們會將模型應用於驗證資料上。
推論：在深度學習的領域中，推論是指將訓練好的模型應用於新的、未見過的資料，並對其內容做出預測。
使用 pylon AI Platform#
本節將帶領您了解建立機器視覺專案的不同步驟。
pylon AI Platform 的設計旨在提供直覺的使用體驗。登入 pylon AI Platform 後，您將看到 Dashboard 檢視畫面。
此處顯示最近發布的 5 個 bundle 以及最近執行的 5 個 trial。
若要開始建立專案，請按一下左側導覽樹狀目錄中的 My Projects。
在 My Projects 檢視畫面中，您可以看到您或具有 AI Platform 存取權的其他人員所建立的所有專案。您可以選擇以清單檢視或磚塊檢視來顯示專案。
專案建立#
您可從建立專案開始。
- 登入 pylon AI Platform。
- 按一下左側導覽樹狀目錄中的 My Projects。
- 在 My Projects 頁面上，按一下 Create new project。
- 在 Create New Project 頁面上，指定您要建立的專案類型，並輸入名稱與簡短說明（選填）。
隨即會開啟專案總覽頁面。
頂端的頁籤導覽會顯示您目前可以執行的所有步驟。某些步驟只有在完成前面的步驟之後才會可用。
在 notification area 中，您在 AI Platform 上執行的每個動作都會彈出一個新訊息。所有訊息都會保留，直到您選擇將其刪除為止。
首頁按鈕可帶您返回專案的總覽頁面。
資料集#
-
按一下 Add data set 按鈕，或按一下上方頁籤清單中的 Data Sets。
-
在 Add Data Set 頁面上，為您要新增的資料集輸入名稱與簡短說明（選填）。
-
按一下 Add。
-
在 Upload Data 頁面上，指定您要上傳的資料格式並新增資料。
目前，資料集僅支援 CVAT for images 格式的 1.1 版本。您可以使用 CVAT Server 標註資料，或將您現有的資料集轉換為 CVAT for images 1.1 格式。
對於後者，您可以從訓練環境中將資料集匯出為 CVAT 格式，或是使用第三方工具轉換現有資料集。為此，Basler 建議使用 Datumaro。
資料驗證會立即開始。驗證成功完成後，您即可檢查標註並繼續建立資料集類別。
-
按一下 Map classes。
-
在 類別對應 對話方塊，按一下 Autocreate classes 以根據影像中的標註自動建立資料集類別。
或者，按一下 Add new class 位於下列項目的下拉式清單中 Data Set Class.
-
按一下 OK。
-
在 Upload Data 頁面上，按一下 Upload。
隨即會開啟 Data Sets 標籤頁，您可以在其中檢視您的資料集。 -
按一下資料集以檢視其內容、新增影像並編輯其屬性。當您對資料集的狀態滿意時，請按一下 發佈.
您必須發佈資料集，才能在試驗中使用它。
-
返回 Data Sets 標籤頁。
型號#
-
按一下 Models 標籤頁。
-
在 Models 頁面上，按一下 Add model。
-
在 上傳模型 頁面上，輸入您要新增的模型的名稱和簡短描述（選填）。
-
按一下 Create。
-
在 上傳模型 頁面上，指定您要上傳的模型的設定，並新增模型檔案。
上傳與驗證將立即開始。完成後，您可以檢查您的模型包含哪些類別。
-
按一下 Finish。
隨即會開啟 Models 標籤頁，您可以在其中檢視您的模型。 -
按一下模型以檢視其屬性。
-
返回 Models 標籤頁。
對應#
資料集與模型通常包含比特定任務所需的更多類別。對應是將資料集類別與模型類別進行配對的過程，藉此定義您在專案中尋找的目標。為此，您必須新增專案類別，並將所需的資料集與模型類別指派給它們。
-
按一下 對應 分頁中看到所有視覺任務的可用模型。
-
在 對應 標籤頁，然後按一下 Create project class 以建立您的第一個專案類別。
或者，您也可以使用 Automap 功能。
-
如有需要，可將預設名稱變更為其他名稱。
-
在其中新增資料集類別與模型類別。
您可以直接從右側對應的標籤頁中拖放類別。透過下拉式清單，您可以變更資料集及其版本以及模型版本。
-
重複步驟 2 至 4，直到建立所有需要的專案類別為止。
-
排除所有不需要的資料集與模型類別（詳細資訊請參閱排除類別）。
自動對應#
自動對應（Automapping）允許您根據名稱，只需按一下即可將資料集和模型類別對應至專案類別。如果沒有與資料集和模型類別名稱相符的現有專案類別，將會建立一個具有該名稱的新專案類別。因此，如果您擁有的資料集類別或模型類別多於您想使用的數量，請務必在使用自動對應之前將其排除。
自動對應僅適用於未對應的類別。先前已手動對應的任何類別將保持其類別不變。
如果資料集或專案類別的名稱包含「background」或「excluded」等字眼，系統將根據專案類型將其排除或定義為背景。
自動對應不區分大小寫，但類別名稱必須完全相同。
若要使用自動對應：
-
在右側的 Data Set Classes 標籤頁中，排除所有不需要的資料集類別。
-
按一下 Automap.
-
在 Automapping Summary 對話方塊中，檢查您是否要建立其中列出的所有專案類別。
您可以取消選取任何不需要的類別。取消選取的類別將保持未對應狀態。請務必在之後將其排除。 -
按一下 Map classes。
系統會建立專案類別，並將資料集類別新增至其中。 -
在右側的 Model Classes 標籤頁中，排除所有不需要的模型類別。
-
按一下 Automap.
-
Automapping Summary 對話方塊會顯示現有的專案類別、將對應至這些類別的模型類別，以及將建立的任何新專案類別。檢查您是否要建立列為新類別的專案類別。
您可以取消選取任何不需要的類別。取消選取的類別將保持未對應狀態。請務必在之後將其排除。 -
按一下 Map classes。
系統會建立尚未存在的專案類別。模型類別會新增至新專案類別和現有專案類別中。
排除類別#
必須排除不想在專案中使用的模型類別，才能完成對應。這對於從模型取得正確的統計資料是必要的。
若要排除類別，請選取所有不需要的模型類別，然後按一下 Exclude。或者，您也可以將選取的類別拖曳至畫面底部，並將其放置在 Excluded 區域中。
對於分割專案，情況略有不同。在此情況下，所有多餘的模型類別都必須定義為背景。若要這樣做，請選取所有不需要的模型類別，然後按一下 Define as background。或者，您也可以將選取的類別拖曳至畫面底部，並將其放置在 Background 區域中。
這兩項操作都可以透過使用對應的按鈕或透過拖放來還原。
套用專案時，將不會考慮排除的類別。這表示您不會獲得關於這些類別的任何結果。
試驗#
-
按一下 Trials 標籤頁。
-
在 Trials 頁面上，按一下 Add trial。
-
在 建立試驗 頁面上，為您想要新增的試驗輸入名稱和簡短描述（選填）。
-
在 專案資產 區域中，按一下 新增資料集 以選擇您想用於試驗的資料集。
-
在 專案資產 區域中，按一下 新增模型 以選擇您想用於試驗的模型。
-
在 專案資產 區域中，按一下 檢查對應.
您應該檢查對應並進行任何必要的變更。建立試驗後，您將無法再變更專案類別。
-
按一下 Create。
-
按一下新增下一筆試驗執行。
-
選擇硬體和模型格式。
-
按一下 執行試驗.
試驗執行會立即開始。執行完成後，統計資料會顯示在試驗頁面上。
-
如果您對結果滿意，可以透過按一下試驗旁的 釋出 Bundle 按鈕來釋出 Bundle。
-
變更 Bundle 名稱並輸入描述（選填）。
-
按一下釋出 Bundle。
正在產生 Bundle。 -
返回專案概覽頁面並按一下Bundles標籤頁。
稍等片刻後，您的 Bundle 就會顯示在此處。
套件組合#
釋出後，Bundles 會顯示在Bundles標籤頁上。在此處，您可以檢查 Bundle 的屬性，還能檢視產生該 Bundle 的試驗執行詳細資料。
Bundle 包含 vTool 執行視覺任務所需的全部必要資訊（例如硬體組態、模型等）。現在它已準備就緒，可以使用 pylon AI Agent 部署至 AI vTools。
您也可以將套件下載至本機或遠端儲存位置。在這種情況下，無法存取 pylon AI Platform 的使用者仍可使用套件中的模型。
外部專案#
pylon AI Platform 允許您連線至其他平台，例如 Intel Geti 和 Landing AI。您可以匯入在這些平台上建立的專案，並在其上使用不同的硬體和模型執行試驗。
若要建立與其他平台的連線，您必須新增該平台的 API 金鑰。
若要新增 API 金鑰：
- 登入 pylon AI Platform。
- 在左側導覽樹狀結構中，按一下 設定.
- 在 設定 檢視中，按一下 新增 API 金鑰.
當 新增 API 金鑰 對話方塊隨即開啟。
- 在 Add API Key 對話方塊中，選取所需的平台並輸入該平台的 API 金鑰。
取得 API 金鑰的說明可在這裡找到：
Intel Geti
Landing AI - 按一下 Save。
您新增的 API 金鑰會顯示在 API Keys 頁面上。此外，您已建立連線之外部平台所建立的專案，現在也可以在 External Projects 檢視中使用。
現在，您可以將外部專案匯入專案庫中並進行測試。請注意，外部專案是唯讀的。您無法在 pylon AI Platform 上編輯其資源（例如資料集）。如果您想要進行變更，必須在原始平台上執行。
若要匯入外部專案：
- 在左側導覽樹狀結構中，按一下 外部專案.
- 按一下您要匯入的專案。
- 在 Data Sets、Models 和 Mapping 索引標籤上檢閱專案的資源。
- 如果您對專案滿意，請按一下 匯入專案.
- 輸入名稱和簡短描述（選填）。
- 按一下 Next。
- 選取您要匯入的資料集。
您也可以在後續階段執行此操作。您只能匯入屬於外部專案一部分的資料集。 - 按一下 Next。
- 請選擇您要匯入的模型。
您也可以在之後的階段進行此操作。您只能匯入屬於外部專案一部分的模型。 - 按一下 Import。
該專案隨即會被匯入並新增至您的專案庫中。 - 在左側導覽樹狀結構中，按一下 我的專案.
您剛剛新增的專案現已可用。 - 按一下該專案進行編輯（例如新增資料集與模型，如果您尚未這樣做的話），並檢視對應關係。
- 執行 trials 並建立 bundles。