pylon AI Platform#
它針對每個 AI vTool 提供不同的機器視覺專案，並允許您建立自己的專案。它支援模型生命週期管理的所有階段，從開發到部署，包括針對不同硬體環境的最佳化模型。
請聯絡 Basler 銷售團隊以取得 pylon AI Platform 的存取權。
運作原理#
作為導引，以下章節提供了一些背景資訊，並說明使用 pylon AI Platform 建立專案的關鍵面向。
概念與術語#
模型： 模型是可以使用範例影像進行訓練的演算法。根據訓練結果，模型隨後便能「預測」影像內容。
架構： 模型的架構決定了模型的工作方式。針對不同的機器視覺任務，有不同的架構可供選擇。
資料集： 資料集是與特定問題或任務相關的資料集合。它包含與該問題相關的所有視覺 Property。
例如，貓和狗的影像可以組成一個分類模型的資料集，用來區分貓和狗。如果模型不僅需要區分貓和狗，還需要區分老鼠，則必須將老鼠的影像資料新增至資料集中。
通常，資料集會分為三個部分：
- 訓練資料： 訓練資料佔資料集的絕大部分，供深度學習模型進行學習。模型會調整其權重以識別訓練資料中的模式。
- 驗證資料： 驗證資料供 DL 模型用來評估其在訓練期間的行為。它與訓練資料保持獨立，且不應用於最佳化。
- 測試資料： 在訓練完成後，會使用測試資料來評估模型的效能。測試資料代表全新的、未見過的範例，並能展現模型對真實世界資料的泛化能力。
您可以使用 pylon Viewer 的錄製功能來建立自己的資料集。若要完成資料集，您還必須為影像加上註解。如需詳細資訊，請參閱下方的註解/標籤一節。完成資料集後，您可以將其新增至 pylon AI Platform 上的專案中。
目前，資料集僅支援 CVAT for images 格式的 1.1 版本。您可以使用 CVAT 伺服器為資料加上註解，或將現有的資料集轉換為 CVAT for images 1.1 格式。
對於後者，您可以從訓練環境中將資料集匯出為 CVAT 格式，或者使用第三方工具轉換現有的資料集。為此，Basler 建議使用 Datumaro。
Annotations/Labels：標註（也稱為標籤）會新增至資料集中，以告知模型資料中的重要內容。在訓練過程中，模型會使用此資訊將預測結果與期望/正確的結果進行比較。對於上述的分類任務，此資訊指示影像描繪的是狗還是貓。
若要為 pylon AI 使用而標註影像，您可以使用外部訓練平台或開源工具 CVAT。此影片示範了如何使用 CVAT 為 Object Detection 標註帶有邊界方框的影像。
Training：在深度學習的背景下，Training 是神經網路（模型）從訓練資料中學習的過程。模型會針對所有訓練資料做出預測（請參見上述的「Data sets」）。將預測結果與基準真相資料（標註/標籤）進行比較以計算偏差。根據偏差，調整模型的權重以將偏差降至最低。重複此過程，直到誤差盡可能減小。為了驗證模型表現良好，會將模型應用於驗證資料上。
Inference：在深度學習的背景下，Inference 意指將已訓練的模型應用於新的、未見過的資料，並對其內容做出預測。
使用 pylon AI Platform#
本節將引導您完成建立機器視覺專案的不同步驟。
pylon AI Platform 的設計旨在提供直覺的使用體驗。登入 pylon AI Platform 後，您將看到 Dashboard 檢視。
這裡會顯示最近發布的 5 個 bundle 以及最近執行的 5 個試用。
若要開始建立專案，請按一下左側導覽樹中的 My Projects。
在 My Projects 檢視中，您可以看到您或具備 AI Platform 存取權限的其他人員所建立的所有專案。您可以選擇以清單檢視或圖磚檢視來顯示專案。
專案建立#
您可以透過建立專案來開始。
- 登入 pylon AI Platform。
- 按一下左側導覽樹中的 My Projects。
- 在 My Projects 頁面上，按一下 Create new project。
- 在 建立新專案 頁面上，指定您要建立的專案類型，並輸入名稱與簡短描述（選填）。
隨即會開啟專案總覽頁面。
頂端的頁籤導覽會顯示您目前可以執行的所有步驟。某些步驟必須在完成先決步驟後才會開放。
在 notification area 中，您在 AI Platform 上執行的每個動作都會彈出新訊息。所有訊息都會保留，直到您選擇刪除為止。
首頁按鈕會將您帶回專案的總覽頁面。
資料集#
-
按一下 Add data set 按鈕，或按一下上方頁籤清單中的 Data Sets。
-
在 加入資料集 頁面上，為您要新增的資料集輸入名稱與簡短描述（選填）。
-
按一下 Add。
-
在 Upload Data 頁面上，指定您正在上傳的資料格式並加入資料。
目前，資料集僅支援 CVAT for images 格式的 1.1 版本。您可以使用 CVAT 伺服器為資料加上註解，或將現有的資料集轉換為 CVAT for images 1.1 格式。
對於後者，您可以從訓練環境中將資料集匯出為 CVAT 格式，或者使用第三方工具轉換現有的資料集。為此，Basler 建議使用 Datumaro。
資料驗證會立即開始。驗證成功完成後，您可以檢查標註並繼續建立資料集類別。
-
按一下 Map classes。
-
在 Class Mapping 對話方塊，按一下 Autocreate classes 以根據圖像中的標註自動建立資料集類別。
或者，按一下 Add new class 位於下方的下拉式清單中 Data Set Class.
-
按一下 OK。
-
在 Upload Data 頁面上，按一下 Upload。
隨即會開啟 Data Sets 標籤頁，您可以在其中檢視資料集。 -
按一下該資料集以檢視其內容、新增圖像並編輯其 Property。當您對資料集的狀態滿意時，請按一下 Publish.
您必須發布資料集才能在實驗中使用它。
-
返回 Data Sets 標籤頁。
型號#
-
按一下 Models 標籤頁。
-
在 Models 頁面上，按一下 Add model。
-
在 Upload Model 頁面上，輸入您要新增的模型的名稱和簡短描述（選填）。
-
按一下 Create。
-
在 Upload Model 頁面上，指定您要上傳的模型的組態並新增模型檔案。
上傳與驗證會立即開始。完成後，您可以檢查您的模型包含哪些類別。
-
按一下 Finish。
隨即會開啟 Models 標籤頁，您可以在其中檢視您的模型。 -
按一下模型以檢視其屬性。
-
返回 Models 標籤頁。
對應#
資料集與模型通常包含比特定任務所需的更多類別。對應是將資料集類別配對至模型類別的過程，以定義您在專案中尋找的目標。為此，您必須新增專案類別，並將所需的資料集與模型類別指派給它們。
-
按一下 對應 標籤頁。
-
在 對應 標籤頁，按一下 建立專案類別 以建立您的第一個專案類別。
或者，您可以使用 Automap feature 定義的設定。
-
如果需要，可將預設名稱變更為其他名稱。
-
將資料集類別與模型類別新增至其中。
您只需從右側的對應標籤頁中拖放類別即可。使用下拉式清單，您可以變更資料集或其版本以及模型版本。
-
重複步驟 2 至 4，直到建立所有需要的專案類別為止。
-
排除所有您不需要的資料集與模型類別（詳情請參閱 Excluding Classes）。
自動對應#
自動對應允許您只需按一下，即可根據名稱將資料集與模型類別對應至專案類別。如果沒有符合資料集與模型類別名稱的現有專案類別，將會建立一個具有該名稱的新專案類別。因此，如果您擁有的資料集類別或模型類別多於您想使用的數量，請務必在使用自動對應之前將其排除。
自動對應僅適用於未對應的類別。先前手動對應的任何類別將會保留在其類別中。
如果資料集或專案類別的名稱包含「background」或「excluded」等字眼，系統將會根據專案類型將其排除或定義為背景。
自動對應不分大小寫，但類別名稱必須完全相同。
若要使用自動對應：
-
在右側的 Data Set Classes 標籤頁上，排除所有不需要的資料集類別。
-
按一下 Automap.
-
在 Automapping Summary 對話方塊中，檢查您是否要建立列出的所有專案類別。
您可以取消選取任何不需要的類別。取消選取的類別將保持未對應狀態。請務必在之後將其排除。 -
按一下 Map classes。
系統將建立專案類別，並將資料集類別新增至其中。 -
在右側的 Model Classes 標籤頁上，排除所有不需要的模型類別。
-
按一下 Automap.
-
Automapping Summary 對話方塊會顯示現有的專案類別、將對應至這些類別的模型類別，以及將建立的任何新專案類別。檢查您是否要建立列為新項目的專案類別。
您可以取消選取任何不需要的類別。取消選取的類別將保持未對應狀態。請務必在之後將其排除。 -
按一下 Map classes。
系統將建立尚未存在的專案類別，並將模型類別新增至新專案類別與現有專案類別中。
排除類別#
必須排除不想在專案中使用的模型類別以完成對應。這對於從您的模型取得正確的統計資料非常必要。
若要排除類別，請選取所有不需要的模型類別，然後按一下 Exclude。或者，您也可以將選取的類別拖曳至畫面底部，並將其放置在 Excluded 區域中。
對於分割專案，情況略有不同。在此情況下，所有多餘的模型類別都必須定義為背景。若要這樣做，請選取所有不需要的模型類別，然後按一下 Define as background。或者，您也可以將選取的類別拖曳至畫面底部，並將其放置在 Background 區域中。
這兩項動作都可以使用對應的按鈕或透過拖放來還原。
套用專案時將不會考慮被排除的類別。這表示您將不會取得其任何結果。
試驗#
-
按一下 Trials 標籤頁。
-
在 Trials 頁面上，按一下 Add trial。
-
在 建立試驗 頁面上，輸入您要新增之試驗的名稱和簡短描述（選填）。
-
在 專案資產 區域，按一下 新增資料集 以選取您要用於試驗的資料集。
-
在 專案資產 區域，按一下 新增模型 以選取您要用於試驗的模型。
-
在 專案資產 區域，按一下 檢查對應.
您應檢查對應並進行任何必要的變更。建立試驗後，您將無法再變更專案類別。
-
按一下 Create。
-
按一下 Add next trial run。
-
選擇硬體與模型格式。
-
按一下 執行試驗.
試驗執行會立即開始。執行完成後，統計資料將會顯示在試驗頁面上。
-
如果您對結果滿意，可以透過按一下 Release bundle 按鈕（位於試驗旁）來發布 bundle。
-
變更 bundle 名稱並輸入描述（選填）。
-
按一下 Release bundle。
系統正在產生 bundle。 -
返回專案概觀頁面並按一下 Bundles 標籤。
過一會兒後，您的 bundle 就會顯示在這裡。
套件組合#
套件發布後，會顯示在「套件」分頁中。在此處，您可以檢視套件的屬性，並查看產生該套件的試行執行詳細資訊。
此套件包含 vTool 執行視覺任務所需的所有必要資訊，例如硬體配置、型號等。現在已可透過 pylon AI Agent進行部署。
您也可以將套件下載至本機或遠端儲存位置。如此一來，即使無法存取pylon AI Platform 的使用者，仍可使用套件中的模型。
外部專案#
pylon AI Platform 允許您連線至其他平台，例如 Intel Geti 和 Landing AI。您可以匯入在這些平台上建立的專案，並在這些平台上使用不同的硬體和模型進行測試。
若要與其他平台建立連線，您必須新增該平台的 API 金鑰。
要新增 API 金鑰：
- 登入 pylon AI Platform。
- 在左側導覽樹中，按一下 Settings.
- 在 Settings 視圖，按一下 Add API Key.
影像 Add API Key 對話方塊隨即開啟。
- 在 Add API Key 對話方塊中，選取所需的平台並輸入該平台的 API 金鑰。
取得 API 金鑰的說明請參見此處：
Intel Geti
Landing AI - 按一下 Save。
您新增的 API 金鑰會顯示在 API Keys 頁面上。此外，在您已建立連線的外部平台上建立的專案現在也可在 External Projects 視圖中使用。
現在，您可以將外部專案匯入您的專案庫中進行測試。請注意，外部專案是唯讀的。您無法在 pylon AI Platform 上編輯其資源（例如資料集）。如果您想進行變更，必須在原始平台上進行。
若要匯入外部專案：
- 在左側導覽樹中，按一下 外部專案.
- 按一下您要匯入的專案。
- 在 Data Sets、Models 和 Mapping 標籤頁上檢視專案的資源。
- 如果您對專案滿意，請按一下 Import project.
- 輸入名稱和簡短描述（選填）。
- 按一下 Next。
- 選取您要匯入的資料集。
您也可以在之後的階段再執行此操作。您只能匯入屬於外部專案一部分的資料集。 - 按一下 Next。
- 選取您要匯入的模型。
您也可以在之後的階段再執行此操作。您只能匯入屬於外部專案一部分的模型。 - 按一下 Import。
專案隨即匯入並新增至您的專案庫中。 - 在左側導覽樹中，按一下 My Projects.
您剛剛新增的專案現在已可使用。 - 按一下專案以進行編輯（例如新增資料集和模型，如果您尚未這樣做），並檢視對應關係。
- 執行 trials 並建立 bundles。