跳至內容
測試伺服器
開發伺服器

pylon AI Agent#

pylon AI Agent 是一個獨立應用程式，可協助您管理深度學習 (DL) 模型並將其部署到應用程式中的 pylon AI vTools。

DL 模型會與硬體組態等一起打包成套件，並透過 pylon AI Platform 發布。發布後，請使用 pylon AI Agent 在 Triton Inference Server 上為 pylon AI vTools 部署模型。

Triton Inference Server 負責處理推論程序。在深度學習的領域中，推論是指將訓練好的模型應用於新的未見過資料，並對內容進行預測。

pylon AI Agent 概覽#

有兩種方式可以啟動 AI Agent：

  • 從 pylon Viewer 的 Workbench 選單
  • 從 vTool 的設定對話方塊
    從 vTool 啟動 pylon AI Agent

這兩種方法都會在 Deployed Models 分頁中開啟 AI Agent。您可以在此檢查哪些模型已經部署。

pylon AI Agent - Deployed Models 分頁

若要部署模型，您可以選擇透過 pylon AI Platform 部署，或是從儲存裝置（例如您的硬碟或隨身碟）部署。

透過 pylon AI Platform 進行部署#

如果您想透過 pylon AI Platform 部署模型，您必須注意以下事項：

  • 如果您是從以下位置開啟 AI Agent： Workbench 選單，您將看到以下位置的所有視覺任務的所有可用模型： 透過 pylon AI Platform 部署 標籤頁。從 Workbench 選單開啟的 pylon AI Agent - 透過 Platform 部署

  • 如果您是從 vTool 的設定對話方塊開啟 AI Agent，您只會看到適用於您目前正在設定之 vTool 的模型。在以下螢幕擷取畫面中，AI Agent 是從 Classification vTool 的設定對話方塊開啟的。
    從 vTool 設定對話方塊開啟的 pylon AI Agent - 透過 Platform 部署

從儲存裝置部署#

如果您想從儲存裝置部署模型，您必須先將包含所需模型的套件從 AI Platform 下載到您想要的儲存媒介上。

pylon AI Agent - Deploy from Storage 分頁

部署模型#

  1. 啟動 Triton Inference Server。
    如需說明，請參閱隨附於 pylon AI 的 pylon Supplementary Package 中的安裝文件。
  2. 透過以下其中一種方法啟動 pylon AI Agent：
    • 從 pylon Viewer 的 Workbench 選單
    • 從 vTool 的設定對話方塊
      pylon AI Agent 會在 Deployed Models 分頁中開啟。您可以在此檢查哪些模型已經部署。

  3. 決定是要從儲存裝置或透過 pylon AI Platform 部署新模型。

    • 從儲存空間部署

      1. 如果尚未下載，請從 pylon AI Platform 下載所需的套件。
      2. 前往 Deploy from Storage 分頁。
      3. 將套件直接拖放至放置區域，或按一下資料夾圖示以瀏覽並選取所需的套件檔案。
        這可以是本機或遠端儲存位置。
      4. 按一下 Deploy。
      5. 在 選擇伺服器 對話方塊中，選取您要部署模型的 Triton Inference Server。
        選擇伺服器
      6. 按一下 OK。
        部署將會立即開始。部署完成後會顯示訊息。

    • 透過 pylon AI Platform 部署

      1. 前往 Deploy via pylon AI Platform 分頁。
      2. 按一下 Log in 按鈕登入 pylon AI Platform。
        系統會將您導向 AI Platform 以便登入。完成後，網頁應該會關閉，並自動返回 AI Agent。如果沒有自動返回，請手動返回 AI Agent 以繼續。
      3. 選取表格中列出的一個或多個套件。
      4. 按一下 Deploy。
      5. 在 選擇伺服器 對話方塊中，選取您要部署模型的 Triton Inference Server。
        選擇伺服器
      6. 按一下 OK。
        部署將會立即開始。部署完成後會顯示訊息。

一般注意事項#

  • Model naming: 您無法在 Triton Inference Server 上部署多個同名模型。在 Triton Inference Server 的模型儲存庫中，每個模型都必須具有唯一的名稱。之所以需要唯一名稱，是因為 Triton Inference Server 會使用模型名稱作為識別碼，以管理並將推論要求路由至適當的模型。如果存在兩個同名的模型，伺服器將無法加以區分。
  • Network latency and bandwidth: 請確保有足夠的頻寬。大型模型的下載可能會耗費較長時間，特別是在頻寬有限的網路上。
  • Sufficient local storage: Triton Inference Server 需要足夠的本機儲存空間來快取或暫存已下載的模型。如果本機儲存空間有限，在同時部署大型或多個模型時可能會遇到問題。
  • 遠端執行伺服器與 vTools： 如果您在遠端電腦上執行 Triton Inference Server，同時又從其他位置執行 AI vTools，請注意以下重要的限制與事項：
    • 發出推論要求的 vTools 與 Triton Inference Server 之間傳輸資料所需的時間，可能會影響整體回應時間。
    • 高延遲會減慢推論過程，特別是對於即時應用程式而言。
    • 有限的網路頻寬可能會導致通訊緩慢或不可靠，在傳輸大量資料時尤其明顯。