跳至內容
測試伺服器
開發伺服器

pylon AI Agent#

pylon AI Agent 是一個獨立的應用程式，可協助您管理深度學習 (DL) 模型並將其部署至應用程式中的 pylon AI vTools。

DL 模型會與硬體組態等打包成套件，並透過 pylon AI Platform 發布。發布後，請使用 pylon AI Agent 在 Triton Inference Server 上為 pylon AI vTools 部署模型。

Triton Inference Server 負責處理推論程序。在深度學習的領域中，推論是指將已訓練的模型套用到全新的未知資料，並對其內容進行預測。

pylon AI Agent 概覽#

啟動 AI Agent 有兩種方法：

  • 從 pylon Viewer 的 Workbench 選單
  • 從 vTool 的設定對話方塊
    從 vTool 啟動 pylon AI Agent

這兩種方法都會在 Deployed Models 分頁中開啟 AI Agent。您可以在這裡檢查哪些模型已經部署。

pylon AI Agent - Deployed Models 分頁

若要部署模型，您可以選擇透過 pylon AI Platform 部署，或是從儲存裝置（例如您的硬碟或隨身碟）部署。

透過 pylon AI Platform 進行部署#

如果您想透過 pylon AI Platform 部署模型，必須注意以下事項：

  • 如果您已從 Workbench 選單開啟 AI Agent，您將會在 Deploy via pylon AI Platform 分頁中看到所有視覺任務的可用模型。從 Workbench 選單開啟的 pylon AI Agent - 透過 Platform 部署

  • 如果您是從 vTool 的設定對話方塊開啟 AI Agent，您只會看到適用於您目前正在設定之 vTool 的模型。在以下螢幕擷取畫面中，AI Agent 是從 Classification vTool 的設定對話方塊開啟的。
    從 vTool 設定對話方塊開啟的 pylon AI Agent - 透過 Platform 部署

從儲存裝置部署#

如果您想從儲存裝置部署模型，必須先將包含所需模型的套件從 AI Platform 下載到您所需的儲存媒體上。

pylon AI Agent - Deploy from Storage 分頁

部署模型#

  1. 啟動 Triton Inference Server。
    如需相關指示，請參閱隨 pylon AI 附加套件 (pylon Supplementary Package) 提供的安裝文件。
  2. 透過以下其中一種方法啟動 pylon AI Agent：
    • 從 pylon Viewer 的 Workbench 選單
    • 從 vTool 的設定對話方塊中
      pylon AI Agent 會在 Deployed Models 標籤頁中開啟。在此，您可以檢查哪些模型已經部署。

  3. 決定是要從儲存裝置或透過 pylon AI Platform 部署新模型。

    • 從儲存裝置部署

      1. 如果您尚未下載所需的 bundle，請從 pylon AI Platform 下載。
      2. 前往 Deploy from Storage 分頁。
      3. 將 bundle 拖曳至放置區域，或按一下資料夾圖示以瀏覽至所需的 bundle 檔案。
        這可以是本機或遠端儲存位置。
      4. 按一下 Deploy。
      5. 在 選取 Server 對話方塊中，選取您要部署模型的 Triton Inference Server。
        選取 Server
      6. 按一下 OK。
        部署會立即開始。部署完成時會顯示訊息。

    • Deploy via pylon AI Platform

      1. 前往 Deploy via pylon AI Platform 分頁。
      2. 按一下 Log in 按鈕登入 pylon AI Platform。
        系統會將您引導至 AI Platform 進行登入。完成後，網頁應該會關閉，並自動返回 AI Agent。如果沒有發生這種情況，請手動返回 AI Agent 以繼續。
      3. 選取表中列出的一個或多個 bundle。
      4. 按一下 Deploy。
      5. 在 選取 Server 對話方塊中，選取您要部署模型的 Triton Inference Server。
        選取 Server
      6. 按一下 OK。
        部署會立即開始。部署完成時會顯示訊息。

一般注意事項#

  • Model naming: 您無法在 Triton Inference Server 上部署多個同名的模型。每個模型在 Triton Inference Server 的模型儲存庫中都必須具有唯一的名稱。之所以需要唯一名稱，是因為 Triton Inference Server 會使用模型名稱作為識別碼來管理推論請求並將其路由至適當的模型。如果有兩個同名的模型，伺服器將無法分辨它們。
  • Network latency and bandwidth: 請確保有足夠的頻寬。下載大型模型可能會耗費大量時間，特別是在頻寬有限的網路中。
  • Sufficient local storage: Triton Inference Server 需要足夠的本機儲存空間來快取或暫時儲存下載的模型。如果本機儲存空間有限，您在同時部署大型或多個模型時可能會遇到問題。
  • 遠端執行伺服器與 vTools： 如果您在遠端電腦上執行 Triton Inference Server，同時又從其他位置執行 AI vTools，請注意以下重要限制與事項：
    • 資料在發出推論請求的 vTools 與 Triton Inference Server 之間傳輸所需的時間可能會影響整體回應時間。
    • 高延遲會拖慢推論過程，特別是對於即時應用程式而言。
    • 有限的網路頻寬可能會導致通訊緩慢或不可靠，特別是在傳輸大量資料時。