pylon AI 簡介#
透過將先進的深度學習模型納入以 pylon vTools 建立的視覺應用程式中,pylon AI 能夠解決複雜的影像分析挑戰,超越傳統影像處理方法的能力。常見的任務包括 Object Detection 和分類,以及執行個體與 Semantic Segmentation。
運作原理#
本主題將向您展示 pylon AI 如何簡化深度學習的應用,以及其元件與功能如何融入 pylon 生態系統中。
pylon AI vTools 旨在與 pylon Workbench 中提供的標準 vTools 搭配運作。這種整合提供了一種直覺的影像分析方法,充分發揮了傳統影像處理技術與尖端 AI 功能的優勢。
pylon AI 的優勢#
- 極低的開發工作量:您可以使用 pylon AI platform 自由選擇 AI 模型並針對各種處理硬體進行最佳化。這可讓您決定模型的哪個版本在您的硬體上針對您的特定應用程式執行效果最好。無需編寫程式。在針對機器視覺任務最佳化模型後,您可以匯出程式碼並將其新增至應用程式程式碼中。
- 輕鬆部署:簡化將 DL 模型整合至在 pylon Workbench 中建構的應用程式的過程,同時減少時間和複雜度。
- 硬體最佳化:透過針對特定硬體供應商量身打造模型,確保高效能與靈活性。
- 自由選擇模型來源:支援業界標準的 ONNX 格式。這意味著您可以自由選擇用來訓練或建構模型的框架,例如 PyTorch、TensorFlow 或 NVIDIA TAO。由於支援 ONNX,pylon AI 與所有這些框架相容。
- 統一的生態系統:pylon AI 無縫整合至 pylon Software Suite 中,這表示您可以在同一個軟體環境中執行影像擷取、處理和分析。
- 合作夥伴友善策略:善用合作關係以提供全方位的解決方案。
- 增強的成像智慧:最佳化相機參數以將基於 DL 的應用程式的效能發揮到極致,這一切都可以在 pylon Workbench 中完成。
- 卓越的效能與可靠性:精確、無誤的影像分析結果,有助於做出強固的決策。
如需詳細資訊,請造訪 Basler 網站。
支援的模型架構#
選擇正確的深度學習 (DL) 模型是完成影像分析任務的第一步。pylon AI 原生支援一系列模型架構,特別是用於分類、Object Detection 和分割任務的模型,這些模型可以與對應的 AI vTool 搭配使用。
以下是目前可與 pylon AI 原生搭配運作的模型清單。如果您需要其他模型,歡迎隨時聯絡 Basler 並提出您的模型需求。
- 分類
- ResNet50
模型授權:Apache 2.0
模型提供者:MMPretrain
https://mmpretrain.readthedocs.io/en/latest/papers/resnet.html - MobileNetv3
模型授權:Apache 2.0
模型提供者:MMPretrain
https://mmpretrain.readthedocs.io/en/latest/papers/mobilenet_v3.html
- ResNet50
- Object Detection
- YoloX
模型授權:Apache 2.0
模型提供者:MMDetection
https://github.com/open-mmlab/mmdetection/tree/main/configs/yolox - RetinaNet
模型授權:自訂 NVIDIA 授權
模型提供者:NVIDIA TAO
https://docs.nvidia.com/tao/tao-toolkit/text/cv_finetuning/tensorflow_1/object_detection/retinanet.html - YOLO v8
模型授權:AGPL 3.0 (copyleft)
模型提供者:Ultralytics
https://docs.ultralytics.com/tasks/detect/ - YOLO v4
模型授權:YOLO
模型提供者:Darknet
https://github.com/AlexeyAB/darknet
- YoloX
- 執行個體分割
- YOLO v8-seg
模型授權:AGPL 3.0 (copyleft)
模型提供者:Ultralytics
https://docs.ultralytics.com/tasks/segment/
- YOLO v8-seg
- Semantic Segmentation
- SegFormer
Model license: CC-BY-NC-SA-4.0 (copyleft)
Model provider: NVIDIA TAO
https://docs.nvidia.com/tao/archive/5.3.0/text/model_zoo/cv_models/peoplesemsegformer.html
- SegFormer
- Anomaly Detection
Anomaly Detection 模型可依需求由 Basler Technical Support 提供。這可讓 Basler 針對您的特定應用案例完美調整模型。
更多架構將很快推出或可依需求提供。
一旦您選擇了模型,就必須對其進行訓練以識別和分析特定的影像圖案。目前,pylon AI 本身不提供訓練功能。
以下是適合的訓練工具清單:
- Microsoft Azure Machine Learning
- NVIDIA TAO
- Amazon Sagemaker
為了與 pylon AI 搭配使用,所有模型都必須以 ONNX 格式提供,以確保無縫整合與相容性。由於 ONNX 是一種產業標準格式,這讓您在選擇訓練工具時擁有極大的自由度。
pylon AI 元件概覽#
下圖顯示 pylon Software Suite 內容中的 pylon AI 元件。

pylon AI Platform#
pylon AI Platform 是一個 Web 應用程式,可作為管理 DL 模型生命週期的中央樞紐。它為每個 AI vTool 提供不同的機器視覺專案,並允許您建立自己的專案。
使用 AI Platform,您可以開發和最佳化自己的模型,包括效能評測和打包。一旦您對模型的效能感到滿意,便能以套件的形式發布,然後使用 pylon AI Agent 將其部署至 AI vTools。該套件包含所有必要的資訊(例如硬體組態、模型等),以確保最佳效能。
pylon AI Agent#
發布套件後,您可以透過 pylon AI Agent 進行存取。pylon AI Agent 是 AI Platform 與 AI vTools 之間的連結。AI Agent 可協助您管理模型,並將模型部署在處理推論過程的 Triton Inference Server 上。
Triton Inference Server#
Triton Inference Server 負責處理推論程序。在深度學習的領域中,推論是指將訓練好的模型應用於新的未見過資料,並對內容進行預測。
Triton Inference Server 是一套開源軟體,可在各種處理硬體上標準化 AI 模型的部署與執行。它為不同的框架(例如 TensorFlow、PyTorch、ONNX 等)與硬體(GPU、CPU 等)提供一致的推論介面,從而簡化 AI 模型的部署。它支援在多個 GPU 或 CPU 上進行高效的推論。除此之外,它還提供動態批次處理功能,也就是能動態最佳化批次大小,進而提升產出量與資源利用率。
Triton Inference Server 需要使用 pylon AI 的 pylon Supplementary Package 單獨安裝。您可以從 Basler 網站下載此套件。
pylon AI vTools#
pylon AI vTools 互補了 Basler 的標準 vTool 產品組合,並旨在 pylon Viewer 的 Workbench 中與它們無縫協同運作。它們涵蓋了各種應用案例。如需最新的清單,請參閱 pylon AI vTools 區段。
如需使用 vTools 的一般資訊,請參閱 Working with Recipes、Recipe Management 和 Recipe Code Generator。