Adaptive Vision
Deep Learning Add-on 深度學習套件
Deep Learning Add-on 是?Adaptive Vision 研發團隊運用大型深度神經網路,以及自行研發的 WEAVER 推論引擎,針對工業檢測系統的應用來...
详细介绍

专為快速导入工业机器视觉场域应用的深度学习套件

产品简介

 

Deep Learning Add-on 是 Adaptive Vision 研發團隊運用大型深度神經網路,以及自行研發的 WEAVER 推論引擎,針對工業檢測系統的應用來打造的、全新一代的高效能深度學習套件,是机器视觉界的一大技术突破。它集结五大类深度學習工具依需求來選用,您只要用這些工具,經過 20 ~ 50 張影像 Sample 進行訓練後,就能讓本來用傳統演算法檢不好的缺陷、辨識不出來的特徵,達到檢出能力。

當然,在工業檢測的應用場景中,只靠傳統機器視覺演算法,或只靠深度學習都可能無法完全解決問題;所以,為了讓您能建構更完整、強大的機器視覺系統解決方案,Deep Learning Add-on 完全支援 Adaptive Vision Studio 图控操作开发环境、Adaptive Vision Library 函式库,您能轻鬆将传统机器视觉和深度学习整合在一起。

以上是 Deep Learning Add-on 的架構簡圖,除了上述提到的五大类模型以外,它還包含訓練模型的訓練資料標註圖型操作介面 (Labeling GUI)、模型訓練引擎 (Training Engine)、以及辨識時執行速度飛快 WEAVER 推論引擎 (Inference Engine) 等等,全都已經準備妥當,您身為一個開發機器視覺檢測應用的工程師只要呼叫它,不需要因為專案必須用到深度學習解決問題,而花時間去研究深度學習模型如何創建、GPU 加速如何取用、模型及訓練資料檔如何管理、資料標註 (Labeling) 程式設計、影像資料擴展 (Image Augmentation) 等等瑣碎的細節,它都已經幫您搞定了,大大節省開發時程。 無論您是用 Adaptive Vision Studio&苍产蝉辫;还是&苍产蝉辫;Adaptive Vision Library,都能直接取用&苍产蝉辫;Deep Learning Add-on 資源;因此,如果您习惯於图控式流程图环境来开发,您可以用 Adaptive Vision Studio 来呼叫深度学习,如果您习惯撰写程式码,您也可以用&苍产蝉辫;Adaptive Vision Library 来呼叫深度学习;然后它的影像资料结构都是相容的,方便您串接、排列组合各种流程。

為何選擇 Deep Learning Add-on ?

针对工业检测应用

我們內建五大类模型,Feature Detection、Anomaly Detection、Object Classification、Instance
Segmentation、Point Location,均為針對工業應用所設計優化,只要約 20 ~ 50 張影像做訓練,一般即可達到應用需要。我們也在 5.1 版推出 Deep OCR 功能,提升難檢字型的辨識率。

 

支援 GPU / CPU

為了讓訓練更有效率,我們支援最新世代的繪圖處理器 (GPU),GPU 的處理速度會比 CPU 快 3 到 10 倍。模型佈署到產線上後,您可以視情況自由切換選用 GPU 或 CPU 來做推論,因為推論的時候兩者速度差距比較小。

最佳性能

雖然選用的深度模型、硬體性能有所不同,但概括來說用 GPU 的離線訓練時間大約是 5 ~ 15 分鐘;而線上推論時間的長短每張影像介於 5 ~ 100 毫秒。在推論上,我們推出的工業級推論引擎 WEAVER&苍产蝉辫;可以保证最佳的性能,毕竟实际佈署到生产线上后,生产线的产能愈高,愈需要快速的计算检测速度。

操作簡易 / 開發迅捷

我們提供一個簡便的圖形化操作介面,來進行資料標註 (Labeling)、訓練模型、調整參數、管理圖片、管理深度學習模型檔案。除了操作風格簡便一目了然外,您不需要再為了這些功能多寫額外的程式碼,您可以直接執行這支工具軟體,也可以用 Adaptive Vision Studio 呼叫它,也可以用自己写的程式呼叫它,节省专案开发时间。

 

只要少量样本就能学习

雖然只要約 20 ~ 50 張影像做訓練,一般即可達到應用需要,但實際愈多樣本當然訓練的效果愈好。由於蒐集樣本畢竟費時費工,我們的軟體內部會進行資料擴展 (Augmentation) 會利用既有影像自動產生數以千計新的假想影像,讓少量資料的訓練更有效率、更不容易偏頗,以學習到影像中的真正特徵。

最佳整合性 / Total Solution

仿间许多深度学习工具软体只专攻於深度学习。但是在工业检测应用场景中,只靠传统机器视觉,或只靠深度学习都有可能无法完全解决问题;所以,為了让您能建构更完整、强大的机器视觉系统解决方案,我们的深度学习套件支援 Adaptive Vision Studio 图控操作开发环境、Adaptive Vision Library 函式库,您能轻鬆将传统机器视觉和深度学习整合在一起。

简单的示范训练流程

以 Object Classification 模型為例
1.收集影像并保持均一化
  • 取得 20 ~ 50 張影像,好壞都要,影像要盡可能涵蓋物件的變化。
  • 均一化: 每張影像中物件的比例、方向和明暗盡可能保持一致。
    • 為了最佳化训练成功率与效率,我们策略上把模型的学习重点放在区分良品或瑕疵。
    • 如果可以的话尽可能避免让它多分心於学习物件比例、方向、明暗度的变化。
2.训练
  • 打開 Adaptive Vision Studio 並選擇 Deep Learning 的 Object Classification 工具。
  • 打开工具中的编辑器,并载入影像
  • 開始標註影像或使用繪圖工具做記號 (您也可以從 Zillin&苍产蝉辫;云端空间匯入资料)
  • 点击&苍产蝉辫;&濒诲辩耻辞;训练&谤诲辩耻辞;
训练资料集和验证资料集
使用深度學習如同在機器學習的各個領域一樣,遵循正規手法是非常重要的,尤其是將训练资料集和验证资料集分開。訓練資料集是用於訓練模型的一組樣本,我們不能用它來衡量模型的性能,因為這容易產生過於樂觀的結果。因此,我們應該故意用另外一組的樣本 (驗證資料集) 來評估模型。我們的深度學習工具會根據用戶匯入的樣本,在學習過程中會自動分配樣本進行交叉驗證。

3.执行模型推论
  • 执行主程式,并查看结果
  • 您可以另外準备一组测试资料集,完全不匯入训练工具,只在推论的时候测试看看模型是否真的达到您想要的泛用性
  • 重複步驟 1、2 直到結果完全令人滿意。


 
 
 
 
 
 
 

 

 











 

 



 

FAQ 常见问题

  

Adaptive Vision 深度學習套件與 TensorFlow 或 PyTorch 有什麼不同 ?

TensorFlow 和 PyTorch 主要是針對研究員和熱衷程式愛好者的低階框架,相對而言 Adaptive Vision 則屬於應用導向的高階框架。假如貴公司有自己的 AI 研發團隊,則可能會嘗試使用這些開源工具從頭到腳構建自己的解決方案。即使您可以利用幾天的時間用開源框架創建一個可行的功能 DEMO;但如果您想要達到高度性能、高度整合性、使用彈性,要創建一套可用於生產環境的完整解決方案至少需要好幾個月,甚至到幾年 !! 與此相反,我們的深度學習套件已經是一個完整且現成的解決方案。而且它已經在全世界 100 多種不同工業領域項目中進行了現場測試驗證,您今天即可開始使用!

既然我可以選擇用開源神經網絡框架,為何還是該使用 Adaptive Vision 深度學習套件?

因為我們除了有五種針對工業場域優化的神經網絡模型外,我們的解決方案還提供:簡便的圖形化操作介面使資料 Labeling、調整參數、模型訓練、管理圖片、管理深度學習模型檔案更加方便。我們能自動對訓練資料進行 Augmentation 資料擴展、能自動平衡訓練集與驗證集,對於記憶體使用會自動優化管理。
此外,我们有专业的技术团队进行技术支援,我们的深度学习套件经过多年开发、测试和微调,让您立即将其应用到您专案项目中。因為我们已经有完整的解决方案,在衡量成本效益的同时,性价比远高於用开源框架从头到脚用的去建构整套解决方案。&苍产蝉辫;

如果我已经熟悉用开源神经网络框架做模型了呢?

我们有 WEAVER,它既是高性能推論引擎,適合於工業機器視覺檢測,它在底層默默的運作,聯繫 nVidia 顯卡和 Intel 處理器以高性能地運行深度神經網絡。由於它完全是一個商品,所以我司對用戶保證工業級品質和長期支援,它甚至可以支援導入您自建的 Keras .H5 模型檔進行推論,讓您自由整合 Adaptive Vision Studio 及 Adaptive Vision Library。



 






 

 

五大类模型簡介

特徵檢測 (Feature Detection)

這是監督式學習的模型,也是最常用的模型,使用者需要小心地標註訓練集中影像,將缺陷、或您想辨識的特徵位置範圍畫上去。該模型會學習影像的 Key Feature 來判斷好與壞或您想辨識的特徵。
  

太阳能板检测

此應用中必須在具有複雜特徵的背景上,檢測出破損和刮傷。若用傳統做法,需要研究複雜的影像處理演算法,還不一定解得出來,然後針對每一種太陽能板又有多達數十種參數需要調整。使用深度學習,只需要一種工具,事先標註 (監督式學習) 就可以訓練得很好。

卫星影像识别

卫星影像不容易解析,因為它涵盖非常多的特徵。不过,我们的深度学习软体透过训练可以非常稳定且可靠的区别道路和建筑物。








 









 



 

異常檢測 (Anomaly Detection)

這是非監督式模式,或嚴格來說是半監督模式的學習,只需要模糊的告知它良品或不良,使訓練過程更加簡單。適合用在沒有固定的缺陷定義,缺陷種類多樣化無法歸納的應用。這套模型需要提供良品圖樣,以及少量的缺陷圖樣供參考 (前後者比例大約 9:1 或更懸殊) 進行訓練,此後任何可疑的偏差都將幫您查找出來。
  

包装验证

當壽司盒出貨到市場時,什麼位置放什麼食材應該要是固定的。雖然可以接受同一種食材的外觀不完全相同,但食材放錯位置這種缺陷卻很難用 Feature Detection 去定義或標註。解決方式是採用異常模型去學習,以檢測出任何可能的明顯位置改變。

塑胶射出成型检测

射出成型是一個複雜且伴隨許多生產問題的製程。塑膠件可能會折疊或其它形狀的變異,但對客戶來說這都是可以接受的。 我們的深度學習異常檢測工具可以從提供的樣本中接受這種變異,並在生產線上找出有任何異狀的不良品。

 










 


 


 


物件分類 (Object Classification)

物件分类工具能将您输入的影像,经过事先提供指定影像及指定分类来训练,之后能自动区分影像类别,以及输出类别名称以及分类信心指数。
  

瓶盖:正面或反面

塑胶瓶盖在生产时有时会不经意地翻面。假如客户想要检查出这种情况,虽然可以用传统影像处理做到,只是它需要一位专家针对此产品的正反面由打光开始,到分析顏色、形状特徵表现等等,去设计特定的演算法,要是瓶盖种类很多,啟不是每个步骤都要重新来过?所以替代方案是採用深度学习的物件分类功能,从训练的影像中学习瓶盖的正反面特徵。


汽車 3D 鋁合金輪圈掃描檔案識別

一家汽車零件工廠可能生產數以百計樣式不同的鋁合金輪圈。使用傳統的視覺檢測方式要在這麼多樣化的產品中識別出一個特定的輪圈,實際上是不可能的。假如用傳統模板比對 (template matching) 需要大量的計算時間嘗試從數百個模板中一個一個匹配一個一個查找,而這些模板 Golden Model 必須手工逐一建置,耗費太多開發和維護時間。而深度學習是一個相當理想的解決方案,它可以讓程式直接從影像資料庫中學習並訓練,其結果非常的穩定且可靠。

 


















 







個體區分 (Instance Segmentation)

個體區分技術被用來在一張影像中定位、區隔和分類單一或多重物件。它與 Feature Detection (特徵檢測) 不同的地方在於,特徵檢測模型可以找出物件的特徵範圍輪廓、特徵種類,但不能區隔同類型但不同個體的物件;而個體區分模型可以找出物件類型、物件的範圍輪廓,即使物件互相接觸或是重疊也能夠正確區分個體,雖然它的輪廓辨識精度比特徵檢測模型差。
  

坚果分类

混合堅果是一種非常受歡迎的休閒食品,裡面包含各種形狀的堅果。由於包裝中堅果的成份百分比應和標籤上印刷的成分清單一致,客戶希望確保每一種類型都能依比例正確地填充到包裝裡。個體區分模型在這種應用是非常理想的解決方案,因為它能區分物體跟物體,並輸出每個個體分割對象相對應的 Mask,Mask 以 Region 型別來表示,供應用開發者做進一步的 Blob 分析及統計。

包装验证

歐洲常見的湯類蔬菜組合包是以隨機位置包裝在白色塑膠盤上。生產線作業員有時會忘記將某一種蔬菜放到盤子上。 雖然有秤重系統做把關,但客戶在包裝密封前還是想知道商品是否完整。由於不可能有甚麼蔬菜長相完全相同,所以用模板匹配 (template matching) 是不可行的, 最理想的解進方案是採用深度學習的個體區分模型。在訓練階段,您只須在指定的蔬菜上標註蔬菜類型及形狀範圍即可。

 






 










 




特徵點定位 (Point Location)

如果您常涉獵深度學習新知,一定聽過 Object Detection 模型,這是一種經過訓練後,給定輸入影像,能輸出物體種類、包圍該物體的矩形方框 (bounding box) 的模型。
特徵點定位模型是 Object Detection 針對工業應用的簡化版本,它不採用 bounding box 機制,您只要大略提供物體的中心位置以及搜尋半徑即可開始訓練,適合用來偵測具有一定程度形狀變化,但尺寸大小差異不大、個體為數眾多的工業應用案例。
  

蜜蜂跟随

这个案例想要侦测蜜蜂的位置,然后放大检测牠是否感染了疾病。由於蜜蜂每一隻个体都不完全相同,但大小差异不大,所以使用特徵点定位功能,搜寻半径给定足够涵盖蜜蜂的身体大小即可。此外,特徵点定位提供的侦测资讯也能用来估计蜜蜂的数量。

软性物件的机器手臂取放

在軟性物件取放案例中,我們需要用視覺定位資訊來引導機器手臂從輸送帶或容器中來抓取物品。 例如農業自動化的案例中,想抓取小的莖梗,然後將其垂直放置在花盆中。如果用傳統影像處理去設計如何辨識莖梗,一旦辨識錯誤,將導致種植過深或上下顛倒,使根部無法順利生長。利用我們的特徵點定位模型來學習定位植物的特徵部位,就能提供準確的結果。






 













 
 

如何取得