組織越來越頻繁地轉向人工智慧（AI），為其營運帶來自主效率。與人類相比，與AI相關的洞察力和優化速度更快、更可靠。AI系統利用深度學習（DL）模型，透過深度神經網路（DNN）評估輸入，以做出判斷並產生響應，以實現其部署目標。
有效利用DL所需的資料產生和傳輸量龐大，而物聯網（IoT）提供了大量新的資料輸入，以滿足AI的這一分支。傳統上，聚合和分析資料所需的計算能力都局限於雲端資源。然而，事實證明，將大量資料傳輸到雲端對於許多部署而言是不可行的，因為頻寬和雲端可用性的限制會導致對時間關鍵型應用程式產生不必要的延遲，而且資料敏感性排除了離線傳輸。
為了解決這些限制，邊緣電腦被部署在更靠近其各種輸入端，以快速有效地處理資料，從而保持系統的響應能力。這種硬體干預使在具有挑戰性環境中擁有分散式系統的組織能夠使用AI，以利用豐富的環境洞察力和效能增強功能，實現更高的品質控制、安全性、安全保障和效率。但要將DL帶入堅固耐用的邊緣電腦，DNN需要透過重複接觸各種輸入進行訓練，才能實現計算成本效益高的DL模型，該模型能夠獨立學習並從有限的輸入中做出準確預測。這種基於硬體的深度神經網路精煉稱為機器學習推理。
深度學習模型是如何建立的？
DL模型是透過輸入批次專門資料形成的，這些資料旨在訓練人工神經網路分類和處理某些方面或屬性。DL模型經過訓練，以類似於人類學習過程的方式處理輸入。輸入在每個神經層進行轉換，然後傳遞到下一層進行進一步轉換。轉換的累積使神經網路能夠學習多層非線性特徵，例如邊緣和形狀。層之間的連接根據輸入的總和進行加權，從而提高預期輸出的準確性。錯誤輸出的回饋會路由回各層，相應地調整加權連接，以降低重複錯誤的可能性，進一步完善DL模型。
開發和部署深度學習模型的計算成本很高，需要強大的圖形處理單元（GPU）來實現它們。GPU與通用CPU的不同之處在於它們擅長執行平行計算。GPU旨在將計算分解為可以同時執行並匯總以獲得最終輸出的較小計算。這使得DL模型能夠分解輸入資料以計算各個方面，從而使其能夠辨識視覺或音訊特性，並應用於各種分析或輔助平台。
透過調整連接權重來訓練神經網路，DL模型經過簡化，以降低GPU的計算成本。訓練後的DL模型可以在硬體層面部署，以獨立運作，可依賴其經驗的調整強化來執行認知推理分析。機器學習推理可以進一步改進部署在邊緣的DL模型，使其具有更高的準確性和效率，從而降低系統工作負載成本。透過修剪不必要的處理參數和降低網路複雜性，可以根據邊緣節點的資源可用性自訂優化，以最大限度地提高每個端點的效能。
推理分析如何為智慧化加固邊緣提供資訊？
DL模型一旦經過訓練達到所需的準確性閾值，就可以以其最具資源效益的形式整合到堅固的邊緣電腦中，以執行輸入資料的推理分析。部署在資料來源的堅固邊緣電腦在具有挑戰性、行動、易變或混亂的環境中提供強大的處理能力。在堅固邊緣電腦GPU的支援下，DL模型現在能夠利用訓練以高效率和速度產生準確的輸出，以更少的輸入和資源實現其目標。透過使用堅固邊緣設備執行機器學習推理分析任務，而不是循環利用雲端資源，系統避免了可能阻礙關鍵目標的延遲和雲端可用性問題。這些目標因整合的DNN類型而異，對於堅固邊緣部署而言可能大相徑庭。
卷積神經網路在辨識視訊輸入的形狀、特徵和紋理方面提供出色的速度和準確性。這對機器視覺品質檢查、生物識別處理到條碼掃描等任何事物都具有廣泛的意義。長短期記憶網路是遞迴神經網路的改進形式。它們具有出色的處理靈活性，可用於語音辨識、機器人控制和預測。長短期記憶網路可以實現無監督學習，允許系統自主生成新知識，以適當地處理訓練範圍之外的場景和輸入。這些模型以及其他模型能夠處理相同的資料輸入並協同工作，以實現智慧化的堅固邊緣系統。
加固邊緣推理分析的五大領先應用
1. 智慧監控
堅固耐用邊緣裝置上的推理分析可以即時處理和分析監控攝影機及其他連接外圍設備提供的資料。GPU支援的推理分析驅動對擷取的視訊資料進行即時視訊分析，可應用於無數安全、安保和優化任務。部署在繁忙機場安檢點的攝影機系統可利用推理分析快速執行人臉辨識，方法是交叉引用註冊乘客影像的安全資料庫，提供比人工閘門更快、更準確的安檢和便利。其他參數可應用於相同的視訊資料，以預測行為、辨識可疑或無人看管的物體，以及偵測可能需要立即安全干預的事件。隨著堅固耐用邊緣電腦處理更多資料，機器學習推理分析任務將改進DL模型，以從更遠的距離和各種異常情況下更快地執行辨識功能。
2. 智慧交通系統（ITS）
部署在互聯智慧城市周邊分散式物聯網網路的堅固邊緣電腦接收多種資料類型，這些資料需要立即處理以維持高效的公共系統。GPU驅動的推理任務可以執行車牌辨識以促進收費，快速辨識和定位感興趣的車輛，以及監控交通模式和通勤頻率。這些資料可以路由到其他城市系統進行進一步處理，以同步交通信號系統、公共交通排程、車輛對萬物通訊和緊急調度，從而提高智慧城市營運的安全性、效率和永續性。
3. 工業4.0
工業物聯網 (IIoT) 中的推理分析對於製造和關鍵基礎設施系統的管理具有巨大的影響。部署在不同分散式系統中的堅固邊緣電腦各自專精於推理分析任務，從而實現更安全、更簡化的工業運作。機器視覺系統分析產品的視覺影像，即時檢測人眼無法察覺的缺陷或異常，確保整個製造過程中的高品質一致性。機器學習推理是計量和檢測應用程式的絕佳工具，可以在幾秒鐘內確定缺陷，如下方影片範例所示。
自主機器人在無人監督的情況下執行分配的任務，它們會辨識並響應環境變化，並透過機器學習進行相應調整，以保持生產力，同時不危及人類或其他系統。推理分析向AI平台提供材料消耗、能源消耗和生產能力的資訊，以優化資源可用性，實現永續製造和服務。推理分析在偵測網路入侵和自動初始化網路安全控制措施以抵禦或減輕未經授權的存取方面也至關重要。
4. 自主駕駛車輛和車隊管理
推理分析使車載電腦能夠進行機器學習，這些電腦的任務是自主或半自主地安全操作機動車輛。強大的平行計算處理來自道路的視訊資料，其中包含與路況、危險和來自其他駕駛員的預期操作相關的資訊，以預測未來的結果，並安全地操作車輛控制系統，而不會出現嚴重的延遲。機器學習不斷完善系統的可操作性和響應能力，使其能夠應對訓練之外的情況。來自ITS的關於天氣、旅行和交通狀況的傳入資料可以與GPS結合處理，以優化燃油消耗。此外，語音辨識參數允許對車輛系統進行語音控制。
5. 醫學影像與疾病診斷
推理分析透過在移動或遠程環境中應用計算密集型成像和預測模型，支持醫療AI應用程式。GPU透過快速處理高解析度、多維影像，加速醫學報告的生成，以及基於放射學和電腦斷層掃描的分割和預測模型。在無需犧牲影像品質以提高速度的情況下，醫生能夠在醫療機構外部更快、更準確地診斷患者，從而為患者帶來更好的結果。
Premio Inc. 的 GPU 驅動電腦在堅固的邊緣提供推論分析
Premio 的 VCO-6131E-4M2 從內到外精心設計，旨在惡劣環境中實現卓越的 AI 和機器學習。這款 AI 邊緣推論電腦整合了 Intel® 第 8 代和第 9 代 Core™ 處理器，支援多種效能加速器、未來就緒的連接功能以及強大的儲存空間，可在堅固的邊緣驅動超智慧決策和自動化。AI 邊緣推理電腦的四個可拆卸托盤可快速、熱插拔地載入 NVMe 儲存媒體。NVMe 實現了邊緣資料中心級的讀寫速度。憑藉所有四個硬碟約 8GB/s 的傳輸容量，VCO-6131E-4M2 能為複雜應用程式高效地向整合式 CPU 和 GPU 提供大量資料。快速的資料速度可在邊緣實現更具反應性的推理分析，而內建的 SATA 硬碟則為更常規的計算任務提供輔助儲存支援。這款首創的解決方案賦予了資料即時性，可最大程度地提高 GPU 吞吐量，從而在艱難的工業環境中實現更全面的 AI 和機器學習。
Premio 的工業 GPU 電腦將強大的平行運算能力帶入幾乎任何堅固的邊緣部署。NVIDIA Pascal™ 架構上建構的 NVIDIA GeForce®GTX 1050 Ti 圖形引擎，可實現靠近資料來源的響應式推理分析，以減少網路複雜性並避免影響時間關鍵應用程式的延遲。工業 GPU 電腦支援功能強大的 RTX 2060 Super GPU 等處理器，可為更高強度的推理分析提供三倍的運算平行性。
RCO-6020-1050TI GPU 電腦和VCO 系列機器視覺電腦專為挑戰性部署中的高效能運算而設計。這些工業 GPU 電腦採用 Intel 第 6/7 代處理器設計，可提供相當可觀的 IIoT 硬體效能。憑藉改進的處理和圖形效能，Intel CPU 針對機器和電腦視覺進行了優化，將圖形處理從主 CPU 核心卸載。無風扇、無纜線的架構消除了在堅固邊緣部署中縮短電腦生命週期的故障點。這些裝置經過評定，可在高衝擊、振動和湍流環境中（例如行動和工業環境）保持耐用性。它們具有寬廣的工作溫度範圍，可承受極端高溫和低溫，寬電壓輸入確保在電壓不穩定或波動的地區具備電源適應性。Wi-Fi 和 4G/LTE 等強大的無線連接功能確保雲端資源的可用性，以實現最堅固邊緣部署中的備份、資料傳輸和運作冗餘。TPM 2.0 硬體安全和邊緣自主性可保護敏感資料和訊號，使其無需重新路由到可能受損的雲端資源即可進行處理。
隨著連線能力的進步擴展了物聯網，尋求利用大量豐富資料來提高安全性、安全保障、可操作洞察力和流程優化的組織將進一步探索其網路的堅固邊緣。Premio 的加固邊緣電腦和工業 GPU 電腦透過延長的平均無故障時間 (MTBF)、強大的處理能力和即時響應能力，確保任務的即時性。