推論是指計算系統根據經過訓練的機器學習演算法進行預測。雖然推論的概念並不新穎，但能夠在邊緣執行這些進階操作是相對較新的技術。
邊緣推論引擎背後的技術是嵌入式電腦。但很明顯，它不僅僅如此，它還具有增強的運算能力、大量的儲存空間和必要的 I/O，可即時處理大量數據。目標是盡可能地在數據生成的位置附近執行操作，以最短的時間實現最準確的結果。該位置通常非常靠近感測器，外部數據會輸入到系統中。一旦做出決策，通常會將其傳回邊緣執行，從而在邊緣實現即時決策。
邊緣推論引擎的一個主要考量是其部署的環境。例如，它是否必須設計成能承受衝擊和振動？它是否會遇到極高或極低的溫度？它是否能提供效能加速的適當平衡？對這些問題的每個答案都可能導致不同的設計，或者至少是不同的設計方法。
有些供應商擁有全套用於環境問題的內部測試設備。這將包括熱調節模擬，當然還有衝擊和振動。在大多數應用中，專為「堅固耐用和散熱應用」設計的系統意味著它可以在 -40°C 至 +70°C 的溫度範圍內運作，並且可以承受高達 20 G 的衝擊和 3 Grms 的振動。
為 AI 加速
通用嵌入式電腦和專為處理推論演算法而設計的電腦之間存在明顯區別。首先，推論引擎需要極致的運算效能。任何設計師都可以從貨架上取下高階 X86 處理器並將其整合到系統中，即使是包含資料中心平台功能的系統。然而，要設計一個能達到最大輸送量的系統，需要人工智慧系統方面（包括硬體和軟體）的深厚專業知識和經驗。Premio 的專家憑藉其強大的硬體工程和工業級電腦平台的設計能力，完美符合這一要求。
產品導覽：AI 邊緣推論電腦 (RCO-6000-CFL) – 堅固的邊緣媒體集線器
Premio 推出了一種名為 Edge Boost Nodes 的模組化技術，可最大限度地提高邊緣的系統效能。硬體節點物理連接到平台的下部，為需要即時洞察數據採集的邊緣級工作負載提供硬體加速。這種兩件式模組化設計有助於保持平台的堅固性，同時透過創新的罐式磚塊中的非揮發性記憶體 (NVMe) 固態硬碟 (SSD) 和用於並行運算效能的 GPU 提供效能加速。每個 Edge Boost Node 都使用高轉速主動冷卻，以確保這些元件的可靠性。
（圖片來源：Premio Inc.）
Premio 提供多種不同的 Edge Boost Nodes。例如，其中一個選項是 RCO-6000-CFL-2N2060S，它增加了一個熱插拔 NVMe SSD 容器，最多可容納兩個 15 公釐 U.2 SSD 和一個 PCIe GPU。第二個選項，RCO-6000-CFL-4NH 提升了儲存能力，支援 x2 個熱插拔 NVMe SSD 容器，可容納兩個 15 公釐 U.2 SSD，用於高容量 NVMe 儲存，同時支援硬體和軟體 RAID。第三個選項是 RCO-6000-CFL-8NS，它更側重於高速 NVMe 儲存，讓系統整合商能夠增加多達八個 7 公釐、2.5 吋 U.2 NVMe SSD，該產品即將加入 Premio 的 Edge Boost Node 產品組合。
RCO-6000-CFL-4NH/8NS AI 邊緣推論電腦 | 模組化 edgeBOOST 節點 | 效能加速 - 堅固的邊緣媒體中心
這種類型的拓撲結構意義重大，因為對於基於邊緣的推論系統，儲存與位於背板上的 I/O 分離，從而最大限度地提高了效能。其「秘密武器」在於平衡可用的 PCIe 通道數量以提供最佳效能，這是一種 Premio 能夠從其嵌入式和資料中心電腦架構設計產品組合中汲取的設計技術。
必須考慮的其他 I/O 包括 USB、COM 介面，甚至 5G。對於電路板供應商和 OEM 來說，處理高吞吐量 I/O 的一種好方法是透過模組化 I/O 子卡，以增加靈活性。透過這種方法，系統可以提供所需的 I/O，並消除應用程式特定工作負載的不必要 I/O 選擇。
AI 應用於 ADAS
當今一項受歡迎的應用是 ADAS，即先進駕駛輔助系統。這些複雜的系統基於有效的數據收集和共享來支援自動駕駛應用，旨在為 L5 自動駕駛提供持續更智慧的演算法。
即時收集、儲存和分析自動駕駛車隊和 ADAS 的數據 | Premio - 堅固的邊緣媒體中心
需要注意的是，這顯然是一個基於邊緣的應用程式，Edge Boost Nodes 設計團隊務必納入適當的堅固化功能和熱調節。例如，系統操作員需要隨時動態了解箱內的溫度。在這種情況下，可能的場景包括一個風扇。作為一個耗電元件，該風扇只會在必要時啟動。
Premio 提供給客戶的軟體開發套件中，有一個應用程式可讓他們最大限度地利用這些風扇，確定它們何時應該開啟、應以何種速度運作等等。該軟體還提供了一個安全閥，可以暫停所有來自各種周邊設備到 CPU 的 I/O 讀取操作。此操作也可以透過實體按鈕和 LED 指示燈執行。
最大限度提高電源效率
電源效率是邊緣推論引擎的首要考量。系統設計師意識到需要將處理能力更靠近 IoT 感測器。一個即時解決方案是增加各種效能加速器，通常以 GPU、NVMe 儲存和 M.2 加速器的形式呈現。這種設計策略的權衡是，每個都是耗電元件，需要解決功耗與效能預算的問題。將這些任務區分到 Edge Boost Nodes 可提高處理能力，並降低主處理器的負載，主處理器在其堅固的寬電源輸入中獨立，範圍從 9 到 48 V DC。模組化 Edge Boost Node 的一個獨特功能是，它在對可靠性至關重要的最嚴苛邊緣工作負載中，為強大的效能加速模組（NVMe SSD、GPU 或 m.2 加速器）提供電源穩定性。
由於基於邊緣的推論引擎會產生大量的數據，因此儲存至關重要。Edge Boost Nodes 包含一個 6 Gbit/s 的 SATA 介面，可以連接四個硬碟（兩個內部和兩個外部）。然而，導入 NVMe 硬碟對此應用程式來說是一個潛在的遊戲規則改變者。在這個特定的案例中，它透過最多四個 2.5 吋、15 毫米的硬碟以及另一個八個 2.5 吋、7 毫米的硬碟選項來處理。
（圖片來源：Premio Inc.）
車載儲存固然重要，但與雲端協調數據的能力也同樣重要。在這種情況下，此過程透過標準 Gigabit Ethernet 或 10 Gbit/s 模組處理。Wi-Fi 或蜂巢式 LTE 也是選項，具體取決於應用程式和環境。由於該設計提供靈活的 I/O 子卡，使用者甚至可以整合 5G 子卡模組，以實現 5G 推出的超低延遲連接。
安全與下一代升級能力
雖然任何工業平台都必須包含適當的安全措施，但將系統效能推向邊緣使得安全性變得更加關鍵。Premio 採用 TPM 2.0 等公認的行業標準來加密數據。然後還有物理方面需要解決——有人實際竊取物理系統。為了應對這種情況，Edge Boost Nodes 上的 NVMe 硬碟位於帶鎖和鑰匙的硬碟籠後方。
Edge Boost Nodes 的模組化使其本身具有升級能力。當更高效能的版本推出時，只需更換模組即可。儘管此功能可能會稍微增加物料清單 (BOM)，但它能保護長期投資，因為系統可以保證更長的使用壽命。在軟體方面，可透過 LAN 進行無線現場升級，並且由於內建的安全功能，可以放心地進行。隨著產業轉向雲端原生升級路徑，這已成為升級的首選方法。只要系統保持「容器化」，安全性問題就能得到解決和良好管理——無論是針對系統的生命週期，還是在不斷變化的數位安全威脅環境中。
Premio 認識到其在地化製造為公司帶來了競爭優勢。所有組裝作業都在其位於洛杉磯的工廠進行，無論訂單大小。這消除了海外供應鏈的潛在負擔，加速了產品上市時間並簡化了部署，讓客戶能夠非常快速地進行企業規模的擴展和部署。