在崎嶇邊緣進行人工智慧推理：
利用 M.2 加速器滿足邊緣 AI 性能需求
為什麼要下載白皮書？
挑戰：邊緣人工智慧瓶頸
如今，邊緣人工智慧（Edge AI）的應用已惠及許多商業領域。它正幫助眾多終端用戶在各種應用和產業中解決實際問題。然而，在嚴苛的邊緣環境下要最大化性能卻是一項棘手且極具挑戰性的任務。惡劣的環境會降低電源效率、限制資源，並阻礙傳統運算解決方案處理資料密集型工作負載。隨著邊緣人工智慧以及物聯網（IoT）和工業物聯網（IIoT）設備數量的增長，對能夠優化邊緣人工智慧效能的專用硬體的需求變得至關重要。
解決方案：
摩爾定律雖然放緩，但維持低功耗和高能效的能力並未減弱。在邊緣運算領域，功耗預算、機械性能和散熱性能都面臨限制。對專用硬體加速的新需求旨在緩解邊緣運算的功耗限制。本文探討了特定領域架構（特別是採用 M.2 外形尺寸的架構）的優勢，這些架構旨在解決邊緣運算中非常具體且要求極高的深度學習和推理工作負載，同時又不增加總體擁有成本。
邊緣人工智慧的力量
邊緣人工智慧為工業4.0應用釋放了新的潛力，預計到2025年將呈指數級增長。物聯網設備、人工智慧和邊緣運算的進步，在全球範圍內催生了許多利用邊緣人工智慧的應用場景。隨著人工智慧和機器學習越來越多地應用於物聯網設備，邊緣解決方案在處理資料密集型工作負載時開始遇到瓶頸。僅靠晶片的演進無法支援人工智慧演算法及其所需的更高處理效能。為了在效能、成本和能耗之間取得平衡，我們需要一種採用更專業、更針對特定領域的架構的新方法。
Gartner 預測，到 2025 年，75% 的企業資料將在傳統集中式資料中心之外進行處理。
什麼是M.2和領域特定架構？
M.2是什麼？
M.2 被視為下一代介面規格，由英特爾開發，旨在提供卓越的性能和靈活性。作為 mSATA 和 mPCIe 的繼任者，M.2 介面速度極快且用途廣泛，這得益於其能夠充分利用 PCI Express 通道。
- 超緊湊型模組－最小的 M.2 裝置比最小的 mPCIe 裝置小 18%。
- 靈活的尺寸－主機板上的某些 M.2 連接埠支援多種長度的 M.2 卡。
- 節能高效能－M.2 功耗限制為 7 瓦 (W)。
- M.2 設備比 SATA 設備快得多——速度快約 50% 到 650%。
- 超高速規格：NVMe 協定和 PCIe 4.0，最高可達 x4 通道（每通道 16Gb/s）
系統架構師現在普遍認為，要大幅改善效能-能源-成本方程式，唯一剩下的途徑是採用特定領域的方法，整合 M.2 效能加速。
領域特定架構
DSA（領域特定架構）是一種效能加速硬件，旨在處理特定的AI工作負載。 DSA的獨特之處在於，它們在特定工作負載下表現出色，並針對該工作負載進行了客製化。雖然傳統的CPU和GPU系統可以提供強大的處理能力，但它們缺乏在邊緣運算環境中高效運作所需的必要條件。 DSA能夠為嚴苛、不穩定的環境提供緊湊且節能的解決方案。
樣本推斷基準
適用於工作負載的熱門推理加速器
中央處理器
- 多核心
- 低延遲
- 序列處理
- 同時進行少量操作
- 大內存容量
- 更靈活的方案
TPU 和 M.2 模組
- 矩陣處理硬體
- 高延遲（與 CPU 相比）
- 極致並行（極高吞吐量）
- 針對大批量生產進行了最佳化
- 卷積神經網路（CNN）
- 人工智慧相關項目
GPU
- 數千個核心
- 高通量
- 平行處理
- 一次進行數千項操作
- 低內存容量
- 靈活性較低的項目
堅固耐用的邊緣運算
分散式儲存陣列 (DSA) 有助於邊緣 AI 發揮最大效能。運算能力的本地化使得智慧物聯網設備（例如攝影機和感測器）能夠有效率地在源頭擷取和處理資料。邊緣運算利用 DSA 在堅固耐用的架構中的處理能力，在邊緣端提供即時資料分析、AI 功能和可靠的效能。
需要加固型邊緣運算的關鍵部署領域包括：工業自動化、進階駕駛輔助系統 (ADAS) 和自動駕駛汽車、監控與安防、智慧自助服務終端。
工廠自動化
機器視覺
軍事與國防
智慧自助服務終端
數位監控
你準備好迎接 Rugged Edge 的挑戰了嗎？
您的應用是否已做好應對嚴苛環境的準備？對於嚴苛環境而言，合適的硬體至關重要，它能夠提供關鍵的強大效能，從而即時擷取和分析資料。不僅如此，嚴苛環境電腦還必須在極度惡劣的環境中穩定運行，而灰塵、碎屑、衝擊和振動等問題屢見不鮮。歡迎來到我們的嚴苛環境媒體中心，其中涵蓋了眾多主題，可協助您為邊緣 AI 應用做好準備。
探索堅固耐用的邊緣人工智慧推理解決方案
人工智慧邊緣應用需要專用硬體來提供關鍵的運算能力，以即時擷取、處理和分析數據。觀看視頻，了解 Premio 專為邊緣應用打造的堅固耐用型邊緣計算機如何整合數據處理、NVMe 數據存儲和 5G 連接等新一代技術，從而將機器智能帶到邊緣。
人工智慧邊緣推理計算機
Premio 專為邊緣運算而設計的堅固耐用型邊緣電腦系列，即使在最嚴苛的環境下，也能滿足邊緣 AI 所需的運算能力。我們的邊緣 AI 推理和堅固耐用型邊緣電腦系列提供新一代運算能力，有助於提供執行高級 AI 演算法所需的頻寬。我們的系統採用最新的資料儲存、處理和連接技術，並通過認證，能夠承受工業領域各種極端環境的考驗。
適用於微型邊緣資料中心的高效能運算儲存伺服器
來自數千個物聯網感測器、網關和工業電腦的資料可以儲存在微型邊緣資料中心中進行管理，以實現最大程度的存取。高效能、高密度儲存伺服器可在最關鍵的時刻提供關鍵任務資料的存取。