邊緣 AI 為何從 2.5GbE 邁向 10GbE 連線功能

隨著邊緣 AI 持續發展，網路需求也迅速增加。雖然許多現代系統已開始從 1GbE 升級到 2.5GbE 或 5GbE，但這些漸進式改進對於當今 數據密集型即時 AI 工作負載而言，已證明不足。 

從高解析度影像分析到分散式 AI 推論，邊緣部署現在需要 比以往更高頻寬、更低延遲和更有效率的資料傳輸。 

這就是為什麼業界正在超越中間解決方案，並採用 10GbE 連線能力 (結合 RDMA 和 RoCEv2 增強)，以支援下一代邊緣 AI 基礎設施。

數據密集型邊緣 AI 工作負載的興起 

• 邊緣資料量更大，複雜性更高

  邊緣 AI 系統現在正在處理高容量資料流，例如 4K/8K 視訊、光達和工業遙測。這些連續資料流很快就超出了傳統網路的限制，即使是 2.5GbE 等漸進式升級也無法滿足。

• 即時處理需求

  機器視覺和機器人等應用程式需要超低延遲才能有效運作。即使資料傳輸出現輕微延遲，也可能影響決策準確性、系統可靠性和營運效率。

• 分散式邊緣 AI 架構

  現代邊緣部署越來越依賴多節點系統和 AI 叢集。這些環境需要節點之間不斷的資料交換，這會顯著增加網路流量和效能要求。

為什麼 2.5GbE 對於邊緣 AI 不足 

• 頻寬增益有限

  雖然 2.5GbE 優於 1GbE，但對於多攝影機視訊分析、高吞吐量感測器資料或 AI 推論工作負載而言，增加的頻寬通常不夠。在實際情況下，仍可能發生頻寬飽和。

• 延遲和效率挑戰

  傳統網路架構仍然依賴 CPU 參與資料傳輸，這會引入延遲並降低系統效率，尤其是在時間敏感的應用程式中。

• 可擴充性限制

  隨著邊緣 AI 部署擴展到分散式系統，2.5GbE 成為瓶頸而非解決方案。它缺乏長期成長所需的效能餘裕。

為什麼 10GbE 是邊緣 AI 網路的正確選擇 

為了支援邊緣 AI 不斷增長的需求，企業正在轉向 10GbE，作為更具能力和未來就緒的解決方案。憑藉顯著更高的吞吐量，10GbE 允許系統處理大量資料而不會出現擁塞，確保更流暢、更可靠的運作。

這種改進對於即時應用程式尤其重要，因為更快的資料傳輸直接轉化為更快的推論和回應時間。此外，10GbE 透過減少對多個低速連線的需求來簡化網路架構。

與漸進式升級相比，10GbE 提供更完整的解決方案：

• 更高的吞吐量支援資料密集型工作負載
• 更低的延遲改善即時效能
• 簡化的連線能力降低系統複雜性
• 更大的餘裕實現未來可擴充性

這使得 10GbE 不僅僅是升級，更是現代邊緣 AI 基礎設施的必要基礎。

超越速度：RDMA 和 RoCEv2 提升邊緣 AI 效能 

雖然增加頻寬很重要，但它無法完全解決延遲和效率的挑戰。在許多邊緣 AI 系統中，資料在組件之間移動的方式與可以傳輸多少資料一樣關鍵。

RDMA 和 RoCEv2 等技術旨在透過減少 CPU 參與並實現系統之間更直接的通訊來優化此流程。透過允許資料直接在記憶體空間之間移動，RDMA 消除了不必要的處理開銷，並提高了整體系統效率。

RoCEv2 將此功能擴展到乙太網路，使得無需專用基礎設施即可實現低延遲效能。

這些技術共同提供關鍵優勢：

• 資料傳輸期間降低 CPU 負載
• GPU、儲存和運算節點之間更快的通訊
• 改善多節點環境中的效能
• 更有效率的 AI 工作負載資料管線

高吞吐量和高效資料移動的結合對於擴展邊緣 AI 系統至關重要。

採用 SFP+ 區域網路的工業主機板 

Premio 的 CT-AR701 工業主機板專為高效能邊緣 AI 而打造，配備雙 10GbE SFP+ 區域網路，由 Broadcom BCM57412 驅動，可實現快速、可靠的資料傳輸。它採用 ATX 外形規格設計，支援下一代處理器和高速記憶體，可處理視訊分析和機器視覺等資料密集型工作負載，同時為現代邊緣部署提供長距離、高速連線能力。

主要特色 

• 支援 AMD Ryzen™ 7000/8000/9000 和 EPYC™ 4004/4005 處理器  
• 4 個 DDR5 5200 UDIMM，最高 192GB (非 ECC)  
• 用於 GPU 和 AI 加速器的 PCIe Gen5 擴充  
• 雙 10GbE SFP+ 區域網路 (支援 RDMA/RoCEv2 的 Broadcom BCM57412)  
• 2 個 M.2 M-Key (NVMe)、1 個 M.2 E-Key  
• 彈性擴充：2 個 PCIe x16 Gen5、1 個 PCIe x4、1 個 PCIe x1    

深入探索 >>

設計 10GbE 就緒的邊緣基礎設施 

升級到 10GbE 不僅僅是增加頻寬，還涉及設計能夠支援低延遲和高效率資料移動的基礎設施。

SFP+ 連線能力在此方面扮演重要角色，可實現長距離高速通訊，同時支援彈性的部署情境。同時，網路架構應最佳化以最大限度地減少延遲，並確保與啟用 RDMA 的系統相容。

為確保長期成功，組織應考慮：

• 針對低延遲通訊最佳化的網路設計
• 與 RDMA 和高速網路相容的硬體
• 支援未來頻寬增長的基礎設施規劃

這些因素有助於確保邊緣部署隨著時間的推移保持可靠和可擴充。

從 2.5GbE 過渡到 10GbE 

從 2.5GbE 過渡到 10GbE 需要策略性方法，平衡效能改進與部署考量。

組織應首先確定目前的網路限制在哪裡影響效能，尤其是在資料密集型或時間敏感的工作負載中。從那裡，分階段升級策略可以幫助最大限度地減少中斷，同時逐步引入更高效能的網路。

關鍵步驟包括：

• 評估現有的頻寬和延遲瓶頸
• 優先處理從更高吞吐量中獲益最大的工作負載
• 過渡期間部署混合網路
• 選擇支援 RDMA 和未來可擴充性的硬體

採用結構化方法可確保更順暢的過渡並最大限度地提高長期價值。

邊緣 AI 網路的未來 

隨著邊緣 AI 持續擴展，網路技術將不斷發展，以滿足更高的效能需求。25GbE 及更高速度的標準已經出現，同時還有優化系統之間資料流的新方法。

同時，運算、儲存和網路之間更緊密的整合將實現更有效率的架構，從而減少延遲並提高整體系統效能。

結論：10GbE 是可擴充邊緣 AI 的基礎 

雖然 2.5GbE 代表了傳統網路的一大進步，但對於現代邊緣 AI 工作負載而言，它終究是一個過渡性解決方案。 

為充分支援即時處理、高資料吞吐量和分散式 AI 系統的需求，組織必須採用結合 RDMA 和 RoCEv2 的 10GbE 連線能力。 

透過 Premio 搭載 Broadcom BCM57412 的 10GbE SFP+ 平台等解決方案，企業可以建立可擴充、高效能且符合未來需求的邊緣 AI 基礎設施，以應對未來的挑戰。