概覽
隨著企業 AI 工作負載從集中式資料中心擴展,對小型、高效能邊緣伺服器的需求,正改變 OEM/ODM 製造商處理系統架構與部署的方式。一家 OEM/ODM 伺服器開發商希望打造一款 19 吋短深度機架式邊緣 AI 伺服器,在有限的空間內結合 AMD EPYC 處理效能、可擴充的 AI 加速、高速網路與遠端管理支援。Premio 的 AMD AM5 工業級 ATX 主機板提供處理效能基礎、高頻寬連接,以及支援可客製化企業邊緣基礎設施所需的帶外 (OOB) 擴充介面。
挑戰
- 需要AMD EPYC 伺服器級運算效能與安全性架構,以支援高要求的企業邊緣 AI 工作負載。
- 分散式邊緣基礎設施間的高吞吐量資料傳輸,網路頻寬不足
- GPU 擴充、記憶體容量與儲存靈活性有限,難以應對不斷演進的 AI 應用
- 將伺服器級組件整合至 19 吋短深度機架式機箱的複雜性
- 缺乏獨立管理路徑,難以維護地理分散的邊緣 AI 伺服器
解決方案
- Premio 的 AMD AM5 ATX 工業級主機板 (CT-AR701)
- 雙 10GbE SFP+ 與雙 1GbE LAN,提供高頻寬邊緣網路連接
- 雙 PCIe Gen 5 x16 插槽、最高 192GB DDR5 記憶體,以及靈活的 NVMe 與 SATA 儲存
- 標準 ATX 架構,可客製化整合至 19 吋短深度機架
- 專用 OOB 標頭,可選配整合帶外管理
優點
- 簡化 OEM/ODM 伺服器開發
- 可擴充的企業邊緣 AI 基礎設施
- 提升遠端維運潛力
公司概覽
這家 OEM/ODM 運算解決方案供應商專精於為企業與工業應用開發可客製化的伺服器平台。憑藉在硬體整合、系統架構與特定應用工程方面的專業,公司致力於提供符合不斷變化的營運需求的運算基礎設施。隨著企業 AI 採用加速,其開發重點正擴展至具備高速連接與遠端管理能力的緊湊、可擴充邊緣 AI 伺服器。
面臨的挑戰
平衡伺服器導向處理效能與邊緣部署限制
向在地 AI 基礎設施轉型的趨勢,帶動了對伺服器導向運算平台的的需求,使其能夠在更接近資訊產生地的環境中支援 AI 推論、資料分析與併發工作負載。對於 OEM/ODM 開發商而言,選擇基於 AMD EPYC 的架構是打造符合企業邊緣應用的伺服器平台的策略需求。挑戰在於找出能提供相容 AMD EPYC 處理效能,且符合可設定系統架構的工業級主機板。
消除分散式邊緣基礎設施中的網路瓶頸
邊緣 AI 伺服器日益連接多個資料來源、共用儲存系統與其他運算節點,使網路吞吐量成為關鍵設計考量。隨著資料量增加,單靠傳統 Gigabit Ethernet 可能會限制系統間大型資料集與 AI 相關流量的傳輸。開發商需要整合於主機板層級的高頻寬網路,以支援高效資料傳輸,同時保留其他功能的擴充能力。
針對 AI 加速與工作負載成長進行設計
企業邊緣 AI 工作負載的 CPU、GPU、記憶體與儲存需求可能差異極大,使僵化的硬體配置難以擴充。開發商需要足夠的 PCIe 擴充空間來安裝獨立 AI 加速器,以及能支援資料密集型應用的記憶體與儲存選項。若缺乏這種靈活性,每個新的客戶需求都可能導致額外的系統重新設計與工程複雜度。
將高效能運算整合至短深度機架式設計中
ATX 主機板尺寸為高效能運算提供了標準化基礎,可在緊湊的 19 吋短深度機架式伺服器中容納 AMD EPYC 處理器散熱、擴充卡、儲存與供電。
為應對空間與散熱限制,系統設計需要仔細優化組件配置、氣流、線材佈線與維修便利性,以確保高效整合與長期可維護性。
解決分散式邊緣的遠端管理挑戰
與安置於集中式資料中心的伺服器不同,邊緣 AI 系統可能部署於工廠、分公司設施及其他地理位置分散的據點,且現場技術支援有限。當作業系統無回應或網路服務失效時,單靠軟體形式的帶內管理可能不足以恢復存取。因此,開發商需要一種能容納獨立帶外管理路徑的主機板架構,作為更廣泛遠端維運策略的一部分。
解決方案
Premio 的 AMD AM5 ATX 工業級主機板 (CT-AR701)
基於 AMD B650 晶片組打造的 CT-AR701,透過其 AM5 插槽支援 AMD EPYC 4005 與 4004 系列處理器,為伺服器導向的邊緣工作負載提供可適應的 CPU 基礎。對於 OEM/ODM 開發商而言,此架構可選擇相容的 EPYC 處理器,以支援 AI 推論編排、本地分析與併發應用服務。透過以標準工業級 ATX 主機板建立處理平台,開發商可獲得更大的靈活性,來配置特定應用的邊緣 AI 伺服器系統。

分散式 AI 基礎設施的高頻寬連接
CT-AR701 整合了兩個基於 Broadcom BCM57412 的10GbE SFP+介面與兩個 Intel I210AT Gigabit Ethernet 埠,在單一主機板上提供多種連接選項。在機架式邊緣 AI 伺服器中,10GbE 介面可分配給邊緣處理節點、儲存基礎設施與企業網路之間的高吞吐量資料傳輸,而 Gigabit Ethernet 則支援額外的營運連接。在板級整合這些介面,可減少將 PCIe 擴充容量分配給基本高速網路連接的需求。
針對 AI 工作負載的可擴充 PCIe、記憶體與儲存
CT-AR701 提供兩個PCIe Gen 5 x16 插槽,用於相容的 GPU 與特定應用加速器,最終擴充配置取決於經過驗證的電氣、機械與散熱需求。四個DDR5 UDIMM 插槽支援最高 192GB 的非 ECC 記憶體,而雙 M.2 NVMe 介面與四個 SATA 埠則提供作業系統、應用資料與本地儲存的選項。此可設定的硬體架構可協助 OEM/ODM 開發商針對不同企業邊緣 AI 工作負載調整處理加速、記憶體容量與儲存資源,而無需重新設計主機板。
緊湊機架式伺服器設計的標準 ATX 架構
CT-AR701 採用 305 × 244 mm 的標準 ATX 尺寸,為客製化機架式伺服器開發提供明確的機械基礎。對於提議的 19 吋短深度系統,OEM/ODM 開發商可圍繞已知的母板尺寸評估機箱幾何形狀、處理器散熱、擴充卡配置、電源供應配置與氣流。此方法支援靈活的系統整合流程,同時讓開發商能掌握最終外殼、散熱架構與維修設計。
邊緣 AI 的硬體級遠端管理

CT-AR701 工業級 ATX 主機板具備專用 OOB 標頭,透過相容的 OOB 解決方案支援硬體級遠端管理。這可實現獨立於作業系統的存取、遠端診斷與系統復原——即使主機作業系統無回應時亦然。
對於分散式邊緣 AI 伺服器,此具備 OOB 支援的架構有助於減少現場維護並提升系統可維運性。
優點
簡化 OEM/ODM 伺服器開發
透過在單一工業級 ATX 主機板上結合 AMD EPYC 處理器支援、高速網路、記憶體可擴充性與 PCIe 擴充,CT-AR701 提供可設定的硬體基礎,可減少客製化主機板開發的需求。
可擴充的企業邊緣 AI 基礎設施
整合的 10GbE 連接與靈活的運算擴充,讓 OEM/ODM 開發商能圍繞不同的 AI 加速、資料處理與企業邊緣需求設計多種伺服器配置。
提升遠端維運潛力
帶外管理讓開發商能在設計階段考慮選配的獨立管理功能,協助其規劃更具可維護性的分散式伺服器基礎設施,而不必完全依賴作業系統層級的工具。
結論
隨著邊緣 AI 採用加速,OEM/ODM 製造商需要具備適應性的平台,在簡化伺服器開發的同時,應對日益增長的分散式運算需求。CT-AR701為打造可客製化、可擴充且可維運的邊緣 AI 伺服器提供基礎,協助製造商為下一代企業邊緣基礎設施做好準備。