隨著製造商不斷採用工業 4.0 技術，許多製造商將更多資料處理轉移到靠近工廠現場的位置，同時將敏感的營運資訊保留在現場。某個製造環境需要一種方法來協助操作員透過簡單的本地介面檢閱 PLC 警報、檢查攝影機結果和維護記錄，以便技術人員可以快速檢查機器狀況和維護歷史記錄，而無需依賴雲端連接。為滿足此要求，Premio 的 1U 邊緣 AI 伺服器 (適用於內部部署 LLM 工作負載) LLM-1U-RPL 隨即部署，以提供本地化處理，協助團隊更快識別生產問題，並在跨班次方面維持更一致的故障排除。
挑戰
- 需要在本地執行 LLM 推論，以便操作員可以檢閱作業資料和工程文件，而無需將敏感資訊傳送到雲端
- 現有的工廠現場系統並非為支援 GPU 加速工作負載以進行即時分析而設計
- 難以將來自多個工廠系統的營運資料整合到單一故障排除介面中
- 控制櫃內部有限的機架空間需要小巧的短深度機架式解決方案
- 持續生產環境需要能夠安全可靠地 24/7 運作的硬體
解決方案
- Premio 的1U 邊緣 AI 伺服器 (適用於內部部署 LLM 工作負載) (LLM-1U-RPL)
- PCIe Gen 4 擴充支援整合 NVIDIA RTX PRO 4500 Blackwell GPU 以加速 LLM 處理
- 多個 2.5GbE LAN 連接埠，配備 USB 和 COM 介面，支援與現有工廠系統整合
- 緊湊型機架式外形規格，適用於控制室和工廠基礎設施
- 備用 600W 電源供應器，配備熱插拔風扇和 TPM 2.0，支援安全 24/7 運作
優勢
- Intel 嵌入式處理器支援十年產品生命週期
- 4 至 5 週內快速部署
- NDAA 和 TAA 相容解決方案，由 Premio 位於洛杉磯的支援團隊提供支援
公司概覽
該公司經營自動化生產線，檢測系統持續檢查產品品質，協助操作員快速發現問題。隨著工廠中機器資料和技術文件越來越多，操作員需要一種更快的方法來檢閱這些資訊，同時在活躍班次期間解決問題。作為其工業 4.0 計畫的一部分，該公司引入了本地化邊緣運算，以使故障排除資訊更容易存取，同時將敏感的生產資料保留在現場。
挑戰
對本地 LLM 推論的需求
在生產班次期間，操作員在診斷設備問題時經常需要檢查機器資料和工程文件。透過雲端連接系統存取此資訊可能會減慢回應時間，並引發了有關將敏感營運資料保留在異地之外的擔憂。為解決此問題，團隊尋求一種在本地執行 LLM 推論的方法，以便故障排除指南可以直接在工廠環境中使用。
GPU 加速工作負載的基礎設施有限
大多數現有的工廠現場系統都是為控制和監控而設計的，而不是為執行 AI 工作負載而設計。試圖在相同基礎設施上處理 LLM 任務會降低系統回應速度並限制其支援即時分析的能力。因此，團隊需要一個專用平台，可以處理 GPU 加速處理而不影響正常運作。
跨系統存取營運資料的難度
機器資訊、檢查結果和維護記錄分散在多個工廠系統中。當問題發生時，操作員通常必須檢查多個來源才能找到根本原因。這使得故障排除速度變慢，並導致團隊之間和班次之間的回應不一致。
控制櫃內部的空間限制
控制室和設備櫃內的機架空間已經有限，因此難以在生產系統附近安裝標準深度的伺服器。結果，為容納較大型硬體而擴展基礎設施會增加部署複雜性並擾亂現有佈局。因此，團隊需要一個緊湊的機架式平台，它既能容納於可用空間內，又能更輕鬆地整合到現有設置中。
安全可靠持續運作的需求
生產系統持續運作，因此任何新硬體都必須可靠運行，而不中斷日常運作。邊緣平台還需要處理長時間運行的工作負載，同時確保敏感的工廠數據安全。為此，團隊尋找專為工業環境中穩定24/7運作而設計的解決方案。
解決方案
Premio 的短深度 1U 邊緣 AI 機架式伺服器 (LLM-1U-RPL)
在審查了在工廠內部直接運行 LLM 工作負載的需求後，團隊選擇了 Premio 的 1U 邊緣 AI 伺服器 (用於本地 LLM 工作負載 (LLM-1U-RPL)) 作為部署的基礎。其短深度 1U 設計使其更容易安裝在現有控制室機架中，而 第 13 代 Intel Core 處理器並支援高達 64GB 的 DDR4 記憶體，提供了處理本地推斷任務所需的性能。憑藉對 GPU 加速、PCIe 擴展以及內建可靠性和安全功能的額外支援，LLM-1U-RPL 自然地融入生產環境，而無需更改現有基礎設施。
GPU 加速的 LLM 處理
在工廠內部運行 LLM 工作負載需要比現有控制系統提供更多的處理能力。透過 PCIe Gen 4 擴展，Premio 的 LLM-1U-RPL 支援整合工作站級 GPU，最高可達 NVIDIA RTX PRO 4500 Blackwell，使團隊能夠根據需求增加加速本地推斷。這使得在現場審查營運數據和工程文檔變得更加容易，而無需依賴外部計算資源。
與工廠系統的彈性連接
部署還需要可靠地存取已收集機器資訊和檢查數據的現有工廠系統。多個 2.5GbE 網路連接埠，以及 USB 和 COM 介面，允許該解決方案與這些工廠網路整合，而無需額外
緊湊型機架式部署
由於控制室和基礎設施機櫃內的安裝空間有限，硬體尺寸是部署規劃中的重要考量因素。憑藉短深度 1U 機架式設計，尺寸為 483 (W) × 480 (D) × 44 (H) 公釐，LLM-1U-RPL 輕鬆地安裝到現有機架中，無需更改周圍設置。其緊湊的佔用空間還允許將其放置在更靠近生產網路的地方，其中營運數據已經可用。
可靠且安全的持續運作
由於生產系統持續運作，因此部署需要能可靠且不中斷運作的硬體。備援 600W 電源供應器可在不關閉系統的情況下進行維護或更換，而熱插拔風扇有助於在長時間的工作負載期間保持穩定的性能。為了進一步支援在共享工廠環境中的運作，可上鎖的前擋板、機殼入侵偵測和 TPM 2.0 為邊緣的敏感操作資料提供了額外的保護。
優勢
長生命週期處理器支援
LLM-1U-RPL 中使用的 第 13 代 Intel Core 處理器是 Intel 嵌入式產品藍圖的一部分，具有長達十年的生命週期，有助於確保長期可用性，以進行維護規劃和未來升級。
加速部署以應對時間敏感的生產環境
與通常採購時間較長的較大型伺服器供應商不同，LLM-1U-RPL 支援在約 4 到 5 週內完成部署，使團隊能夠快速引入本地化 LLM 推理，而不會延遲生產支援改進。
符合法規要求並提供本地支援
NDAA 和 TAA 合規性支援在有更嚴格採購要求的環境中部署。Premio 的產品在台灣製造並在美國組裝，有助於滿足受監管專案的供應鏈期望。駐洛杉磯的支援團隊還為整合和部署期間的持續協助提供了當地聯絡方式。
結論
在工廠邊緣直接執行 LLM 工作負載，有助於操作員更快地審查生產問題，並在各班次之間以更高的一致性進行回應。LLM-1U-RPL 支援這種方法，可整合到現有機架基礎設施中，而無需更改周圍設定，同時將處理保留在現場。這一切都表明，本地化 LLM 推理如何作為更廣泛的工業 4.0 應用的一部分，支援日常故障排除工作流程。有關 LLM-1U-RPL 的更多資訊，請透過 sales@premioinc.com 聯繫產品專家。