什麼是邊緣 RAG？讓私有 AI 知識更貼近工業數據

大型語言模型可以回答關於幾乎所有事情的問題，從程式設計和工程到製造和自動化。但存在一個重要的限制：通用人工智慧模型不會自動了解您的工廠內部正在發生的事情。 

它可能了解工業機器人如何運作，但不知道您機器人的最新維護歷史。它可能辨識常見的機器故障代碼，但無法自動存取您的設備手冊、故障排除程序或服務記錄。 

這就是檢索增強生成（Retrieval-Augmented Generation，RAG）變得有用的地方。 

RAG 將大型語言模型與外部資訊連結，以便在生成答案之前檢索相關知識。當檢索和人工智慧處理發生在更接近工業資料儲存和生成的地方時，相同的概念可以應用為邊緣 RAG。 

對於製造商和其他工業組織來說，邊緣 RAG 創造了一種新的方式，將現有的操作知識轉化為更有用、更具情境感知能力的人工智慧。

什麼是檢索增強生成 (Retrieval-Augmented Generation)？ 

傳統大型語言模型主要根據其在訓練期間學到的資訊和模式來生成答案。這對於一般知識來說運作良好，但當用戶需要基於私有、專業或最近更新的資訊的答案時，它就變得有限。

RAG 有助於彌補這一知識鴻溝。

RAG 系統不是僅僅依賴 LLM 已知的知識，而是首先在組織可用的知識來源中搜尋與用戶問題相關的資訊。然後，在 LLM 生成回應之前，將相關資訊作為額外上下文提供給 LLM。

NVIDIA 將企業 RAG 描述為一種將 AI 推理與企業業務數據結合起來的方式，以便回應更具相關性並以組織自身的資訊為基礎。

考慮一位維護工程師提問：

「這台機器的 E032 故障可能由什麼引起？」

通用 LLM 可能會根據類似的工業設備提供通用解釋。

啟用 RAG 的系統可以首先檢索實際的機器手冊、故障排除程序和相關維護記錄。然後，LLM 可以使用該資訊生成更具針對該設備和操作環境的答案。

是什麼讓 RAG 成為「邊緣 RAG」？ 

邊緣 RAG 並不是一種新型的 RAG 演算法。

差異主要在於數據、檢索服務和 AI 處理的部署位置。

基於雲端的 RAG 應用程式可以使用雲端基礎設施儲存數據或執行檢索和 LLM 推理。透過邊緣 RAG，部分或所有這些功能可以改為在本地執行，更靠近產生和使用數據的工廠、設施或作業系統。

一個簡單的邊緣 RAG 工作流程可以像這樣：

1. 工業文件和操作資訊儲存在本地或在本地收集。
2. 當使用者提出問題時，RAG 系統會搜尋最相關的資訊。
3. 檢索到的資訊作為上下文提供給 LLM。
4. LLM 利用上下文生成更相關的回應。

整個工作流程不一定必須保持在本地。有些組織可能在本地執行檢索，同時使用雲端託管的 LLM，而另一些組織則可能在內部部署檢索和 LLM 推理。

這意味著重要的問題不僅僅是「雲端還是邊緣？」

它是：

RAG 工作流程的哪些部分適合靠近數據？

為何將 RAG 應用於工業數據？ 

工業環境通常與傳統的雲端聊天機器人有不同的優先考量。

製造資訊可能包括專有流程、設備配置、操作記錄、智慧財產權和其他敏感業務資訊。將更多的 RAG 工作流程保留在內部部署，可以減少必須持續移動到外部雲端基礎設施的資訊量。

連線能力也很重要。工廠、倉庫、運輸場所或遠端作業可能不希望 AI 應用程式完全依賴與遠端雲端服務的持續連線。

隨著 AI 應用程式背後的知識變得更具操作性，距離開始變得重要。

資料可能已經存在於設施內部。使用資料的人可能在設施內部。產生新資訊的機器也可能在設施內部。

邊緣 RAG 將 AI 知識層更靠近該環境。

這並不意味著每個 RAG 部署都應該從雲端移開。當組織需要存取高度可擴展的基礎設施或大型託管 AI 模型時，雲端 RAG 仍然有用。在許多情況下，混合邊緣雲端架構可能提供適當的平衡。

邊緣 RAG 的價值在於，當資料位置、連線能力、隱私或操作控制很重要時，可以有另一種部署選項。

邊緣 RAG 如何應用於工業領域？ 

最實用的應用之一是維護和故障排除。

當設備發生故障時，啟用 RAG 的助理可以在協助技術人員調查問題之前，檢索相關手冊、服務程序和之前的維護資訊。

對於工程團隊，RAG 可以讓大量規格、配置文件和產品文件更容易透過自然語言問題進行搜尋。

對於工廠操作員，知識助理可以幫助呈現相關的工作說明、操作程序或故障排除資訊，而無需用戶手動定位正確的文件。

對於現場服務，技術人員可以更接近工作執行地點，存取特定設備的服務知識。

這些應用並非要取代工程師或技術人員。它們是為了讓這些團隊已經依賴的資訊更容易檢索和使用。

邊緣 AI 伺服器如何融入其中？ 

RAG 應用程式仍然需要背後的運算基礎設施。

系統必須儲存或存取數據、搜尋相關資訊、執行支援的 AI 模型，並最終產生 LLM 回應。

對於較小的 RAG 應用程式，這些要求可能相對溫和。然而，隨著用戶、文件、AI 模型和應用程式數量的增加，組織可能需要更多的 CPU 效能、系統記憶體、儲存容量、GPU 加速和網路連線。

NVIDIA 的企業 RAG 架構透過將擷取、嵌入、向量資料庫、重新排名、檢索和 LLM 推理等功能分離為不同的服務來反映這種更廣泛的工作負載，這些服務可以根據應用程式進行擴展。

這就是邊緣 AI 伺服器可以成為生產 RAG 的本地基礎設施層的原因。

與其僅將伺服器視為執行 LLM 的硬體，不如將其視為支援模型周圍更廣泛的工作流程：本地數據存取、檢索、儲存、AI 加速以及與企業或工業系統的連線。

Premio 的 LLM 系列邊緣 AI 伺服器專為內部部署生成式 AI 和 LLM 工作負載而設計。Premio 目前將產品組合定位於私有 LLM 和 RAG 等應用，在內部部署數據中心邊緣部署本地 GPU 加速和伺服器級運算。

使用 Premio LLM 系列邊緣 AI 伺服器為邊緣 RAG 提供動力

隨著 RAG 從小規模測試轉向生產部署，組織可能需要更多的運算、記憶體、儲存和 GPU 加速，以支援本地檢索、LLM 推理和不斷增長的 AI 工作負載。

Premio LLM 系列邊緣 AI 伺服器提供可擴展的內部部署基礎設施，專為邊緣的私有 LLM、RAG 管線、多模態 AI 和其他生成式 AI 工作負載而設計。

LLM 系列採用機架式外形設計，以滿足不同的效能和擴展要求，幫助組織將 AI 處理更接近其私有企業和工業數據。

探索更多 >>

將 AI 拉近到重要的知識來源 

RAG 的價值不僅僅是為 LLM 提供更多資訊。

它能讓 AI 存取與所提問題相關的正確資訊。

對於工業組織而言，這些資訊可能已經存在於整個營運中——在機器手冊、維護記錄、故障排除歷史、生產文件和其他專有資料來源中。

邊緣 RAG 提供了一種方法，可以將檢索和 AI 處理更接近這些知識，而不是假設每次 AI 互動都必須完全依賴集中式雲端基礎設施。

隨著工業 AI 從通用聊天機器人演變為更具情境感知能力的助理和 AI 代理，將模型與受信任的營運知識連結將變得越來越重要。

在許多工業環境中，對 AI 而言最有價值的知識可能已經存在於邊緣。

探索 Premio LLM 系列邊緣 AI 伺服器，適用於內部部署 LLM、RAG 和生成式 AI 工作負載 >>