Podcast 的主要內容：
- AI 邊緣推論電腦提供全新水平的運算能力
- AI 邊緣推論電腦透過硬體加速提供即時推論，實現機器學習和智慧功能
- 運算的未來在於智慧電腦能夠適應不斷變化的環境。新的需求由四個關鍵的技術巨頭塑造：
- 無所不在的運算
- 雲端到邊緣基礎架構
- 普及的連接性
- 人工智慧
Q：什麼是 AI 邊緣推論電腦？
A：我想以 Pat Geisinger（Intel）的四大科技巨頭作為開場白，是因為他提到的這些關鍵原則塑造了 AI 推論電腦的整體設計。四大科技巨頭之所以重要，是因為它們是引導產業進行數位轉型的前沿。而其中很多因素都融入了設計中，以實現更好的效能和更高的電源效率。審視整體熱力學，開發一個節能的系統，正是我們支援在遠端和行動環境中進行堅固型邊緣運算的原因。因此，在我們的定義中，將其稱為AI 邊緣推論電腦非常合適，因為許多未來的負載確實源於開發一種硬體解決方案，該解決方案可以利用許多不同的技術與這些新的 AI 負載進行互動。因此，從本質上講，我們正在做的事情以及它如此重要的原因在於，這些 AI 邊緣推論電腦正在進入我們定義為堅固型邊緣運算的市場。在這個市場中，存在著所有這些技術的融合，包括運算處理、高效能儲存和低延遲無線連接。但是，所有這些技術都無法在惡劣且不穩定的環境中正常運作。因此，您需要真正了解如何使產品堅固耐用，以使其在惡劣環境中保持可靠並生存下來。我們這樣做的原因在於我們審視了整體系統級架構，這正是我們的工程技術發揮作用的地方，因為我們確實能夠平衡必要的運算能力並審視整體電源效率，以便為許多靠近物聯網感測器的新應用進行部署。當您將所有這種類型的技術都放在數據產生的地方時，您現在就可以開始做出決策。您確實有能力透過這些新的軟體演算法中編寫的高效智慧和認知能力來與這些數據進行互動和操作。
Q：AI 邊緣推論電腦與其他電腦平台有何不同？
A：是的，我會深入探討幾個關鍵的差異點，但我真的想解釋一下我們正在推向市場的這款產品的設計實現。我們之所以能夠做到這一點，是因為 Premio 在過去 30 多年來在我們的工程和運算架構設計方面的價值。我們有兩個不同的設計團隊。一個設計團隊專注於嵌入式/邊緣解決方案，另一個則致力於高效能資料中心解決方案。傳統上，在過去的 20 多年裡，嵌入式設計團隊一直在組裝低功耗、通常是無風扇散熱的硬體解決方案，這些解決方案適用於非常惡劣的環境，具有可靠性、耐用性和多樣的 I/O。另一方面，您還有高效能資料中心類型的設計，在資料中心中，您可以控制中央位置的最大資源。因此，最終目標是最大化效能。通過最大化效能，您正在利用高效能硬體來確保您提供最佳效能。總結一下，當您將這兩個設計原則結合起來時，您會得到一個中間地帶（平衡點），這就是我們在產品設計中決定的。 AI 邊緣推論電腦是兩種設計原則的平衡，結合了嵌入式專業知識和高效能，整合到一個單一產品中，我們相信它非常適合在邊緣即時處理的許多數據。因此，為了深入了解使我們的邊緣推論電腦與眾不同的一些關鍵差異，我們將其設計成模組化。因此，許多現有的解決方案都是一體式設計，要進行任何更改，您必須等到下一代。我們希望為客戶提供靈活性的一個關鍵要素是，我們將硬體或電腦的某些元素設計成模組化。頂部部分，我們稱之為頂部節點，採用我們傳統的 x86 無風扇工業級設計。這基本上為您提供了處理能力，為您提供了可以與所有這些物聯網感測器互動的所有 I/O 連接。但是，這款特定的 AI 邊緣推論電腦的關鍵差異在於這些底部節點，我們稱之為我們的 EDGEBoost 節點。這些 EDGEBoost 節點是可擴展的，因為它們根據客戶的應用工作負載提供靈活性，以實現效能加速。效能加速對於推論來說極為重要，因為這就是您能夠將硬體與您編寫的軟體結合起來，真正實現基於機器智慧或人工智慧的即時推論的地方。
Q：AI 邊緣推論電腦的應用領域有哪些？
A：是的，AI 邊緣推論電腦的主要優勢正是能夠與資料互動的典範轉移。這種轉變是從集中式運算轉向更本地化的運算，其中資料可以即時處理。因此，我認為 AI 邊緣推論電腦的最佳應用主要集中在「推論」這個關鍵字上。推論非常重要，它與深度學習模型不同，推論 AI 已經被訓練到一定程度的智慧和認知能力，現在它能夠非常快速地查看、互動和解讀資料，而不是使用這些資料來學習任何東西。這是一個決策原則，而如果您將資料用於深度學習模型，資料集必須非常大，並且您需要大量的運算能力才能真正訓練機器達到某種程度的智慧。因此，當我談到推論時，一些最有趣的應用場景包括：
- 電腦視覺、工業自動化和機器人學
在機器人學方面，我們有非常有趣的客戶，他們大量利用我們的 AI 邊緣推論電腦進行電腦視覺應用。本質上，他們正在連接所有這些物聯網感測器。它們可以是攝影機和某種類型的自動化生產線。您可以想像，我認為在這次，在這次目前的短缺中，許多痛點問題是能夠使用自動化來解決許多由於人員短缺而導致的問題，例如在物流倉庫中。而許多這些新應用都試圖使用電腦視覺來消除大部分這些問題。因此，能夠透過電腦視覺、物件檢測、影像檢測來辨識從生產線上出來的不同物件，甚至我們有一些客戶正在使用 AI 邊緣推論電腦，主要是在這些物流設施中導航許多自動駕駛車輛，無論是自動堆高機、您知道的某種類型的自動導引車輛，它們正在幫助在自動化設施中移動不同的東西。
- 安全與監控
第二個應用將是安全和監控。我的意思是，這實際上是一個很好的邊緣類型數據互動的例子，對吧？而且該推論能夠直接從攝影機傳來的饋送中實際進行物件檢測或姿勢檢測。
- 先進駕駛輔助系統 (ADAS) 和自動駕駛車輛
我們開始看到增長的另一個主要應用是 ADAS 和自動駕駛車輛。因此，在這種環境中，您可以想像您需要具備極快的決策能力，因為在道路上行駛的車輛不僅需要能夠偵測和辨識周圍環境，還需要能夠根據汽車的行駛方向進行識別和調整。此外，這些空中參考電腦會提取這些測試車輛中產生的數據，並將其移回雲端，以進行更深入的深度學習，因為我們肯定還沒有達到完全自動駕駛的水平。還有許多應用仍在努力提取大量數據，以訓練並使這些模型更加智慧。而這些邊緣推論電腦能夠利用產品本身中的許多技術來實現這一切。
Q：您如何看待堅固型邊緣在塑造 AI 邊緣推論運算方面所扮演的角色？在這種情況下，我們是否需要針對邊緣與堅固型邊緣採取不同的策略？
A：是的，產品的堅固型版本對於通常位於遠端和行動區域的 AI 工作負載非常重要。因此，當您查看產品的整體系統時，可靠性和耐用性極為重要。因此，能夠在寬廣的溫度範圍或處理水或電力不穩定的環境中部署產品，或者在電力不穩定或定義環境挑戰的區域或環境中部署產品，這些都是我們需要實際開發和研究整體系統設計的問題，因為我們了解我們的一些客戶的應用位於這些極端環境中。例如，在地下採礦環境中，安全是一個主要因素，或者他們在地下採礦環境中必然使用自動化應用程式來導航或繪製整個環境。另一個例子是石油和天然氣，對吧？石油和天然氣通常位於環境相當髒亂、堅固、惡劣的環境中，您需要能夠持續可靠的產品。所以，我的意思是，這個問題真正深入到如何確保產品在這些環境中保持 24 小時 7 天的可靠性。我們這樣做是透過我們的測試設備將產品推向極限，然後我們能夠推向極限。
Q：目前有哪些儲存選項可用？您推薦哪種標準？每種儲存選項都有哪些取捨？
A：是的，這個問題問得很好，特別是對於我們的推論電腦而言，這是一個差異化因素。因此，如果您從整體來看儲存，它非常重要，因為顯然整體儲存容量是關鍵，但顯而易見的是，如果您離資料中心越遠，您擁有的儲存資源就越少，您就需要能夠在本地化盒子中提供不同的儲存協議或不同的儲存元素，該盒子仍然能夠提供所需的效能。因此，如果您看整體儲存媒體本身，我認為技術的發展是顯而易見的，因為您開始看到越來越多的 NAND 快閃記憶體層，無論是 MLC 還是 TLC 容量。透過添加這些不同的層，您可以增加整體容量。但同時也需要一定程度的耐用性。但是當您向邊緣移動時，傳統上許多嵌入式運算中一個主要的瓶頸和挑戰是您受限於 SATA 協議，而 SATA 協議本身的讀寫速度限制為 6 gigabit。因此，我們正在做不同的事情，我們實際上是在我們的 AI 邊緣推論電腦中首先將高容量 NVMe 儲存帶入市場。這並不是說我們是第一個將 NVMe 引入嵌入式電腦的。我們所做的不同之處在於，我們實際上正在製造可熱插拔的 2.5 英寸驅動器托架中的 NVMe，無論是 m.2 還是 U.2，您現在都能夠提供具有令人難以置信的高速讀寫速度和高 IOPS 的 NVMe。這樣做的好處是，現在電腦能夠以極快的速度與數據互動。您能夠儲存數據，但最重要的是，您可以非常快速地將儲存在電腦上的大量數據移出該設備。現在，您可以將其移到另一個環境，例如雲端，在那裡您可以進行更多的機器學習。
了解更多關於 AI 邊緣推論電腦中的 NVMe 並下載我們的白皮書以獲取基準測試
Q：為什麼功耗效率是 AI 邊緣推論電腦的關鍵規格？
A: 是的，所以這一切都與能否在性能預算內提供適量的電力有關，對吧？因此，在設計的一方面，將所有這些不同的強大組件組合起來真的很容易，但如果您將其部署後發現它消耗大量電力，那就不具效率了。對於客戶或應用程式來說，這實際上不會是最好的解決方案。所以我們需要做的是，我們需要非常挑剔並評估某些組件，這些組件確實符合性能基準，但同時也具有電力效率。而電力效率之所以如此重要，是因為當您在邊緣時，您沒有資源，您無法持續獲得可靠的電力。所以您需要找到方法來全面管理電力效率。因此，我們能夠降低電力效率的一個主要方法是透過冷卻方法。對吧？因此，我們在許多加固型電腦設計中嘗試放入的一個主要元素是查看產品並使用被動冷卻方法。而許多時候，被動冷卻方法會導致使用無風扇設計，這種設計利用散熱片背後的熱力學原理，基本上將熱量從許多關鍵組件中散發出去。因此，透過實際移除許多主動風扇，一個電源元件實際上從設計中移除。但本質上，同樣重要的是您需要了解產品將進入的環境，一旦您在性能和功率之間取得平衡。您現在還需要能夠在電力波動可能相當大的環境中支援產品。所以我們所做的是，我們仍然保持我們加固的電力，就我們的寬範圍電源輸入而言。因此，正如我前面提到的，您仍然能夠進行從 9 伏特到 50 伏特直流電的寬範圍電源輸入。但推論電腦中一個非常有趣且不同的地方是，即使在底部節點上，當您擁有高性能 GPU 和儲存以及 m.2 加速器時，這些傳統上自然會消耗大量電力，我們仍然能夠提供第二個電源，仍在 12 到 48 伏特直流電的寬範圍內。此外，當使用像 GPU 和 NVMe 儲存這樣的高性能加速器時，底部節點包含一個熱插拔的高轉速風扇；這個風扇本身只專用於邊緣加速節點及其加速器。因為當您實際包含這種類型的性能加速器時，您需要具備冷卻它們的能力，對吧？所以這就是我前面提到的平衡，即了解低功耗效率，但仍然整合高性能資料中心類型的技術，並在兩者之間找到平衡，以提供一個相當堅固的 AI 邊緣推論電腦。
Q: 但我們的受眾在做出有關正確電源規格和電源效率規格的決定時，應該問自己什麼問題才能滿足他們的需求？
A: 是的，我認為這關乎了解他們將使用的應用程式。同樣地，這台電腦本身非常堅固，能夠支援許多主要應用程式。由於我們在硬體工程方面的知識，我們已經盡力了，並根據我們的基準測試和測試，提供了一款能夠實現性能與功耗比的產品和解決方案。所以您幾乎可以保證，我們已經選擇了最佳的組件類型、最佳的處理方式、最佳的性能加速器，並採用低功耗高效模型，使其在整體解決方案的總成本上實際上是最划算的。
Q: 現在讓我們談談升級，這至關重要，因為正如您在引言中所述，這個行業不斷演變。AI 邊緣推論電腦如何進行升級，您有什麼關鍵策略嗎？
A: 是的，好問題。我認為從嵌入式市場的角度來看，我們如何看待下一代升級一直都非常具戰略性。我認為，在消費性高性能領域追求最新最好的同時，嵌入式市場實際上落後了幾代，原因在於它需要確保客戶能夠利用必要的計算能力，而不會過快地轉向可能在部署早期出現問題的解決方案或世代。因此，面對這種挑戰，在嵌入式領域，我們一直在努力思考，如何提出一個及時的解決方案，讓客戶能夠擴展規模，讓客戶在他們的應用程式中保持競爭力，無論是在所有不同類型的處理、記憶體、儲存、連接技術方面。但正如您所提到的，技術發展速度如此之快，這也是我們的客戶所面臨的一個主要挑戰，他們總是在尋找其部署中最新最好的東西。因此，在許多嵌入式計算設計中，一個主要元素和優勢一直很及時且很有幫助，那就是找到一種使其模組化的方法。對吧？因此，將簡單事物模組化並真正讓客戶能夠非常快速地升級，實際上非常關鍵。所以我們在這款 AI 邊緣推論電腦中做出了不同的嘗試，我們將計算模組頂部節點設計成模組化，並且我們擁有可以混搭的性能加速模組和我們的邊緣加速節點。所以一個非常簡單的例子是，目前這一代電腦採用的是 Intel 第九代酷睿 CPU，對吧？所以隨著我們發布下一代產品，它只需要快速更換頂部節點，您仍然可以透過邊緣加速節點利用所有的性能加速。隨著我們增加下一代設計，這種情況將會持續發生。這樣做的好處是，現場的客戶現在可以透過模組化非常有效地進行更換，而不是完全更換整個單元。
Q: 您認為 OEM 在整合 AI 邊緣推論電腦時可能會遇到哪些關鍵挑戰？他們應該如何克服這些挑戰？這在我們的廣泛討論中為何重要？
A: 從硬體角度嚴格來說，我認為我們所處理的許多 OEM 客戶面臨的最大挑戰之一，是確保他們的軟體應用程式能夠非常流暢地移植到硬體上。我會說這對我們來說是一個挑戰，因為我們並不真正了解客戶對其軟體的要求。基本上，我們的目標是真正打造一個堅固、可靠的硬體解決方案，能夠支援 Windows 或 Linux 的基礎，讓客戶可以快速無縫地將其整合到他們的部署用例中。但我會說，這款產品的另一個有趣功能是，我們確實盡一切可能讓客戶軟體應用程式的整合非常無縫。因此，我們還開發了一個軟體開發套件，可以與硬體以及硬體中某些非常重要的部分進行互動。因此，從整體風扇速度、整體環境溫度，所有這些都可以透過我們為客戶提供的 API 或軟體開發套件進行程式設計。嚴格來說，在開發套件中，還有一點非常重要，那就是我們包含了一個可程式邏輯，允許 NVMe 儲存單元磚透過點擊按鈕來暫停其 I/O 操作。這可以根據客戶的應用程式進行程式設計。但本質上，這項功能的整體功能以及其重要性在於，在資料儲存中，雖然有大量的輸入和輸出通過電腦，例如，如果您需要透過點擊按鈕來彈出實體 NVMe 儲存單元磚，我們實際上可以暫停任何 I/O 操作。這項功能實際上保留了資料儲存，同時也防止了在讀寫過程中可能發生的許多資料損壞。
Q: Premio 在 AI 邊緣運算領域的產品與市場上其他產品有何不同？根據我們剛才所闡述的一切，這些差異在實用性和適用性方面有何特別之處？
A: 我認為作為製造商，我們競爭差異的一個決定性特徵是，我們始終努力尋找創新方法，以幫助客戶在其整體部署中盡可能靈活和敏捷。我認為在整個對話中，這一點已經非常明顯，在我們新的 AI 邊緣電腦中，我們如何轉變並改變了設計的整體模組化，同時還引入了專為邊緣設計的邊緣加速節點，用於 GPU 加速、NVMe 儲存和 M.2 加速等性能加速。這確實讓我們的客戶能夠利用專為邊緣這些新應用程式量身打造的解決方案。最終，我們所做的是，我們研究了硬體方面的一些最大挑戰，並將其整合起來，透過現成的解決方案加以解決。因此，從計算的角度來看，我們所能做的就是真正平衡性能、著眼於整體可靠性、採用資料安全性、利用整體功耗預算，並採用一種新的複雜工業設計，使這些應用程式能夠在其部署的環境中取得成功。
Q: 總結一下，對於我們的受眾，您有什麼可操作的建議，可以讓他們開始理解我們所闡述的一切，並將其轉化為升級或開始決定 AI 邊緣推論電腦設計規格的即時步驟？
A: 我認為唯一的啟示是，隨著這個市場不斷增長，我們需要能夠利用一個生態系統來取得成功和成長。而這個生態系統嚴重依賴許多不同類型的半導體創新者、生態系統技術合作夥伴，他們真正將整體解決方案推向終端用戶的全面部署。所以，了解工程能力、產品製造，並真正將電腦推向全面部署，正是 Premio 一直以來努力為許多客戶及其應用程式解決的問題。