電腦發展至今歷史悠久，時至今日，許多電腦都遵循相似的設計結構，至少包含 CPU、GPU、記憶體和儲存裝置。到目前為止，我們對電腦設計的了解，很大程度上都基於這些讓電腦得以運作的關鍵元件。每個元件都扮演著獨特的角色和功能，讓電腦能夠發揮一定的效能。就 GPU 而言，這個特定元件早已演變成一個高度專業化且獨特的存在。
長期以來，GPU 早已超越了其最初的圖形渲染目的，成為平行處理任務不可或缺的工具，尤其是在現今的 AI 和機器學習應用中。隨著這些應用的快速發展，GPU 已迅速普及，成為許多產業應對工業 4.0 自動化或機器人技術中繁重工作負載的關鍵元件。當電腦整合 GPU 時，這些系統將帶來增強的效能，實現比傳統 CPU 單獨運作更強大的處理能力。GPU 擅長同時執行大量的計算，這使其成為神經網路訓練和邊緣 AI 推理等基本任務的理想選擇。
由於 GPU 技術是平行處理的基礎，NVIDIA 至今一直是強大顯示卡背後半導體技術的主要設計者之一。該公司設計並提供了 CUDA 核心技術，讓世界各地的使用者能夠存取其專有的圖形處理單元，從執行視訊遊戲到處理繁重工作負載的 AI 軟體。工業 4.0 受益於 GPU 的強大影響，尤其是在當今新興的 AI 技術巨大浪潮下。隨著越來越多的 AI 應用程式佔據市場，更多的嵌入式應用程式正在尋求利用 GPU 或類似效能加速器等新型異構領域特定運算架構的優勢。
然而，許多工業應用始終會面臨一個令人困擾的問題，那就是散熱和溫度背後的物理原理，尤其是在 GPU 中。GPU 體積龐大，產生大量熱量，並消耗大量電力。目前市面上許多消費級 GPU 耗電量巨大，通常不適合工業電腦，除非採用某些主動散熱方式。
作為一家擁有 35 年歷史的硬體製造商，Premio 在平衡堅固型工業電腦的電源效率和性能方面，解決了這一挑戰。Jetson Orin 為我們這樣的製造商提供了尖端解決方案，以應對當今邊緣 AI 運算的新浪潮。憑藉 Jetson Orin，Premio 能夠應對堅固型邊緣環境下即時 AI 處理和低延遲數據遙測的挑戰，為電源效率和性能樹立了新標準。
什麼是 Jetson？
NVIDIA 意識到許多工業環境在實施 AI 和邊緣運算時面臨的挑戰，尤其是在涉及 GPU 的情況下。隨著 AI 應用程式擴展到傳統資料中心和雲端環境之外，對一個能夠無縫整合 AI 到邊緣設備而沒有缺點的專用平台的需求日益增長。NVIDIA 試圖普及 AI 並為許多工業應用創造一個更容易取得的解決方案。其動機是讓各規模的開發人員、研究人員和企業都能夠利用 AI 的力量，而無需處理通常與大型運算基礎設施相關的複雜性。
成果就是NVIDIA 的 Jetson 平台，這是一個嵌入式 AI 運算設備系列，旨在將深度學習和電腦視覺的變革能力帶到邊緣設備或更不穩定、更偏遠的環境中。其核心是，Jetson 系列提供了高效能 GPU、專用 AI 硬體和全面的軟體堆疊的獨特結合，以實現智慧應用程式在真實世界場景中的部署。傳統 x86 系統帶來的痛點為 NVIDIA 投入精力創建一個解決世界各地許多人目前面臨的共同挑戰的系統鋪平了道路。
了解 Jetson 模組
關鍵設計獨特性：
每個 NVIDIA Jetson 都是一個完整的模組系統 (SoM)，其中包括 GPU、CPU、記憶體、電源管理、高速介面等。這些元件經過優化，可在保持電源效率的同時提供高效能的 AI 推理，使邊緣裝置能夠高效運行複雜的 AI 演算法。透過將所有關鍵組件整合到一個單一模組中，NVIDIA Jetson 可以在較小的、空間受限的解決方案中整合，而無需犧牲許多邊緣裝置所需的性能或電源效率。
讓 Jetson 平台脫穎而出的還有 NVIDIA 獨特的設計理念。NVIDIA 將 Jetson 不僅僅設計成一塊專門的硬體，還建立了一個為 Jetson 裝置上的 AI 開發量身定制的工具生態系統。這包括支援 TensorFlow 和 NVIDIA 自家的 TensorRT 等流行的 AI 框架，以及用於電腦視覺和深度學習的函式庫和 API。此外，NVIDIA 對開源軟體和全面文件的承諾，促進了一個協作的生態系統，社區可以在其中為平台的持續改進做出貢獻並從中受益。NVIDIA 的 Jetpack SDK 是該公司為 Jetson 產品提供的最全面的函式庫，為客戶提供端到端 AI 解決方案建構的完整解決方案。
Jetson 的獨特設計
Jetson 平台之所以獨特，不僅在於其強大的運算能力，還在於其獨特的設計理念。NVIDIA 以整體方法設計 Jetson 裝置，同時考慮到硬體和軟體方面，以創造無縫的開發體驗。
Jetson Orin 模組產品線
NVIDIA Jetson 裝置最新推出的產品線是 Jetson Orin (於 2023 年 3 月推出)，它提供了三種不同的外形規格，以應對需要即時處理、資料遙測和豐富 I/O 靈活性的各種邊緣 AI 工作負載。
|
|
Jetson Orin AGX 系列 |
Jetson Orin NX 系列 |
Jetson Orin Nano 系列 |
|||
|
Jetson AGX Orin 64GB |
Jetson AGX Orin 32GB |
Jetson Orin NX 16GB |
Jetson Orin NX 8GB |
Jetson Orin Nano 8GB |
Jetson Orin Nano 4GB |
|
|
AI 效能 |
275 TOPS |
200 TOPS |
100 TOPS |
70 TOPS |
40 TOPS |
20 TOPS |
|
GPU |
2048 核心 NVIDIA Ampere 架構 GPU，配備 64 個 Tensor 核心 |
1792 核心 NVIDIA Ampere 架構 GPU，配備 56 個 Tensor 核心 |
1024 核心 NVIDIA Ampere 架構 GPU，配備 32 個 Tensor 核心 |
1024 核心 NVIDIA Ampere 架構 GPU，配備 32 個 Tensor 核心 |
512 核心 NVIDIA Ampere 架構 GPU，配備 16 個 Tensor 核心 |
|
|
GPU 最大頻率 |
1.3 GHz |
930MHz |
918MHz |
765MHz |
625MHz |
|
|
CPU |
12 核心 Arm® Cortex®-A78AE v8.2 64 位元 CPU |
8 核心 Arm® Cortex®-A78AE v8.2 64 位元 CPU |
8 核心 Arm® Cortex®-A78AE v8.2 64 位元 CPU |
6 核心 Arm® Cortex®-A78AE v8.2 64 位元 CPU |
6 核心 Arm® Cortex®-A78AE v8.2 64 位元 CPU |
|
|
3MB L2 + 6MB L3 |
2MB L2 + 4MB L3 |
2MB L2 + 4MB L3 |
1.5MB L2 + 4MB L3 |
1.5MB L2 + 4MB L3 |
||
|
CPU 最大頻率 |
2.2 GHz |
2.2 GHz |
2 GHz |
1.5 GHz |
||
Jetson AGX Orin 模組
Jetson AGX Orin 模組提供高達 275 TOPS 的 AI 效能，功耗可在 15W 到 60W 之間配置。這是 Jetson Orin 系列的旗艦型號，提供最高的效能和功能。它專為自動駕駛車輛、機器人技術、工業自動化和智慧城市等領域中要求嚴苛的 AI 應用而設計。AGX Orin 模組提供強大的處理能力，適用於需要即時 AI 推理、感測器融合和高效能運算的應用。
Jetson Orin NX 模組
Jetson Orin NX 模組以最小的 Jetson 外形尺寸提供高達 100 TOPS 的 AI 效能，功耗可在 10W 到 25W 之間配置。Orin NX 型號定位為中階選項，在效能、功耗效率和成本效益之間取得平衡。它適用於各種 AI 邊緣運算應用，包括智慧攝影機、無人機、智慧家電和嵌入式 AI 系統。Orin NX 模組提供強大的處理能力，同時與 AGX 模組相比，更為小巧且更具成本效益。
Jetson Orin Nano 模組
Jetson Orin Nano 系列模組以最小的 Jetson 外形尺寸提供高達 40 TOPS 的 AI 效能，功耗可在 7W 到 15W 之間配置。Orin Nano 是 Jetson Orin 系列的入門級型號，目標應用是優先考慮較低功耗和成本，同時仍需要 AI 處理能力的領域。它適用於邊緣 AI 設備、物聯網 (IoT) 設備以及其他空間、功耗和成本限制是關鍵因素的嵌入式系統。
應用
Jetson 平台的多功能性為各行各業的無數應用打開了大門。一些值得注意的實施包括：
為工作選擇合適的工具
透過 NVIDIA Jetson，這不一定會取消 GPU 作為處理能力的來源。相反地，它為系統整合商和 OEM 廠商在決定如何為 AI 運算任務實施其解決方案時提供了更多選擇。對於您的工業應用，總有一些因素需要考慮。在許多情況下，GPU 可能比選擇 Jetson 更具優勢，反之亦然。
- GPU：在訓練大規模神經網路或執行需要巨大運算能力的複雜 AI 演算法時，選擇 GPU。GPU 在大規模平行處理和原始運算能力至關重要的場景中表現出色。
- Jetson：在邊緣部署 AI 應用時選擇 Jetson 設備，其中低延遲、功耗效率和緊湊外形等因素至關重要。Jetson 在需要即時推理並整合到小型、資源受限設備的場景中表現出色。
- 其他 AI 加速器 (TPU) - 另一種選擇可能是完全不同的路線，其中張量處理單元可能比 GPU 或 Jetson 更受歡迎。在許多情況下，有些應用中從 x86 過渡到 ARM 可能弊大於利。這些加速器是 GPU 和 NVIDIA Jetson 的低功耗、高效能替代方案。
要了解有關每種效能加速器類型之間差異和優勢的更多資訊，請查看我們的完整概述，其中深入探討了 GPU、TPU 等的關鍵區別。
結論
在動態的 AI 運算領域中，GPU 和 NVIDIA Jetson 平台都扮演著不可或缺的角色，各自滿足不同的需求和應用場景。透過了解這些技術的優勢和應用，開發人員和工程師可以有效利用它們，推動創新並釋放人工智慧在各個領域的全部潛力。無論是利用 GPU 的平行處理能力，還是透過 Jetson 直接在邊緣部署 AI，AI 運算的未來都充滿了可能性，等待著被探索和利用，以造福社會。
Premio 最新推出的 Jetson Orin AI 邊緣電腦系列利用 Jetson Orin 的設計，提供了一系列堅固耐用、無風扇的邊緣 AI 工業電腦。JCO 系列是 Premio 首款採用 ARM 架構的產品線，提供三種可擴展型號：入門級 (JCO-1000-ORN)、中階 (JCO-3000-ORN) 和高效能 (JCO-6000-ORN)，可在堅固耐用的邊緣環境中提供即時 AI 運算能力。