人工智慧正從集中式資料中心轉移到實體世界，在實體世界中，機器人、機器視覺系統和自動機器必須處理不斷增長的感測器資料量並即時做出決策。
這種轉變很大程度上是由 GPU 所推動的。GPU 最初是為圖形渲染而設計的，現已發展成為功能強大的平行處理器，能夠同時執行大量計算。這使得它們特別適合人工智慧推論、電腦視覺、機器人技術和其他資料密集型工作負載，而僅靠 CPU 可能無法提供足夠的平行處理效能。
然而，傳統的分離式 GPU 可能會為嵌入式和工業部署帶來挑戰。高效能 GPU 通常需要大量電力、產生大量熱能並依賴主動散熱，這使得它們難以整合到在空間、電力或散熱受限環境中運行的緊湊型系統中。
NVIDIA Jetson 透過將節能型 GPU 加速運算、CPU 處理、記憶體和高速介面整合到緊湊型嵌入式人工智慧平台中來應對這些挑戰，該平台由 NVIDIA 的 CUDA 和加速軟體生態系統提供支援。
目前，產品組合主要由兩個系列組成：
- NVIDIA Jetson Orin，適用於可擴展邊緣人工智慧、機器視覺和機器人技術。
- NVIDIA Jetson Thor，適用於進階實體人工智慧、多模態人工智慧和下一代機器人技術。
NVIDIA Jetson 是什麼？
NVIDIA Jetson 是一個系統模組 (SoM) 系列，旨在將 GPU 加速的人工智慧運算直接帶到邊緣裝置。
Jetson 模組不是圍繞獨立的 CPU、GPU 和記憶體元件建構系統，而是將關鍵運算資源整合到緊湊型嵌入式平台中。
根據 Jetson 系列，這些資源可能包括：
- NVIDIA GPU 和 Tensor Cores
- 基於 Arm 的 CPU
- 高速系統記憶體
- 硬體視訊處理
- 攝影機和感測器介面
- PCIe 和高速網路
- 專用人工智慧和視覺加速器
其結果是一個緊湊的運算架構，可以整合到機器人、自動駕駛車輛、智慧攝影機、醫療設備、工業機器和其他嵌入式人工智慧系統中。
Jetson 不僅僅是硬體。NVIDIA 將其模組與 JetPack SDK、CUDA、TensorRT、cuDNN、DeepStream、Isaac、Holoscan 和其他用於開發和部署加速人工智慧應用程式的軟體工具相結合。
NVIDIA 將 Jetson 描述為其用於邊緣人工智慧的平台，結合了節能嵌入式運算及其人工智慧軟體堆疊，用於進階機器人技術和自主產品。
NVIDIA Jetson 的演進
早期的 Jetson 世代，例如 Jetson Nano、TX2 和 Xavier，幫助建立了用於嵌入式人工智慧的 GPU 加速運算，為當今更高性能的平台鋪平了道路。
Jetson Orin 擴展了在嵌入式功耗範圍內進行人工智慧推論、機器人技術、電腦視覺和生成式人工智慧的產品組合，而 Jetson Thor 則透過 NVIDIA Blackwell GPU 技術、更大的記憶體容量和顯著更多的人工智慧運算，為複雜的實體人工智慧和多模態工作負載邁出了下一步架構。
Thor 並非取代 Orin，而是擴展了 Jetson 平台的擴展範圍。
NVIDIA Jetson Orin
NVIDIA Jetson Orin 系列旨在擴展人工智慧在各種邊緣部署中的效能。
Orin 產品組合建基於 NVIDIA Ampere 架構 GPU 和 Arm® Cortex®-A78AE CPU，提供三個主要層級：Orin Nano、Orin NX 和 AGX Orin，具有不同層級的 CPU 效能、人工智慧運算、記憶體容量和功耗。
下表比較了每個 Jetson Orin 層級的關鍵規格和典型應用。
| Jetson Orin 系列 | CPU | 人工智慧效能 | 記憶體 | 功耗 | 最佳應用 |
| Jetson Orin Nano | 6 核心 Arm® Cortex®-A78AE | 高達 67 TOPS | 4GB / 8GB LPDDR5 | 7W - 25W |
|
| Jetson Orin NX | 6 核心 (8GB) / 8 核心 (16GB) Arm® Cortex®-A78AE | 高達 157 TOPS | 8GB / 16GB LPDDR5 | 超頻模式下高達 40W |
|
| Jetson AGX Orin | 8 核心 (32GB) / 12 核心 (64GB) Arm® Cortex®-A78AE | 高達 275 TOPS | 32GB / 64GB LPDDR5 | 15W–60W |
|
NVIDIA Jetson Orin 超頻模式
超頻模式允許支援的 Jetson Orin 模組透過增加 GPU 工作頻率和啟用更高功耗配置來釋放更高的人工智慧效能。它不需要新的模組，而是透過支援的 JetPack 軟體和功耗模式擴展了現有 Orin 硬體可用的效能。
在超頻模式下，Jetson Orin Nano 可達到高達 67 TOPS，而 Jetson Orin NX 可達到高達 157 TOPS。JetPack 7.2 也為 Jetson AGX Orin 32GB 引入了超頻模式，將峰值人工智慧效能從 200 TOPS 提高到 241 TOPS。
額外的效能可以受益於多攝影機視覺、機器人技術、生成式人工智慧和多模態推論等工作負載。然而，更高的效能也增加了功耗和散熱需求，因此系統設計人員必須確保平台的散熱和供電設計能夠支援選定的超頻模式配置。
NVIDIA Jetson Thor：實體人工智慧的下一步
隨著邊緣人工智慧變得更加精密，工作負載正在改變。
傳統機器視覺可能需要回答：「我前面是什麼物體？」實體人工智慧系統可能需要理解其周圍環境，推斷正在發生的事情，決定下一步要做什麼，並即時做出實體回應。
支援這些工作負載需要更大的 AI 運算、記憶體頻寬和處理能力。這就是 NVIDIA Jetson Thor 擴展 Jetson 平台的地方。
Jetson Thor 系列建基於 NVIDIA Blackwell 架構 GPU、第五代 Tensor Cores 和基於 Arm 的處理器，專為進階機器人技術、多模態 AI、視覺 AI 代理和實體 AI 應用而設計。
Thor 系列現在涵蓋四個模組，從最近發布的 T2000 和 T3000 到更高性能的 T4000 和 T5000。
| Jetson Thor 系列 | CPU | AI 效能 | 記憶體 | 功耗 | 定位 |
| T2000 | 6 核心 Arm® Neoverse® | 400 FP4 TFLOPS | 16GB LPDDR5X | 40W |
|
| T3000 | 8 核心 Arm® Neoverse® CPU | 865 FP4 TFLOPS | 32GB LPDDR5X | 70W |
|
| T4000 | 12 核心 Arm® Neoverse®-V3AE | 1,200 FP4 稀疏 TFLOPS | 64GB LPDDR5X | 40W - 70W |
|
| T5000 | 14 核心 Arm® Neoverse®-V3AE | 2,070 FP4 稀疏 TFLOPS | 128GB LPDDR5X | 40W - 130W |
|
Jetson Thor 系列為開發人員提供了在邊緣部署基於 Blackwell 的 AI 的可擴展路徑，從 T2000 和 T3000 更緊湊的機器人技術和視覺 AI 工作負載，到 T4000 和 T5000 的高級實體 AI 和多模態應用。隨著整個系列中運算、記憶體和功耗的擴展，系統設計人員可以更好地將平台與工作負載的複雜性相匹配，而不是預設為最高性能選項。這使得 Jetson Thor 適用於更廣泛的下一代機器人技術、自主系統、感測器融合和即時 AI 應用。
Jetson Orin 與 Jetson Thor
Jetson Orin 和 Jetson Thor 針對不同層級的邊緣 AI 效能。Jetson Orin 專注於用於機器視覺、機器人技術和自主系統的可擴展、節能型 AI 推論，而 Jetson Thor 則針對需要更大模型、更多記憶體和高級多模態處理的更嚴苛實體 AI 工作負載。
|
|
Jetson Orin |
Jetson Thor |
|
GPU 架構 |
NVIDIA Ampere |
NVIDIA Blackwell |
|
模組系列 |
Orin Nano、Orin NX、AGX Orin |
T2000、T3000、T4000、T5000 |
|
CPU 架構 |
Arm® Cortex®-A78A |
Arm® Neoverse® |
|
最大記憶體 |
高達 64GB LPDDR5 |
高達 128GB LPDDR5X |
|
功率 |
7W – 40W |
高達 130W |
|
AI 效能 |
高達 275 TOPS |
高達 2,070 FP4 稀疏 TFLOPS |
|
主要重點 |
視覺、推論、機器人 |
實體 AI |
|
典型應用 |
檢測、AMR、AGV、視訊分析 |
類人型機器人、感測器融合、VLM/VLA 工作負載 |
因此，Orin 和 Thor 的選擇應從工作負載而非最大 AI 效能開始。對於機器視覺、視訊分析、AMR 和許多工業 AI 應用，Jetson Orin 在運算效能、電源效率、尺寸和記憶體之間提供了強大的平衡。當系統必須處理更大的多模態模型、結合多個高頻寬感測器串流，或即時執行更複雜的「感測 → 理解 → 推理 → 行動」工作流程時，Jetson Thor 的重要性就更為顯著。
深入了解 Jetson Orin 與 Jetson Thor 的差異。
注意：Orin 和 Thor 使用不同的 AI 效能指標，因此其主要運算數據不應直接比較。
選擇正確的 AI 運算平台
NVIDIA Jetson 並不取代獨立 GPU。相反，它為 OEM 和系統整合商提供了另一種方法，可以根據應用程式的效能、功耗、尺寸和軟體要求來部署 GPU 加速的 AI。
不同的 AI 架構更適合不同的工作負載：
-
獨立 GPU：最適合需要最大運算效能、大型模型、高記憶體容量或彈性 PCIe 擴充的應用程式。它們非常適合 AI 訓練、高效能推論以及功耗和散熱限制較少的環境。
-
NVIDIA Jetson：專為邊緣 AI 設計，優先考慮精巧尺寸、電源效率、低延遲和本地處理。Jetson 特別適合機器視覺、機器人、自主系統和實體 AI。
- 專用 AI 加速器：NPU 和其他專用 AI 加速器為高效邊緣推論提供了另一種選擇。這些加速器可以整合到現有的 x86 或 Arm 系統中，以增加 AI 效能，而無需完全改變系統架構，使其適用於對功耗敏感的視覺和推論工作負載。
沒有單一的架構適用於所有 AI 部署。正確的選擇取決於模型複雜性、效能要求、功耗預算、系統尺寸、軟體相容性和可擴展性等因素。
若要更詳細地探索這些架構，請閱讀我們對 CPU、GPU 和 AI 加速器的完整概述。
結論
隨著 AI 更接近資料產生的地方，系統設計者需要平衡 AI 效能、功耗、系統尺寸和部署要求的運算平台。NVIDIA Jetson 透過將 GPU 加速的 AI 整合到專為即時邊緣處理而設計的精巧嵌入式平台中，滿足了這項需求。
在產品組合中，Jetson Orin 為機器視覺、機器人技術和自主系統提供可擴展的效能，而 Jetson Thor 則將該平台擴展到要求更高的實體 AI、多模態 AI 和先進機器人工作負載。在 Jetson、獨立 GPU 或其他 AI 加速器之間做選擇最終取決於工作負載、功耗預算、軟體要求以及應用程式所需的可擴展性水平。
隨著邊緣 AI 不斷從基本推論發展到能夠感知、理解、推理和行動的系統，NVIDIA Jetson 為將日益強大的 AI 引入真實世界的機器和工業環境提供了可擴展的基礎。
Premio 的最新 Jetson Orin AI 邊緣電腦系列利用 Jetson Orin 的設計，提供全新的堅固、無風扇邊緣 AI 工業電腦系列。JCO 系列是 Premio 首個採用 ARM 架構的產品線，提供從入門級到中階的三種可擴展型號，JCO-1000-ORN 系列和JCO-3000-ORN 系列由 Jetson Orin Nano 和 Orin NX 驅動，而高效能的JCO-6000-ORN 系列則由 Jetson AGX Orin 驅動。
Premio 也正在擴展其產品線，即將推出的WCO-6000-THR 系列由 NVIDIA Jetson AGX Thor 驅動，預計於 2027 年上市，將產品組合擴展到要求更高的實體 AI、多模態處理和先進機器人工作負載。
此部落格最初發布於 2024 年 4 月 5 日，現已更新以反映最新的產品和認證資訊。
jco-series