NVIDIA Jetson のご紹介

人工知能は、集中型データセンターから物理世界へと広がり、ロボット、マシンビジョンシステム、自律型機械が膨大なセンサーデータを処理し、リアルタイムで意思決定を行う必要があります。

この変化は、主にGPUによって推進されています。GPUはもともとグラフィックスレンダリングのために設計されましたが、同時に大量の計算を実行できる強力な並列プロセッサへと進化しました。このため、AI推論、コンピュータビジョン、ロボティクス、その他、CPUだけでは十分な並列処理性能を提供できないデータ集約型のワークロードに特に適しています。

しかし、従来のディスクリートGPUは、組み込み型および産業用途において課題をもたらす可能性があります。高性能GPUは、多くの場合、かなりの電力を必要とし、大量の熱を発生させ、アクティブ冷却に依存するため、スペース、電力、または熱に制約のある環境で動作するコンパクトなシステムに統合することが困難です。

NVIDIA Jetsonは、電力効率の高いGPUアクセラレーテッドコンピューティング、CPU処理、メモリ、および高速インターフェースをコンパクトな組み込みAIプラットフォームに組み合わせることで、これらの課題を解決します。このプラットフォームは、NVIDIAのCUDAおよびアクセラレーテッドソフトウェアエコシステムによってサポートされています。

現在、ポートフォリオは主に2つのファミリーで構成されています。

• NVIDIA Jetson Orin：スケーラブルなエッジAI、マシンビジョン、ロボティクス向け。
• NVIDIA Jetson Thor：高度な物理AI、マルチモーダルAI、次世代ロボティクス向け。

NVIDIA Jetsonとは？

NVIDIA Jetsonは、GPUアクセラレーテッドAIコンピューティングをエッジデバイスに直接提供するために設計された、システムオンモジュール（SoM）のファミリーです。

Jetsonモジュールは、個別のCPU、GPU、メモリコンポーネントを中心にシステムを構築するのではなく、主要なコンピューティングリソースをコンパクトな組み込みプラットフォームに統合しています。

Jetsonファミリーに応じて、これらのリソースには以下が含まれます。 

• NVIDIA GPUおよびTensorコア
• ArmベースCPU
• 高速システムメモリ
• ハードウェアビデオ処理
• カメラおよびセンサーインターフェース
• PCIeおよび高速ネットワーキング
• 専用AIおよびビジョンアクセラレータ

その結果、ロボット、自律走行車、スマートカメラ、医療機器、産業機械、その他の組み込みAIシステムに統合できるコンパクトなコンピューティングアーキテクチャが実現します。 

Jetsonはハードウェア以上のものです。NVIDIAは、モジュールをJetPack SDK、CUDA、TensorRT、cuDNN、DeepStream、Isaac、Holoscan、およびアクセラレーテッドAIアプリケーションの開発と展開に使用されるその他のソフトウェアツールと組み合わせて提供しています。 

NVIDIAは、JetsonをエッジにおけるAIプラットフォームと説明しており、電力効率の高い組み込みコンピューティングとAIソフトウェアスタックを組み合わせて、高度なロボティクスおよび自律型製品を実現しています。

NVIDIA Jetsonの進化

Jetson Nano、TX2、Xavierといった以前のJetson世代は、組み込みAI向けにGPUアクセラレーテッドコンピューティングを確立し、今日のより高性能なプラットフォームへの道を開きました。

Jetson Orinは、エッジの電力効率の範囲内でAI推論、ロボティクス、コンピュータビジョン、生成AI向けにポートフォリオを拡大しました。一方、Jetson Thorは、NVIDIA Blackwell GPUテクノロジー、より大容量のメモリ、および複雑な物理AIおよびマルチモーダルワークロード向けにはるかに多くのAIコンピューティングを搭載し、次なるアーキテクチャの段階に進んでいます。

ThorはOrinを置き換えるのではなく、Jetsonプラットフォームがどこまで拡張できるかを広げます。

NVIDIA Jetson Orin

NVIDIA Jetson Orinファミリーは、幅広いエッジ展開でAIパフォーマンスをスケーリングするように設計されています。

NVIDIA AmpereアーキテクチャGPUとArm® Cortex®-A78AE CPUをベースにしたOrinポートフォリオは、Orin Nano、Orin NX、AGX Orinの3つの主要なティアで提供され、それぞれ異なるレベルのCPUパフォーマンス、AIコンピューティング、メモリ容量、および消費電力を備えています。

以下の表は、各Jetson Orinティアの主要な仕様と一般的なアプリケーション適合性を比較しています。

NVIDIA Jetson Orin Super Mode

スーパーモードにより、サポートされているJetson Orinモジュールは、GPUの動作周波数を上げ、より高い電力構成を有効にすることで、より高いAIパフォーマンスを引き出すことができます。これにより、新しいモジュールを必要とせず、既存のOrinハードウェアから、サポートされているJetPackソフトウェアと電力モードを通じて利用可能なパフォーマンスが拡張されます。

スーパーモードでは、Jetson Orin Nanoは最大67 TOPS、Jetson Orin NXは最大157 TOPSに達します。JetPack 7.2では、Jetson AGX Orin 32GBにもスーパーモードが導入され、ピークAIパフォーマンスが200 TOPSから241 TOPSに向上しました。

追加されたパフォーマンスは、マルチカメラビジョン、ロボティクス、生成AI、マルチモーダル推論などのワークロードにメリットをもたらします。ただし、パフォーマンスが向上すると、消費電力と熱要件も増加するため、システム設計者は、プラットフォームの冷却と電力供給が選択されたスーパーモード構成をサポートするように設計されていることを確認する必要があります。

NVIDIA Jetson Thor：物理AIの次のステップ

エッジAIが高度化するにつれて、ワークロードも変化しています。 

従来の機械学習では、「目の前に何があるか」を問いかけるかもしれませんが、物理AIシステムでは、周囲を理解し、何が起きているかを推論し、次に何をすべきかを判断し、リアルタイムで物理的に対応する必要があります。 

これらのワークロードをサポートするには、より高いAIコンピューティング、メモリ帯域幅、および処理能力が必要です。ここにNVIDIA Jetson ThorがJetsonプラットフォームを拡張する理由があります。 

第5世代TensorコアとArmベースプロセッサを搭載したNVIDIA BlackwellアーキテクチャGPUをベースにしたJetson Thorファミリーは、高度なロボティクス、マルチモーダルAI、視覚AIエージェント、および物理AIアプリケーション向けに設計されています。 

Thorファミリーは現在、最近発表されたT2000およびT3000から、より高性能なT4000およびT5000まで、4つのモジュールにわたってスケールします。

Jetson Thorのラインアップは、よりコンパクトなロボティクスおよび視覚AIワークロード向けのT2000およびT3000から、高度な物理AIおよびマルチモーダルアプリケーション向けのT4000およびT5000まで、BlackwellベースのAIをエッジで展開するためのスケーラブルなパスを開発者に提供します。ファミリー全体でコンピューティング、メモリ、電力がスケーリングされるため、システム設計者は、最高のパフォーマンスオプションにデフォルトで設定するのではなく、プラットフォームをワークロードの複雑さに合わせてより適切に調整できます。これにより、Jetson Thorは、より広範な次世代ロボティクス、自律システム、センサーフュージョン、およびリアルタイムAIアプリケーションに適しています。

Jetson Orin vs. Jetson Thor

Jetson OrinとJetson Thorは、エッジAIパフォーマンスの異なるレベルに対応しています。Jetson Orinは、マシンビジョン、ロボティクス、自律システム向けのスケーラブルで電力効率の高いAI推論に焦点を当てているのに対し、Jetson Thorは、より大規模なモデル、より多くのメモリ、および高度なマルチモーダル処理を必要とする、より要求の厳しい物理AIワークロードをターゲットとしています。

したがって、OrinとThorの選択は、最大AI性能ではなく、ワークロードから始めるべきです。マシンビジョン、ビデオ解析、AMR、および多くの産業用AIアプリケーションでは、Jetson Orinはコンピューティング性能、電力効率、サイズ、およびメモリの強力なバランスを提供します。Jetson Thorは、システムがより大きなマルチモーダルモデルを処理する必要がある場合、複数の高帯域幅センサーフィードを組み合わせる場合、またはより複雑な知覚→理解→推論→行動ワークフローをリアルタイムで実行する場合に、より関連性が高くなります。

Jetson OrinとJetson Thorの詳細はこちらをご覧ください。

注：OrinとThorは異なるAI性能指標を使用しているため、両者の主要なコンピューティング数値を直接比較することはできません。

適切なAIコンピューティングプラットフォームの選択

NVIDIA JetsonはディスクリートGPUの代替品ではありません。その代わりに、OEMやシステムインテグレーターに、アプリケーションの性能、電力、サイズ、ソフトウェア要件に基づいてGPUアクセラレーションAIを展開する別の方法を提供します。

異なるAIアーキテクチャは、異なるワークロードに適しています。

• ディスクリートGPU：最高のコンピューティング性能、大規模モデル、大容量メモリ、または柔軟なPCIe拡張を必要とするアプリケーションに最適です。AIトレーニング、高性能推論、および電力と熱の制約が少ないワークロードに適しています。
  
  
• NVIDIA Jetson：エッジでのAI向けに設計されており、コンパクトなサイズ、電力効率、低遅延、およびローカル処理が優先されます。Jetsonは特にマシンビジョン、ロボティクス、自律システム、およびフィジカルAIに適しています。
  
  
• 専用AIアクセラレータ：NPUやその他の専用AIアクセラレータは、効率的なエッジ推論のための別の選択肢を提供します。これらのアクセラレータは、既存のx86またはArmベースのシステムに統合して、システムアーキテクチャ全体を変更することなくAI性能を追加できるため、電力効率を重視するビジョンおよび推論ワークロードに役立ちます。

すべてのAI展開に適合する単一のアーキテクチャはありません。適切な選択は、モデルの複雑さ、性能要件、電力バジェット、システムサイズ、ソフトウェア互換性、スケーラビリティなどの要因によって異なります。

これらのアーキテクチャの詳細については、CPU、GPU、AIアクセラレータの完全な概要をご覧ください。

結論 

AIがデータ生成場所に近づくにつれて、システム設計者はAI性能、消費電力、システムサイズ、展開要件のバランスを取るコンピューティングプラットフォームを必要としています。NVIDIA Jetsonは、GPUアクセラレーションAIをリアルタイムエッジ処理用に設計されたコンパクトな組み込みプラットフォームに導入することで、このニーズに対応します。 

ポートフォリオ内で、Jetson Orinはマシンビジョン、ロボティクス、自律システム向けにスケーラブルな性能を提供し、Jetson Thorはより要求の厳しいフィジカルAI、マルチモーダルAI、高度なロボティクスワークロード向けにプラットフォームを拡張します。Jetson、ディスクリートGPU、またはその他のAIアクセラレータのいずれを選択するかは、最終的にワークロード、電力バジェット、ソフトウェア要件、およびアプリケーションに必要なスケーラビリティのレベルによって異なります。 

エッジAIが基本的な推論から、知覚、理解、推論、行動できるシステムへと進化し続ける中、NVIDIA Jetsonは、ますます有能なAIを現実世界の機械や産業環境にもたらすためのスケーラブルな基盤を提供します。 

Premioの最新のJetson Orin AI Edge Computersのラインアップは、Jetson Orinの設計を活用し、堅牢でファンレスのエッジAI産業用コンピュータの新しいファミリーを提供します。JCOシリーズは、Premio初のARMベースアーキテクチャを採用した製品ラインであり、Jetson Orin NanoおよびOrin NXを搭載したエントリーレベルおよびミドルレンジのJCO-1000-ORNシリーズとJCO-3000-ORNシリーズから、Jetson AGX Orinを搭載した高性能なJCO-6000-ORNシリーズまで、3つのスケーラブルなモデルを提供しています。

Premioは、NVIDIA Jetson AGX Thorを搭載し、2027年に発売予定のWCO-6000-THRシリーズでラインアップを拡大しており、要求の厳しいフィジカルAI、マルチモーダル処理、高度なロボティクスワークロード向けにポートフォリオを拡張しています。

このブログは2024年4月5日に公開され、最新の製品情報と認定情報を反映して更新されました。

jco-series