NVIDIAのJetpack SDK for Jetson Modulesとは何か、そして最新のJetpack 6.2リリースには何が新しく含まれていますか?



NVIDIAのJetpack 6.2 SDKのリリースは、AIを活用したエッジソリューションを構築する開発者や企業にとって、さらなる飛躍を意味します。NVIDIA Jetsonプラットフォームの業界標準であるJetpack 6.2は、画期的な「スーパー」パフォーマンスモードを含む重要なアップグレードを導入し、リアルタイムAI推論、コンピュータービジョン、ロボット工学の新たな可能性を切り開きます。 

Premioは、JCOシリーズのNVIDIA Jetson AIエッジコンピューターをJetpack 6.2に完全にアップグレードし、産業オートメーション、自律型機械、スマートシティアプリケーション向けに最先端のパフォーマンスを提供します。 

 

Jetpack SDKとは? 

Jetpackは、NVIDIAのJetsonモジュール向け総合ソフトウェア開発キット(SDK)であり、NVIDIAによって提供されます。 

Jetson Linux 

ブートローダー、Linuxカーネル、Ubuntuデスクトップ環境、NVIDIAドライバー、ツールチェーンなどを含むJetson用ボードサポートパッケージです。セキュリティ機能とOTA(Over-The-Air)機能も含まれています。

Jetson AI Stack 

CUDAアクセラレートAIスタックには、GPUコンピューティング、マルチメディア、グラフィックス、コンピュータービジョンのアクセラレーションのための完全なライブラリセットが含まれています。Vision AIアプリケーション向けのMetropolis、ロボットアプリケーション向けのIsaac、そしてエッジからクラウドまでリアルタイムのインサイトとセンサー処理機能を備えた高性能コンピューティング(HPC)アプリケーション向けのHoloscanなどのアプリケーションフレームワークをサポートしています。 

Jetson Platform Services 

Jetson上でのAIアプリケーション開発を加速するためのすぐに使えるサービスを集めたもので、生成AIサービス、基盤サービスなど15以上のサービスを搭載しています。 

Premioは、NVIDIA Jetson Orin HWと最新のJetpack 6.2 SDKのJetsonソフトウェアスタックを採用しています。 

Jetson ソフトウェアスタックの画像ソース: NVIDIA

これはエッジでのAI展開の基盤であり、JetPack 6.2は、産業用、自動車用、医療用、商業用AIエッジコンピューティングのための完全な実稼働環境を提供します。 

 

Jetpack 6とは? 

JetPack 6は、任意のLinuxカーネルを実行できる柔軟性を提供し、JetsonエコシステムパートナーからのLinuxベースのディストリビューションの幅広いオプションを提供します。また、Jetson Linux BSPを更新することなく、Jetson AI Stackを更新できる柔軟性も含まれています。 

Jetpack 6.2とは?そして新機能は? 

JetPack 6.2は、JetPack 6NVIDIAによる最新の製品リリースです。このリリースには、Linux Kernel 5.15とUbuntu 22.04ベースのルートファイルシステムを特徴とするJetson Linux 36.4.3が含まれています。JetPack 6.2に同梱されているJetson AIスタックには、CUDA 12.6、TensorRT 10.3、cuDNN 9.3、VPI 3.2、DLA 3.1、およびDLFW 24.0が含まれています。さらに、JetPack 6.2は、NVIDIA Jetson Orin NanoおよびJetson Orin NXの生産モジュール向けに新しい高出力スーパーモードをサポートし、Jetson Orinモジュールで最大2倍の生成AI推論性能を提供します。

Jetpack 6.2の新機能は以下の通りです。

「スーパー」パフォーマンスモード:画期的な機能

Jetpack 6.2では、NVIDIA Jetson Orin NanoおよびJetson Orin NXモジュール向けの専用高パフォーマンスモード「スーパー」が導入され、以下を動的に最適化します。

  • 持続的なピークスループットを実現するためのCPU/GPUクロック速度。
  • AI推論JetPack 6.2でスーパーモードが導入されたことで、Jetson Orin NanoおよびJetson Orin NXモジュールは、LLM、VLM、およびビジョントランスフォーマーで最大2倍の推論性能向上を実現します。

スーパーモードについて詳しくはこちら >>

最新のLinux OSとソフトウェアの柔軟性

JetPack 6.2には、最新のLinux OSであるJetson Linux 36.4.3が含まれています。

Linux Kernel 5.15とUbuntu 22.04ベースのルートファイルシステムを含めることで、コンピュータビジョン、ロボティクス、AI推論などのさまざまなアプリケーションで、最新のソフトウェアとセキュリティアップデートとの互換性が保証されます。

Linuxディストリビューションのオプションを拡張

Jetsonデバイスで、5.14以上のアップストリームLinuxカーネルを実行できる機能を含む、Linuxディストリビューションの選択肢が増えます。

強化されたライブラリ、API、開発者ツール

  • TensorRT 10.3:ディープラーニング推論オプティマイザーとランタイムによるより良いモデル最適化(新しいPyTorch/TFグラフのサポート)により、低遅延と高スループットを実現します。
  • CUDA 12.6 & cuDNN 9.3:トランスフォーマーモデルの演算を高速化。
  • VPI 3.2:コンピュータビジョン向けのステレオ奥行き認識を改善。
  • マルチメディアAPI:カメラおよびセンサー統合のためのカメラアプリケーションAPIやセンサードライバーAPIなど、アプリケーション展開に対応したAPI。
  • 対応している主なSDK: マルチセンサー処理用の DeepStrem SDK、高性能ロボット工学ハードウェア用の Isaac™ ROS、リアルタイム AI インサイト用の AI および HPC アプリケーションを効率化するための Holoscan。
  • 開発者ツール新リリース: NVIDIA Nsight Systems 2024.5 (GPUとCPUにまたがるアプリケーションプロファイリング用)、NVIDIA Nsight Graphics 2024.2 (グラフィックアプリケーションのデバッグおよびプロファイリング用)。
  • セキュリティおよびカメラの更新

    • セキュリティ: T234プラットフォームでのファームウェアベースのトラステッドプラットフォームモジュール (fTPM) のサポート; 既知のセキュリティ脆弱性に対する修正。
    • カメラ: Argusライブラリを強化し、CPU使用率を最大40%削減。

    NVIDIA Jetpackロードマップ | 出典: NVIDIA

    Jetpack 6.2 vs. 6.1: 主な改善点

    カテゴリ

    JetPack 6.1

    JetPack 6.2

    影響

    電力効率

    Orin Nano: 最大 15W
    Orin NX: 最大 25W

    Orin Nano Super: 最大 25W & MAXN
    Orin NX Super: 最大 40W & MAXN

    - 最適化されたパワーエスティメータツール。

    - 低消費電力から最大計算スループットまでのオプションを提供。

    メモリ帯域幅*

    -Orin Nano 4GB: 34 GB/s 

    -Orin Nano 8GB: 68 GB/s 

    -Orin NX 8GB/16GB: 102 GB/S 

    -Orin Nano 4GB Super: 51 GB/s 

    -Orin Nano 8GB Super: 102 GB/s (+50% BW) 

    -Orin NX 8GB/16GB Super: 102 GB/s 

    - Orin Nanoでの50%の帯域幅改善  

    - より高速なマルチモーダルAI(視覚 + 言語)。 

    Generative AI 

    AIコンピューティングスタックとその他の機能の改善を導入 

    Jetson Orin Nano および Orin NX モジュールに「スーパーモード」を導入。  

    - 生成AI推論速度を最大2倍に向上 

    メモリ帯域幅の仕様は、NVIDIAのJetPack 6.2発表から引用しています。


    スーパーモード: Jetpack 6.2で最高のパフォーマンスを引き出す 

    JetPack 6.2は、NVIDIA Jetson Orin NanoおよびJetson Orin NX生産モジュール向けの新しい高出力スーパーモードをサポートし、以下の機能を提供します。 

    • Jetson Orin NXシリーズでAI TOPSが最大70%向上し、メモリ帯域幅も50%向上するなど、同等のAI TOPSの改善が見られます。
    • Jetson Orin NX & Nanoモジュールで、最も一般的な大規模言語モデル (LLM)、視覚言語モデル (VLM)、および視覚トランスフォーマー (ViT) の生成AI推論性能が最大2倍向上します。 

    新しいパワーモードとAIパフォーマンスをサポートします。 

    モジュール 

    既存のモードのパワー 

    スーパーモードのパワー (JetPack 6.2) 

    既存モード AI TOPS 

    スーパーモード AI TOPS 

    Orin Nano 4GB 

    7W, 10W 

    7W, 25W, MAXN SUPER 

    20 TOPS 

    34 TOPS 

    Orin Nano 8GB 

    7W, 15W 

    15W, 25W, MAXN SUPER 

    40 TOPS 

    67 TOPS 

    Orin NX 8GB 

    10W, 15W, 20W, MAXN 

    10W, 15W, 20W, 40W, MAXN Super 

     

    70 TOPS 

    117 TOPS 

    Orin NX 16GB 

    10W, 15W, 25W, MAXN 

    10W, 15W, 25W, 40W, MAXN Super 

    100 TOPS 

    157 TOPS 

    備考:MAXN SUPER は電力制限を解除しますが、熱的限界によりスロットリングが発生する可能性があります。最適なバランスを得るためには、カスタム電力モードをお勧めします。 

    PremioのJCOシリーズは、JCO-3000-ORNおよびJCO-1000-ORNシリーズでスーパーモードを展開する準備ができており、要求の厳しい環境でリアルタイムAIワークロードに安定したパフォーマンスを提供します。 

     

    Jetpack 6.2を搭載したPremio製品 


     

    JCO-6000-ORN 高性能AIエッジコンピュータ 

    NVIDIA Jetson Orin AGXモジュール(275 TOPS)を搭載した強力なエッジAIコンピュータで、ロボット工学、産業オートメーション、セキュリティ&監視、医療画像処理などのリアルタイムAI推論アプリケーションに最適です。  

    JCO-3000-ORN ミッドレンジAIエッジコンピュータ 

    NVIDIA Jetson Orin NXとOrin Nano Superモジュール(最大100 TOPS)を搭載した電力効率の高いエッジAIコンピュータ。拡張I/O、モジュール式拡張、工業用グレードの耐久性を備えており、ロボット工学、マシンビジョン、リアルタイムAIワークロードに最適です。 

    JCO-1000-ORN ファンレスミニAIエッジコンピュータ 

    NVIDIA Jetson Orin NX Super & Orin Nano Superモジュール(最大157 TOPSのAI性能)を搭載したライトパフォーマンスエッジAIコンピュータ。AMR、ビジョンセンサー、熱管理とサイズが重要な組み込みAIシステムなどの省スペース展開向けに設計されています。