ポッドキャストからの主なポイント：
- AIエッジ推論コンピュータは、新しいレベルのコンピューティング機能を提供します。
- AIエッジ推論コンピュータは、機械学習とインテリジェンスを可能にするハードウェアアクセラレーションを介してリアルタイム推論を提供します。
- コンピューティングの未来は、変化する環境に適応できるインテリジェントなコンピュータにかかっています。新しい要求は、4つの主要なテクノロジーの超大国によって形成されています。
- ユビキタスコンピューティング
- クラウドからエッジへのインフラストラクチャ
- ユビキタス接続
- 人工知能
Q: AIエッジ推論コンピュータとは何ですか？
A: パット・ガイシンガー氏（インテル）の4つのテクノロジーの超大国を起点として使いたかった理由は、これらがAI推論コンピュータの全体的な設計を形成する上で彼が言及する非常に重要な原則だからです。4つのテクノロジーの超大国が重要なのは、それらがデジタル変革を経験している主要産業の最前線にあるからです。そして、その多くがより良いパフォーマンスとより良い電力効率のための設計に組み込まれています。電力効率の高いシステムを開発するための全体的な熱力学を検討することは、私たちがリモートおよびモバイル環境で堅牢なエッジコンピューティングをサポートする理由です。そのため、私たちの定義では、それをAIエッジ推論コンピュータと呼ぶのは非常に適切です。なぜなら、将来のワークロードの多くは、これらの新しいAIワークロードと相互作用できる多くの異なるテクノロジーを活用するハードウェアソリューションの開発に根差しているからです。つまり、私たちがしていること、そしてそれが非常に重要な理由とは、これらのAIエッジ推論コンピュータが、私たちが堅牢なエッジコンピューティングと定義している市場に移行しているということです。そして、この市場では、コンピューティング処理、高性能ストレージ、低遅延ワイヤレス接続といったすべてのテクノロジーが収束しています。しかし、そのすべてが過酷な環境や不安定な環境では機能しません。したがって、製品が過酷な環境で信頼性があり、生き残るためには、製品を堅牢化し、強化する方法を本当に理解する必要があります。そのために、私たちは全体的なシステムレベルアーキテクチャを検討します。そして、そこに私たちのエンジニアリングが本当に役立ちます。なぜなら、私たちは必要なコンピューティングパワーのバランスを取り、全体的な電力効率を考慮して、IoTセンサーにも近い多くの新しいアプリケーションに展開できるからです。データが生成されている場所にこれらすべての種類のテクノロジーが近接していると、意思決定を始めることができます。これらの新しいソフトウェアアルゴリズムに書き込まれた効率的なインテリジェンスと認知能力を備えたそのデータと相互作用し、操作する能力を本当に持っています。
Q: AIエッジ推論コンピュータは、他のコンピュータプラットフォームとどう異なりますか？
A: ええ、いくつか重要な差別化要因がありますが、私たちは市場に投入しているこの製品に込められた設計の実現について説明したいと思います。そして、それができるのは、過去30年以上にわたる私たちのエンジニアリングとコンピューティングアーキテクチャの設計におけるプレミオの価値があるからです。私たちには2つの異なる設計チームがあります。1つの設計チームは組み込み/エッジソリューションに厳密に焦点を当てており、もう1つは高性能データセンターソリューションに専念しています。伝統的に、過去20年以上、組み込み設計チームは、低電力で、通常は受動的に冷却され、信頼性、耐久性、IOの多様性を備えた非常に過酷な環境に適したハードウェアソリューションをまとめてきました。その一方で、高性能データセンタータイプの設計もあります。データセンターでは、中央の場所で最大のリソースを制御できます。したがって、究極の目標はパフォーマンスを最大化することです。そして、パフォーマンスを最大化することで、最高のパフォーマンスを確実に提供するために高性能ハードウェアを利用します。つまり、簡単に言えば、これら2つの設計原則を組み合わせると、ある種の妥協点（バランス）が得られます。それが私たちの製品設計で決定したことです。AIエッジ推論コンピュータは、組み込みの専門知識と高性能を組み合わせた2つの設計原則のバランスであり、リアルタイムでエッジで処理される多くのデータにうまく適合すると私たちが信じる単一の製品に統合されています。したがって、私たちのエッジ推論コンピュータを特徴づけるいくつかの主要な違いを掘り下げると、いかにモジュラーにしたかです。したがって、多くのソリューションは単一のピース設計であり、変更を加えるためには次の世代まで待つ必要があります。私たちが顧客に提供したかった柔軟性の重要な要素の1つは、ハードウェアまたはコンピュータの特定の要素をモジュラーにしたことです。そして、トップノードと呼んでいる上部の部分は、従来のx86ファンレス工業グレードの設計を使用しています。これにより、処理能力と、これらすべてのIoTセンサーと相互作用できるすべてのIO接続が得られます。しかし、この特定のAIエッジ推論コンピュータにおける重要な差別化要因は、これらの下部のノード、私たちがEDGEBoostノードと呼んでいるものです。そして、これらのEDGEBoostノードは、顧客のアプリケーションワークロードに基づいてパフォーマンス加速を提供する点でスケーラブルです。パフォーマンス加速は推論に関して非常に重要です。なぜなら、それが機械知能または人工知能に基づくリアルタイム推論を実際に提供するために、書いたソフトウェアでハードウェアを活用できる場所だからです。
Q: AIエッジ推論コンピュータはどのようなアプリケーションに使用されますか？
A: はい、AIエッジ推論コンピュータを持つことの主な利点は、まさにデータのやり取りができるというパラダイムシフトに言及することにあります。そして、このシフトは、集中型コンピューティングから、データがリアルタイムで処理できるよりローカライズされたコンピューティングへと移行しています。したがって、AIエッジ推論コンピュータに最適なアプリケーションは、推論というキーワードに焦点を当てていると私は信じています。推論は非常に重要であり、深層学習モデルとは異なります。推論AIは、すでに特定の知能レベルと認知能力のレベルに訓練されており、データを非常に迅速に見て、そのデータと対話し、そのデータを解読することができます。そして、そのデータを使って実際に何かを学ぶことはありません。それは意思決定の原則であり、深層学習モデルにデータを使用している場合、データセットは非常に大きく、マシンをある種の知能レベルに訓練するために多くの馬力が必要です。したがって、推論について話すとき、最も興味深いユースケースのいくつかは次のとおりです。
- コンピュータビジョン、産業オートメーション、ロボット工学
ロボット工学では、私たちのAIエッジ推論コンピュータをコンピュータビジョンアプリケーションに活用している非常に興味深い顧客がいます。基本的に、彼らはこれらすべてのIoTセンサーを接続しています。これらはカメラであり、何らかの自動化ラインである可能性があります。そして、この最後の現在の不足の中で、多くの問題は、物流倉庫にいない人員不足の問題を解決するために自動化を使用できることであると想像できます。そして、これらの新しいアプリケーションの多くは、コンピュータビジョンを使用してその多くを排除しようとしています。したがって、コンピュータビジョン、物体検出、画像検出を使用して、ラインから出てくるさまざまな物体を認識できること。AIエッジ推論コンピュータを使用して、物流施設内で多くの自律走行車をナビゲートしている顧客もいます。それが自律フォークリフトであっても、自動化施設全体でさまざまなものを移動するのに役立つ何らかの自律誘導車両であってもです。
- セキュリティと監視
2番目のアプリケーションはセキュリティと監視です。これは実際、エッジタイプのデータインタラクションの非常に良い例です。そして、その推論は、カメラから送られてくるカメラフィードから直接物体検出またはポーズ検出を行うことができます。
- 先進運転支援システム (ADAS & 自律走行車)
私たちが成長し始めているもう一つの主要なアプリケーションは、ADASと自動運転車です。この環境では、すでに非常に高速な意思決定が必要であると想像できます。なぜなら、路上を走る車両は、環境を検出して解読できるだけでなく、車の進行方向に基づいて認識し、ある種の方向転換ができる必要があるからです。さらに、これらの航空基準コンピューターは、これらのテスト車両で収集されたデータをクラウドに戻し、もう少し深層学習を行うために使用します。なぜなら、私たちはまだ完全な自動運転のレベルには達していないからです。多くのアプリケーションが、これらのモデルをより賢く訓練し、作成するために多くのデータを収集しようとしています。そして、これらのエッジ推論コンピューターは、製品自体に組み込んでいる多くのテクノロジーをすべて活用することができます。
Q: 堅牢なエッジがAIエッジ推論コンピューティングを形成する上でどのように関わるとお考えですか？このシナリオでは、エッジと堅牢なエッジとで異なる戦略を立てる必要がありますか？
A: はい、この製品の堅牢なバージョンは、通常、遠隔地やモバイル環境にあるAIワークロードにとって非常に重要です。したがって、製品のシステム全体を考えると、信頼性と耐久性が非常に重要です。つまり、広範な温度範囲や、水や電力の不安定な環境、電力に問題のある環境に製品を導入できることは、私たちが開発し、システム全体の設計を検討する必要があるものです。なぜなら、お客様のアプリケーションの中には、このような極端な環境にあるものがあることを理解しているからです。例えば、安全が主要な要因である地下鉱山環境や、地下鉱山環境で自律型アプリケーションを使用して環境全体をナビゲートしたりマッピングしたりしている場合などです。もう一つは、石油やガスなどです。石油やガスは、多くの場合、非常に汚く、頑丈で、過酷な環境であり、継続的に信頼性のあるものが必要です。つまり、この質問は、これらの環境で製品が24時間年中無休で信頼性を維持する方法を本当に理解することに深く関わっています。そして、そのために私たちはテスト機器で製品を極限までテストし、極限まで押し上げることができるのです。
堅牢なエッジについて詳しく学び、電子書籍をダウンロードしてください。
Q: 現在利用可能なストレージオプションは何ですか？推奨する標準はどのようなものでしょうか？また、各ストレージオプションにはトレードオフがありますか？
A: はい、この質問は良い質問です。特に私たちの推論コンピューターの差別化要因としてです。ストレージ全体を見ると、全体のストレージ容量が鍵となることは明らかですが、データセンターから遠ざかるほど、大容量ストレージのリソースが少なくなるため、必要なパフォーマンスを提供できるローカライズされたボックスで、異なるストレージプロトコルまたは異なるストレージ要素を提供できる必要があります。ストレージメディア全体を見ると、MLCやTLC容量など、これらのNANDフラッシュ層が増えていることから、テクノロジーの成長は非常に明らかだと思います。そして、これらの異なる層を追加することで、全体の容量が増加します。しかし、必要な耐久性のレベルもあります。しかし、エッジに移行すると、従来多くの組み込みコンピューティングにおける主要なボトルネックと課題の1つは、SATAプロトコルに縛られていたことです。SATAプロトコル自体は、6ギガビットの読み書き速度によって制限されていました。私たちが異なることを行い、実際に当社のAIエッジ推論コンピューターで市場に初めて投入しているのは、当社のキャニスターブリックに大容量のNVMeストレージを搭載できる機能です。そして、NVMeを組み込みコンピューターに初めて導入しているわけではありません。私たちが異なることを行っているのは、m.2、U.2のいずれであっても、ホットスワップ可能な2.5インチドライブトレイにNVMeを実際に搭載していることです。これにより、信じられないほど高速な読み書き速度と、高いIOPSでNVMeを提供できるようになりました。これにより、コンピューターはデータと非常に高速にやり取りできるようになります。データを保存できますが、最も重要なことは、コンピューターに保存されている多くのデータを非常に迅速にそのデバイスから移動できることです。そして、今では、もう少し機械学習を行うことができるクラウドのような別の環境に移動できます。
AIエッジ推論コンピューターにおけるNVMeについて詳しく学び、ベンチマークテストのホワイトペーパーをダウンロードしてください
Q: AIエッジ推論コンピュータにおいて、電力効率が重要な仕様であるのはなぜですか？
A:そうですね、つまり、パフォーマンスの予算内で適切な量の電力を供給できるかどうかがすべてです。設計の一側面として、これらさまざまな強力なコンポーネントをまとめるのは非常に簡単ですが、実際に展開すると多くの電力を消費する場合、それは効率的ではありません。顧客やアプリケーションにとって最適なソリューションにはなりません。したがって、私たちが行うべきことは、非常に選択的になり、特定のコンポーネントを評価することです。それはパフォーマンスベンチマークを本当に満たしていますが、電力効率も優れています。そして、電力効率がなぜそれほど重要なのかというと、エッジにいるときはリソースがなく、信頼できる電源が常にそこにあるわけではないからです。したがって、全体として電力効率を管理する方法を見つける必要があります。そこで、私たちが電力効率を削減できる主要な方法の1つは、冷却方法です。そうですね、私たちが多くの堅牢なコンピューティング設計に組み込もうとしている主要な要素の1つは、製品を見て、受動冷却方法を使用することです。そして、多くの場合、受動冷却方法はファンレス設計につながり、ヒートシンクの背後にある熱力学を利用して、これら多くの重要なコンポーネントから熱を基本的に放散させます。したがって、実際にはアクティブファンなど多くの電力を消費する要素を設計から取り除くことで、電力消費を抑えます。しかし、本質的に重要なのは、製品が導入される環境を理解することであり、このパフォーマンスと電力のバランスがとれていれば、電力の変動が非常に大きい環境で製品をサポートできる必要があります。そこで、私たちがこれまで行ってきたことは、広範な電源入力という点で、堅牢な電源を維持することです。したがって、冒頭で述べたように、9ボルトから50ボルトDCまでの広範な電源入力を引き続き行うことができます。しかし、推論コンピュータで非常に興味深い点は、高性能GPU、ストレージ、m.2アクセラレータなど、従来から多くの電力を消費する下位ノードでも、12〜48ボルトDCの広範囲の電力で二次電源を供給できることです。さらに、GPUやNVMeストレージなどの高性能アクセラレータを使用する場合、下位ノードにはホットスワップ可能な高RPMファンが含まれています。このファン自体は、エッジブーストノードとそのアクセラレータ専用です。これらのタイプのパフォーマンスアクセラレータを実際に組み込む場合、それらを冷却する能力が必要だからです。したがって、私が以前に述べたように、それは低電力効率の理解と、高性能データセンタータイプのテクノロジーの組み込みのバランスであり、依然として非常に堅牢なAIエッジ推論コンピュータを提供するために中間点で満たされています。
Q:しかし、聴衆は、ニーズを満たすための適切な電力仕様と電力効率仕様に関する決定を進める際に、何を自問すべきでしょうか？
A:はい、彼らが使用するアプリケーションを理解することが重要だと思います。繰り返しになりますが、このコンピュータ自体は非常に堅牢であり、ハードウェアエンジニアリングに関する私たちの知識のおかげで、多くの主要なアプリケーションをサポートできます。私たちは、パフォーマンスと電力の比率を提供する製品とソリューションを提供するために、ベンチマークとテストに基づいて最善を尽くしました。したがって、最適な種類のコンポーネント、最適な種類の処理、最適な種類のパフォーマンスアクセラレータを、低電力効率モデルで選択したことをほぼ保証できます。これにより、ソリューション全体の総コストに対して最高の価値が得られるでしょう。
Q:さて、アップグレードについて話しましょう。これは、導入で述べたように、この業界が常に進化しているため、非常に重要です。AIエッジ推論コンピュータでアップグレードはどのように行われ、何か重要な戦略はありますか？
A:はい、良い質問です。組み込み市場の側面から見ると、次世代のアップグレードは常に非常に戦略的でした。コンシューマー側の高性能と最新の最高のものはどうでしょう？組み込み市場は、顧客が活用できる必要なコンピューティング能力を確保するために、数世代遅れています。これは、ソリューションや世代にあまりにも早く移行すると、展開の初期段階でバグが発生する可能性があるためです。この課題と組み込み側では、常に検討しているのは、顧客が規模を拡大し、アプリケーションで競争力を維持できるようなタイムリーなソリューションをどのように考案するかということです。それは、処理、メモリ、ストレージ、接続性など、さまざまな種類のテクノロジーのすべてにわたるものです。しかし、おっしゃるように、テクノロジーは非常に速く進化し続けており、これはお客様が直面している主要な課題であり、彼らは常に最新かつ最高の展開を求めています。したがって、この組み込みコンピューティング設計においてタイムリーであり、常に役立ってきた主要な要素と利点の1つは、モジュール化する方法を見つけることです。つまり、シンプルなものをモジュール化し、お客様が非常に迅速にアップグレードできるようにするというアイデアは非常に重要です。そこで、このAIエッジ推論コンピュータで異なる点は、コンピューティングモジュールである上位ノードをモジュール化し、パフォーマンスアクセラレーションモジュールと、組み合わせ可能なエッジブーストノードを搭載したことです。非常に簡単な例を挙げると、この現在の世代のコンピュータはIntel第9世代Core CPUを搭載していますよね？次にリリースする次世代では、上位ノードを迅速に交換するだけで、エッジブーストノードを介してすべてのパフォーマンスアクセラレーションを引き続き活用できます。そして、次世代設計を進めるにつれて、これは継続的に起こります。その利点は、顧客が現場で、ユニット全体を完全に交換するのではなく、モジュール性によってその交換を非常に効率的に行えることです。
Q: AI Edge Inference Computerを統合する際に、OEMが遭遇する可能性のある主な課題として、心に留めておくべきことはありますか？また、それらの課題をどのように克服しますか？それは私たちのより大きな会話において、なぜ重要なのでしょうか？
A:ハードウェアの観点から厳密に言えば、私たちが取引している多くのOEM顧客が抱える最大の課題の1つは、ソフトウェアアプリケーションを非常に合理的な方法でハードウェアに移植することを確認することだと思います。私たちにとっては課題です。なぜなら、顧客がソフトウェアに何を要求しているのか、私たちには本当に理解できないからです。本質的に、私たちの目標は、顧客がそれを利用して展開ユースケースに非常に迅速かつシームレスに統合できるWindowsまたはLinuxのベースラインをサポートできる、堅牢で信頼性の高いハードウェアソリューションをまとめることです。しかし、この製品にはもう1つ興味深い機能があります。それは、顧客のソフトウェアアプリケーションの統合を非常にシームレスにするために、可能な限りのあらゆることを試みていることです。そのため、ハードウェアと、非常に重要なハードウェアの特定の部品とやり取りするソフトウェア開発キットも開発しました。つまり、全体のファン速度から周囲温度まで、これらすべては、私たちが顧客に提供するAPIまたはソフトウェア開発キットを介してプログラム可能です。開発キットに厳密に言えば、非常に重要なことの1つは、NVMeキャニスターブリックがボタンをクリックするだけでI/O操作を停止できるようにするプログラマブルロジックを組み込んだことです。これは、顧客のアプリケーションに基づいてプログラム可能です。しかし、本質的にこの全体の機能とそれがなぜ重要なのかというと、データストレージでは、コンピュータを介して多くの入力と出力が行われる一方で、たとえば、ボタンをクリックして物理的なNVMeキャニスターブリックを排出する必要がある場合、I/O操作を実際に停止できます。この機能はデータストレージを保持するだけでなく、読み書き中に発生する可能性のある多くのデータ破損も防止します。
Q:AIエッジコンピューティングの世界におけるPremioの提供物は、他の市場とどう違うのでしょうか。また、これまでに述べたすべての内容に基づいて、それらの違いの中で特に実用的で適用可能なものは何でしょうか？
A:私たちの競争上の違いを明確にする特徴の1つは、メーカーとして、お客様が全体的な展開において柔軟性と俊敏性を最大限に高めるための革新的な方法を常に模索していることです。そして、この一連の議論全体を通して、私たちの新しいAIエッジコンピュータと、私たちが設計全体のモジュール性においていかに転換と変化をもたらし、GPUアクセラレーション、NVMeストレージ、M.2アクセラレーションにおけるパフォーマンスアクセラレーションの観点からエッジ向けに特別に構築されたエッジブーストノードを導入したことは、かなり明白だったと思います。これにより、お客様はエッジにおけるこれらの新しいアプリケーションに直接適合した、目的に特化したソリューションを最大限に活用できます。最終的に私たちが行ったことは、ハードウェア側の最大の課題のいくつかに目を向け、それらをまとめて、既製のソリューションで解決したことです。したがって、コンピューティングの観点から私たちができたことは、パフォーマンスのバランスをとり、全体的な信頼性を考慮し、データセキュリティを導入し、洗練された新しい産業デザインにおいて全体的な電力予算を活用することで、これらのアプリケーションが展開される環境で成功できるようにすることです。
Q:まとめとして、聴衆が私たちが説明したすべてを理解し、アップグレードやAIエッジ推論コンピュータの設計仕様の決定のための具体的なステップに落とし込むための、実践的なヒントはありますか？
A:この市場が成長し続ける中で、成功と成長のためにエコシステムを活用する必要があるというのが唯一のポイントだと思います。そして、そのエコシステムは、半導体におけるさまざまな種類のイノベーター、最終ユーザーへのソリューション全体を本格的な展開に推し進めるエコシステムテクノロジーパートナーに大きく依存しています。つまり、エンジニアリングの能力、製品の製造、そしてコンピュータを本格的な展開にまで推し進めることを真に理解することが、プレミオが多くの顧客とそのアプリケーションのために常に解決しようとしていることです。