推論は、コンピュータシステムが学習済み機械学習アルゴリズムに基づいて予測を行う際に発生します。推論の概念は新しいものではありませんが、これらの高度な操作をエッジで実行できるようになったのは比較的新しいことです。
エッジベースの推論エンジンの背後にある技術は、組み込みコンピュータです。しかし、明らかにそれ以上に、増幅されたコンピューティング能力、大量のストレージ、そしてリアルタイムで大量のデータを処理するための必要なI/Oを備えています。目標は、データが生成される場所にできるだけ近い場所で操作を実行し、最短時間で最も正確な結果を達成することです。その場所は通常、外部データがシステムに入力されるセンサーのすぐ近くです。決定が下されると、通常はエッジに送り返されて実行され、エッジでのリアルタイムの意思決定を促進します。
エッジベースの推論エンジンにとって重要な懸念事項は、展開される環境です。たとえば、衝撃や振動に耐えるように設計する必要があるでしょうか？極端な高温または低温にさらされるでしょうか？パフォーマンスアクセラレーションの適切なバランスを提供するでしょうか？これらの質問に対する回答は、それぞれ異なる設計、または少なくとも異なる設計アプローチにつながる可能性があります。
一部のベンダーは、環境問題に関する社内テスト機器を完備しています。これには、熱制御のシミュレーションや、もちろん衝撃と振動が含まれます。ほとんどのアプリケーションでは、「堅牢な熱アプリケーション」向けに設計されたシステムは、-40℃から+70℃までの温度で動作でき、20Gまでの衝撃と3Grmsの振動に耐えることができます。
AIの強化
汎用組み込みコンピュータと、推論アルゴリズムを処理するように設計されたコンピュータとの間には明確な違いがあります。まず、推論エンジンには最高の計算性能が求められます。データセンタープラットフォームの機能を取り込んだシステムであっても、どんな設計者でもハイエンドのX86プロセッサを既製品から入手してシステムに組み込むことができます。しかし、最大の処理能力を持つシステムを設計するには、ハードウェアとソフトウェアの両面で人工知能システムに関する深い専門知識と経験が必要です。Premioの専門家は、その堅牢なハードウェアエンジニアリングと産業グレードのコンピュータプラットフォームの設計でその要件を満たしています。
製品ウォークスルー：AIエッジ推論コンピュータ (RCO-6000-CFL) - The Rugged Edge Media Hub
Premioは、エッジでシステム性能を最大化するEdge Boost Nodesというモジュール式テクノロジーを開発しました。ハードウェアノードはプラットフォームの下部に物理的に取り付けられ、リアルタイムのインサイトのためにデータ収集を必要とするエッジレベルのワークロードにハードウェアアクセラレーションを提供します。この2ピースのモジュラー設計は、革新的なキャニスターブリックにNVMe（不揮発性メモリ）ソリッドステートディスク（SSD）と並列コンピューティング性能のためのGPUを搭載することで、プラットフォームの堅牢性を維持しつつ、性能を向上させます。各Edge Boost Nodeは、それらのコンポーネントの信頼性を確保するために、高RPMのアクティブ冷却を使用しています。
（画像提供：Premio Inc.）
AI推論コンピュータの設計のすべて - The Rugged Edge Media Hub
Premioからは、さまざまなEdge Boost Nodesが提供されています。たとえば、オプションの1つであるRCO-6000-CFL-2N2060Sは、ホットスワップ可能なNVMe SSDキャニスターを追加し、最大2つの15mm U.2 SSDとPCIe GPUを搭載できます。2番目のオプションであるRCO-6000-CFL-4NHはストレージ容量を強化し、ハードウェアおよびソフトウェアRAIDをサポートする高容量NVMeストレージのために、2つの15mm U.2 SSDを収納する2つのホットスワップ可能なNVMe SSDキャニスターをサポートします。3番目のオプションであるRCO-6000-CFL-8NSは、さらに高速なNVMeストレージに焦点を当てており、システムインテグレーターに最大8つの7mm、2.5インチU.2 NVMe SSDを追加する機能を提供します。これはPremioのEdge Boost Nodeポートフォリオに間もなく追加される予定です。
RCO-6000-CFL-4NH/8NS AIエッジ推論コンピュータ | モジュール式edgeBOOSTノード | 性能アクセラレーション - The Rugged Edge Media Hub
このタイプのトポロジーは、エッジベースの推論システムでは、ストレージがバックプレーンにあるI/Oから分離され、それによってパフォーマンスが最大化されるため、重要です。「秘伝のタレ」は、Premioが組み込みおよびデータセンターのコンピュータアーキテクチャ設計のポートフォリオから引き出すことができる設計手法である、最高のパフォーマンスを提供するために利用可能なPCIeレーンの数をバランスさせることにあります。
考慮すべき他のI/Oとしては、USB、COMインターフェース、さらには5Gがあります。ボードサプライヤーとOEMの両方にとって、高スループットI/Oを処理する良い方法は、柔軟性を高めるためにモジュラーI/Oドーターボードを使用することです。このアプローチでは、システムは必要なI/Oを正確に提供でき、アプリケーション固有のワークロードに不要なI/Oの選択肢を排除できます。
ADASアプリケーション向けAI
今日の人気のアプリケーションの1つは、ADAS（先進運転支援システム）です。これらの高度なシステムは、効果的なデータ収集と共有に基づいて自動運転車両アプリケーションを強化し、レベル5の自動運転に向けて継続的にインテリジェントなアルゴリズムを促進することを目指しています。
エッジで自律型フリートとADASのデータをリアルタイムで収集、保存、分析 | Premio - The Rugged Edge Media Hub
これが明確なエッジベースのアプリケーションであることに着目し、Edge Boost Nodesの設計チームは、適切な堅牢化機能と熱制御を組み込むようにしました。たとえば、システムオペレーターは常に筐体内の温度を動的に把握する必要があります。ここで、可能性のあるシナリオにはファンが含まれます。電力消費コンポーネントとして、そのファンは必要なときにのみ電源がオンになります。
Premioが顧客に提供するソフトウェア開発キットには、ファンを最大限に活用するためのアプリが含まれており、いつファンをオンにするか、どの速度で動作させるかなどを決定できます。このソフトウェアは、さまざまな周辺機器からCPUへのすべてのI/O読み取り操作を中断できるセーフティバルブも提供します。この操作は、物理ボタンとLEDインジケーターを使用しても実行できます。
電力効率の最大化
電力効率は、エッジベースの推論エンジンにとって最優先事項です。システム設計者は、処理能力をIoTセンサーに近づける必要性を認識しています。即座の解決策は、通常GPU、NVMeストレージ、M.2アクセラレータの形で、さまざまなパフォーマンスアクセラレータを追加することです。この設計戦略のトレードオフは、それぞれが電力と性能の予算を考慮する必要がある、電力消費の激しいコンポーネントであることです。これらのタスクをEdge Boost Nodesに分離することで、処理能力が向上し、9Vから48V DCまでの堅牢な広範囲の電源入力を備えたホストプロセッサへの負荷が軽減されます。モジュラーEdge Boost Nodeのユニークな機能は、信頼性が最も重要な最も要求の厳しいエッジワークロードにおいて、堅牢なパフォーマンスアクセラレーションモジュール（NVMe SSD、GPU、またはm.2アクセラレータ）の電力安定性を提供することです。
エッジベースの推論エンジンは膨大な量のデータを生成するため、ストレージが重要です。Edge Boost Nodesには、4つのドライブ（内部2つ、外部2つ）を接続できる6Gbit/s SATAインターフェースが含まれています。しかし、NVMeドライブを組み込むことは、このアプリケーションにとって潜在的なゲームチェンジャーです。この特定の場合、これは最大4つの2.5インチ、15mmドライブと、8つの2.5インチ、7mmドライブという別のオプションを介して処理されます。
（画像提供：Premio Inc.）
オンボードストレージも重要ですが、クラウドとのデータ調整機能も同様に重要です。このシナリオでは、このプロセスは標準のギガビットイーサネットまたは10ギガビット/秒モジュールを介して処理されます。アプリケーションと環境によっては、WiFiまたはセルラーLTEもオプションとなります。この設計は柔軟なI/Oドーターボードを提供するため、ユーザーは5Gドーターボードモジュールを統合して、5G展開による超低遅延接続を可能にすることもできます。
セキュリティと次世代のアップグレード可能性
あらゆる産業用プラットフォームには適切なセキュリティ対策が含まれていなければなりませんが、システムパフォーマンスをエッジに押し出すことで、セキュリティはさらに重要になります。Premioは、TPM 2.0などの一般的に認められている業界標準に基づいてデータを暗号化します。次に、物理的な側面、つまり誰かが実際に物理システムを盗むという問題に対処する必要があります。これに対抗するため、Edge Boost NodesのNVMeドライブは、鍵付きドライブケージの後ろに配置されています。
Edge Boost Nodesのモジュール性は、本質的にアップグレード可能です。利用可能になったら、単にモジュールをより高性能なバージョンと交換するだけです。この機能は部品表（BOM）をわずかに増加させるかもしれませんが、システムの活動寿命が長くなることが保証されるため、長期的な投資を保護します。ソフトウェア面では、フィールドでLANを介したワイヤレスアップグレードが可能であり、組み込みのセキュリティ機能のおかげで安心して実行できます。そして、業界がクラウドネイティブなアップグレードパスに移行するにつれて、これがアップグレードの選択された方法となっています。システムが「コンテナ化」されている限り、システムの寿命とデジタルセキュリティ脅威の絶えず変化する状況の両方において、セキュリティ上の懸念は対処され、適切に管理されます。
Premioは、その地域生産が競合他社に優位性をもたらすことを認識しています。注文の規模に関わらず、すべての組み立てはロサンゼルスの施設で行われます。これにより、海外のサプライチェーンの潜在的な負担が解消され、市場投入までの時間が短縮され、展開が効率化されることで、顧客はエンタープライズ規模の導入と展開を迅速に行うことができます。