深度學習與 ADAS
即時邊緣決策推動自動駕駛系統進步
汽車產業比以往更廣泛地利用大數據。隨著各種感測器和其他設備不斷提升 ADAS 的五個等級，自動駕駛車輛更能自主導航、避開障礙物並遵循道路標線指示。人工智慧（AI）無疑是推動這些進步的關鍵。部署於邊緣的深度學習訓練和深度學習推論模型對於持續創新和完美的自主駕駛性能至關重要。然而，要充分利用這種智慧程度，專業硬體是不可或缺的。配備高速固態資料儲存、GPU 和 CPU 處理器、穩固連接性、硬體安全等功能且強化過的系統，能夠提供優化大量資料所需的效能。
基於軟體的深度學習功能與強化硬體協同運作，以匯總、儲存和應用即時資料。但什麼是深度學習訓練和深度學習推論？哪些系統能夠處理持續不斷的全新和精煉資料？我們在《Autonomous Vehicle Engineering》的這篇文章中解釋了深度學習訓練和推論之間的差異和關係，以及如何最佳應用這些技術，以實現更智慧、更安全、更自動化的車輛。
概述
汽車「大數據」時代已然來臨。自動駕駛或整合 ADAS 的車輛所產生的大量資料，涵蓋了 SAE 自動駕駛的五個等級，並依賴高解析度攝影機、雷達、光達、超音波感測器、GPS 及其他感測器，讓車輛能夠感知周遭環境。最終，這些感測資訊—即海量資料—被用於導航、避開障礙物，並讀取安全駕駛所需的道路標誌。
人工智慧（AI）是這些操作的核心，它建立在軟體演算法的基礎上，並由深度學習訓練和深度學習推論模型所驅動，這些模型對於無瑕的效能至關重要。要實現這些關鍵且即時的處理，AI 演算法必須經過訓練並部署在車輛上。這是一個需要開發人員同時運用精密的軟體設計和智慧硬體策略的過程，以保護車輛的效能，這可能攸關生死。儘管深度學習訓練和深度學習推論聽起來像是可互換的術語，但它們在確保駕駛安全並區分具備日益智慧化汽車功能的 OEM 的系統中，扮演著截然不同的角色。深度學習訓練利用資料集來教導深度神經網路完成 AI 任務，例如圖像或語音識別。深度學習推論則是將新穎或新資料輸入相同的網路，根據其訓練來預測該資料的含義。這些資料密集型運算操作需要專業的解決方案。系統必須具備大量高速固態資料儲存。它們還必須經過強化，以便部署在不斷移動、遭受劇烈衝擊和振動以及其他惡劣環境因素影響的車輛中。理想的設計結合了深度學習的軟體功能與針對邊緣和雲端處理優化的強化硬體策略。
深度學習訓練，解釋
儘管深度學習訓練是創建人工智慧最具挑戰性且耗時的方法，但它賦予了深度神經網路（DNN）執行任務的能力。DNN 由許多相互連接的人工神經元層組成，必須學習執行特定的 AI 任務，例如將語音翻譯成文字、圖像分類、視訊編目或生成推薦系統。這是通過向 DNN 輸入資料來實現的，然後 DNN 會利用這些資料預測其所代表的內容。例如，一個 DNN 可能會被教導如何區分三種不同的物體：狗、汽車和自行車。第一步是建立一個包含數千張圖像的資料集，其中包括狗、汽車和自行車。第二步是將圖像輸入 DNN，並讓它確定圖像代表什麼。當預測不準確時，人工神經元會被修改，糾正錯誤，以便未來的推論更加準確。在此過程中，網路很有可能在每次呈現時都能更好地預測圖像的真實本質。訓練過程會持續到 DNN 的預測達到所需的準確度水準。
至此，經過訓練的模型已充分準備好使用新圖像進行預測。深度學習訓練可能需要極大量的運算，通常需要數十億甚至數百億次的計算才能訓練一個 DNN。這種方法依賴強大的計算能力來快速執行計算。深度神經網路訓練在資料中心執行，利用多核心處理器、GPU、VPU 和其他效能加速器，以極高的速度和準確度推進 AI 工作負載。
深度學習推論
深度學習推論是深度學習訓練的延伸，它使用經過完整訓練的 DNN，根據新穎的、從未見過的資料進行預測，並且更接近資料產生的地方。透過將新資料（例如圖像）輸入網路，深度學習推論使 DNN 能夠對圖像進行分類。舉例來說，在「狗、汽車、自行車」的範例中，可以將這些以及其他物體的新圖像載入 DNN，以進行圖像分類。現在，經過完整訓練的 DNN 可以準確預測圖像的身份。一旦 DNN 經過完整訓練，它就可以複製到其他設備。DNN 可能非常龐大，包含數百層的人工神經元並連接數十億個權重。在部署之前，網路必須經過修改，以減少計算能力、能量和記憶體的需求。結果是一個準確度略低的模型，但這可以通過其簡化優勢來彌補。
可以採用兩種方法來修改 DNN：修剪或量化。在修剪中，資料科學家將資料輸入 DNN 並觀察。識別並移除不活躍或很少活躍的神經元，而不會導致預測準確度顯著降低。量化涉及降低權重精度。例如，將 32 位元浮點數減少到 8 位元浮點數，可以建立一個消耗較少運算資源的小模型。兩種方法對模型準確度的影響都可以忽略不計。同時，模型變得更小、更快，從而減少了能源使用和運算資源的消耗。
在 ADAS 中實現邊緣運作
「邊緣」的深度學習推論通常採用混合模型，其中邊緣電腦從感測器或攝影機收集資訊，然後將該資訊傳輸到雲端。然而，由於資料通常需要幾秒鐘才能傳送到雲端、分析並返回，這對於需要即時推論分析或檢測的應用來說是不可接受的。以每小時 60 英里（96 公里/小時）行駛的自動駕駛車輛，在幾秒鐘內可能在沒有引導的情況下行駛超過 100 英尺（30 公尺）。相比之下，專用邊緣運算設備可即時執行推論分析，以實現即時自動決策。這些工業級別的AI 邊緣推論電腦專為應對具挑戰性的車載部署而設計。系統具備對各種電源輸入情境（包括由車輛電池供電）的耐受性，並經過加固處理，以應對預期的衝擊、振動、極端溫度、灰塵和其他環境挑戰。
透過可配置的處理能力，邊緣推論電腦能夠在邊緣執行機器學習和深度學習推論分析。效能加速器包括多核處理器、GPU、VPU、TPU、FPGA 和 NVMe 計算儲存設備，尤其是在現代電腦架構設計中，能提升能力。配備豐富的 I/O，自動駕駛車輛資料記錄器提供充足的 USB Type-A 連接埠（Gen 3.2 10Gbps）、RJ45 和 M12 千兆乙太網路連接埠、RJ45 和 M12 PoE+ 連接埠、序列 COM 連接埠等，可連接攝影機和感測器到資料電腦。
這些特性緩解了許多與透過雲端處理深度學習推論演算法相關的問題，並結合了獨特的高性能。例如，GPU 和 TPU 加速了執行無數線性代數計算的能力，使系統能夠並行處理這些操作。與其讓 CPU 執行 AI 推論計算，不如由更擅長執行數學計算的 GPU 或 TPU 處理工作負載，這顯著加速了推論分析，而 CPU 則專注於運行其餘應用程式和作業系統。本地推論處理也消除了延遲問題，並解決了與原始資料傳輸相關的網路頻寬問題，尤其是大型視訊串流。多種有線和無線連接技術，例如千兆乙太網、10 千兆乙太網、Wi-Fi 6 和蜂窩式 4G LTE，使系統能夠在各種情況下保持網路連接。即將推出的 5G 無線連接以其顯著更快的資料速率、更低的延遲和改進的頻寬，進一步擴展了選擇。這些豐富的連接選項使關鍵任務資料能夠卸載到雲端，並適應空中更新。此外，CANBus 支援賦予了該解決方案記錄來自車輛匯流排和網路的車輛資料的能力。可以評估車速、車輪速度、引擎轉速、轉向角和其他豐富資料，以獲取即時洞察和有關車輛的重要資訊。
大數據，大商機
為將不斷增長的自動駕駛功能推向市場，ADAS 開發者一直致力於改進影響功能和性能的演算法。然而，專業硬體是必需的——AI 邊緣推論電腦是為此過程開發的強化運算解決方案，專為承受灰塵、碎屑、震動、振動和極端溫度的暴露而設計，並旨在從多個來源收集、處理和儲存大量資料。累積資料只是推動 ADAS 的第一步；軟體開發和專業硬體策略必須協同合作，才能實現更智慧、更安全和更高自動化的車輛。