深度學習訓練和推論之間有什麼區別？ 

深度學習訓練是指使用資料集教導 (訓練) 深度神經網路 (DNN)來完成影像辨識或語音辨識等 AI 任務的過程。另一方面，深度學習推論是指向 DNN 提供新穎 (全新) 資料 (例如 DNN 從未見過的影像)，以便其預測資料代表的內容。

什麼是深度學習訓練？ 

深度學習訓練是建立人工智慧 (AI) 最具挑戰性且耗時的過程。但是，深度學習訓練是訓練深度神經網路以完成給定任務所必需的。深度神經網路 (DNN)由許多層互連的人工神經元組成。人工神經元必須學習如何執行特定的 AI 任務，例如影像分類、視訊分類、語音轉文字或建立推薦系統。教導或訓練深度神經網路是透過將資料提供給深度神經網路，讓 DNN 預測資料所代表的內容來完成的。 

例如，假設 DNN 正在學習如何區分狗、汽車和自行車這三種不同的物件。在這種情況下，第一步是收集一個包含數千張影像的資料集，其中一些影像包含狗、汽車和自行車。 

訓練 DNN 的第二步是將影像提供給深度神經網路，讓它對影像所代表的內容進行預測 (推論)。如果 DNN 做出不準確的預測，則人工神經元會進行更新以糾正錯誤，以便未來的預測更加準確。此過程使 DNN 在下次向其呈現相同的影像時，更有可能準確預測影像包含的內容。 

訓練過程持續進行，直到 DNN 做出資料科學家或訓練它的組織所需的準確預測。一旦達到所需準確度，DNN 訓練即完成，訓練好的模型即可用於使用 DNN從未見過的新穎 (全新) 影像進行預測。 

深度學習訓練是否需要大量運算？ 

是的，深度學習訓練可能需要大量運算。通常，必須執行數十億次的運算才能訓練 DNN，因此深度學習訓練需要強大的運算能力才能快速執行運算。使用家用桌上型電腦訓練模型可能是可行的，但需要數小時或數天才能完成。因此，深度神經網路訓練是在具有大量運算能力的資料中心進行的，這些資料中心使用多核心處理器、GPU、VPU 和其他效能加速器來加速 AI 工作負載。

什麼是深度學習推論？ 

深度學習推論是指使用完全訓練好的深度神經網路 (DNN)對模型從未見過的新穎 (全新) 資料進行推論 (預測)。深度學習推論是透過將新資料 (例如新影像)提供給網路來執行，讓 DNN 有機會對影像進行分類。以我們之前的範例為例，可以向 DNN 提供自行車、狗、汽車和其他物件的新影像，讓 DNN 對這些影像進行分類。經過完全訓練的 DNN 應該能夠準確預測影像代表的內容。

DNN 完全訓練完成後，可以複製到其他裝置；但是，通常，在部署 DNN 之前，會對其進行簡化和修改，以減少所需的運算能力、能源和記憶體。這是因為經過訓練的 DNN 一旦完全訓練完成，可能會非常大，擁有數百層人工神經元和數十億個連接它們的權重。DNN 越大，所需的運算能力越多，所需的儲存空間越多，所需的執行能源越多，以及從 DNN 獲得回應的延遲越大。 

因此，對完全訓練的 DNN 進行修改和簡化，以便在簡單的硬體上執行，使用更少的電力，並以盡可能低的延遲執行。當然，簡化 DNN 會導致模型準確度降低。但是，模型準確度的輕微降低被其簡化帶來的好處所抵消。 

一般來說，DNN 是使用兩種方法進行簡化和修改的。第一種方法稱為剪枝，第二種方法稱為量化。 

剪枝方法涉及資料科學家向 DNN 饋入資料並觀察它，尋找不觸發或很少觸發的神經元或神經元組。一旦識別出不觸發和很少觸發的神經元，就將它們從 DNN 中移除，而不會導致 DNN 準確度顯著降低。因此，減小深度神經網路尺寸並提高其延遲，而不會顯著降低其預測準確度。

可用於簡化深度神經網路的第二種方法是量化，它涉及降低權重的精確度，例如從32 位元浮點數到 8位元浮點數。這會建立一個使用較少運算資源的小型模型。簡化神經網路對模型的準確度影響很小，可以忽略不計。但是，模型變得更快且尺寸更小，使用更少的能源並消耗更少的運算資源。 

邊緣深度學習推論 

隨著 DNN 從資料中心轉移到邊緣，減少 DNN 所需的尺寸和運算能力極為重要。這是因為邊緣電腦的效能遠不如資料中心和雲端中大量的運算能力。 

此外，許多邊緣運算裝置都受到能源限制；因此，DNN 必須經過簡化和修改才能使用更少的電力。這是因為深度學習的高準確度需要大量的運算能力和記憶體；簡化 DNN 使其能夠部署在邊緣裝置上以在邊緣執行深度學習推論。

對於邊緣深度學習推論，一種常見的方法是使用混合模型，其中邊緣電腦從攝影機或感測器收集資訊，並將該資訊傳送到雲端，在雲端對資料執行深度學習推論分析。但是，將資料移動到雲端執行推論分析，會帶來一些挑戰。 

首先，將資料傳送到雲端會導致一些延遲問題。資料通常需要幾秒鐘才能傳送到雲端，分析，然後傳回原始裝置，導致幾秒鐘的延遲。一些必須執行即時推論分析的應用程式無法使用此類模型執行。 

以自動駕駛汽車為例。自動駕駛汽車以每小時 60 英里的速度行駛，每秒行駛超過 90 英尺。想像一下，必須將影像和視訊傳送到雲端以執行推論分析並傳回原始裝置。這將需要幾秒鐘，在此期間車輛可能已經行駛了 100 多英尺而沒有引導。 

為了讓自動駕駛汽車避免與其他車輛、行人或物件碰撞，必須在邊緣運算裝置上即時執行推論分析。配備 GPU 和其他加速器的邊緣電腦可以在短短幾毫秒內即時處理資料，這是自動駕駛汽車等需要即時分析和決策的應用程式所必需的。 

此外，將原始資料，尤其是原始視訊饋送傳輸到雲端需要大量的網際網路頻寬。對於某些使用按流量計費的網際網路方案的組織來說，這可能會花費他們巨額費用。而且，網際網路頻寬可能會瓶頸整個系統，特別是如果邊緣電腦部署在可靠的網際網路連線並不總是可用的遠端環境中。此外，將邊緣裝置收集的所有資料上傳到網際網路會導致資源利用效率低下，特別是如果該資料是視訊，因為視訊資料往往非常大。 

那麼，解決方案是什麼？ 

解決方案是投資一台功能強大的 AI 推論電腦，該電腦能夠在邊緣運算裝置上本機執行深度學習 AI演算法。在本機執行深度學習演算法可消除與在雲端執行深度學習推論演算法相關的許多挑戰。

在接近資料產生來源的邊緣裝置上本機執行推論分析，可消除任何延遲問題。這是因為資料在本機處理，無需資料傳輸數千英里到資料中心進行分析。這可在短短幾毫秒內實現即時分析和決策，而無需像將資料傳送到雲端進行分析和決策那樣花費數秒的時間。對於需要即時分析和決策的應用，例如自動駕駛汽車，它們將從在功能強大的 AI 推論個人電腦上本機執行深度學習推論分析所帶來的減少延遲中獲益匪淺。

此外，深度學習推論分析解決了與網際網路頻寬相關的問題。在本機對 AI 推論運算解決方案執行推論分析可減少所需的網際網路頻寬量。這是因為資料在本機儲存和分析，無需透過網際網路將大量原始資料傳輸到資料中心或雲端。在本機執行推論分析對於使用按流量計費資料方案的組織來說非常棒。這是因為他們將節省大量的網際網路頻寬成本，因為發送到雲端進行分析的資料減少了。

此外，AI 邊緣推論電腦可以配置效能加速器，例如多核處理器、GPU、VPU、FPGA 和 NVMe 運算儲存裝置。深度學習推論分析最受歡迎的兩個選項是 GPU（圖形處理單元）和 VPU（視覺處理單元）。

GPU 和 VPU 通常用於加速深度學習推論，因為它們能夠執行大量的線性代數運算。此類運算可以由 GPU 輕鬆平行化。因此，與其讓CPU 執行 AI 推論運算，不如將工作負載卸載到 GPU 或 VPU。GPU 和 VPU 都更擅長執行數學運算，因此將顯著加速推論分析的效能，讓 CPU 專注於執行其餘的應用程式和執行作業系統 (OS)。

Premio AI 邊緣推論運算解決方案

Premio 提供各種 AI 邊緣推論電腦，能夠在邊緣執行機器學習和深度學習推論分析，這得益於這些系統可以配置的強大處理能力。此外，AI 邊緣推論運算解決方案可以配置 GPU 以加速 AI 工作負載。如果您需要協助選擇 AI 推論運算解決方案，請聯繫我們的一位AI 運算專業人員，他們將協助您選擇符合您特定需求的解決方案。Premio 是值得信賴的 AI 電腦來源，在美國設計和製造嵌入式系統已有 30 多年。因此，如果您有任何問題或意見，請與我們聯繫。