<cite id="f1x7f"></cite>

      <del id="f1x7f"></del>

          <ins id="f1x7f"><span id="f1x7f"><delect id="f1x7f"></delect></span></ins><ins id="f1x7f"><video id="f1x7f"><cite id="f1x7f"></cite></video></ins>

          • 助力網絡強國建設
          • 引領科研信息化發展
             首頁 >> 動態發布 >> 業界動態

          原創DPU重構計算模式

          作者: 2021-05-13 16:44 來源:中國科學報
          放大 縮小

          在過去的十年,電子驅動的計算處理器對人工智能(AI)發展產生了巨大影響。但隨著技術的發展,電子硬件的性能即將觸摸到“天花板”,而只有突破“天花板”才能讓人工智能發展更進一步。

          能夠替代電子驅動計算處理器的光學計算處理器,一直為研究人員所倚重。它不僅能夠克服電子學的固有限制,還可以將能效、處理速度和計算吞吐量提高幾個數量級。

          目前,已經有研究人員利用光學計算的特性,構建專用光學處理器,其在數據和信號處理方面所表現出的性能遠遠超過現在的電子處理器。然而,現有的光學AI加速器只能為特定神經網絡體系結構或特定任務定制單一功能。換言之,對于不同任務的不同AI算法,現在的“設備”顯得有些“力不從心”。不僅如此,現有的光神經網絡模型復雜度和實驗性能水平較低,導致網絡性能(如分類精度)與最先進的電子神經網絡相比存在較大差距。

          近日,中國工程院院士戴瓊海團隊提出了一種光電可重構計算模式,針對光學網絡設計空間的靈活性有限、難以集成理想的非線性運算,以及難以靈活控制復雜的數據流等問題提出了新的解決思路。

          將AI加速處理器推向新高度

          5月5日,這篇第一作者是清華大學博士研究生周天貺、通訊作者為戴瓊海的論文登上《自然—光子學》期刊封面。該論文作者之一、清華腦與認知科學研究院及未來芯片技術高精尖創新中心特聘研究員林星在接受《中國科學報》采訪時表示,針對現有光學神經網絡模型復雜度低、可重構難以實現以及實驗性能不佳等難題的關鍵原因,該團隊通過以下三方面進行了突破:

          首先,該團隊在空頻域開辟了衍射光學計算的新型光電計算構架?!把苌渲悄芄庥嬎銟嫾?,縮寫為DPU,是基于光學衍射的物理現象,通過構建大規模的光學相控陣列以實現高復雜度的光學互聯和神經網絡構架。其原理具備高度的可擴展性和集成潛力?!绷中墙忉尩?,“我們這次的研究工作通過采用高通量可編程的光電器件,融合光計算和電計算的互補性優勢,將其在構建人工智能加速處理器的應用推向了一個新的高度?!?/p>

          其次,這次提出的DPU充分利用了光的波粒二象性,神經網絡權重的調整通過控制光波傳播的波前分布來實現,采用光電效應實現人工神經元的功能,包括對衍射光場的線性加權求和以及非線性激活響應。林星解釋說,系統運行過程衍射光計算部分幾乎承擔所有計算操作,而采用高通量可編程的光電器件并結合電子計算的靈活特性,能夠實現高速數據調控及大規模網絡參數的編程和網絡結構的重構。此外,由于光計算部分采用了三維光場傳播,避免了對圖像和視頻的向量化處理和尋址操作,從而實現了視覺信息的高效處理。

          最后,此次研究提出了一種自適應在線訓練方法來校正系統誤差累積,而這種自適應的訓練方法通過測量神經網絡內部的狀態實現對計算參數的實時調整。因此,在不依賴網絡結構且不增加系統復雜度的情況下,該DPU能夠普適于現有的光電智能計算系統。

          “可以說我們這次研究工作所提出的衍射光電智能計算體系構架和理論方法在很大程度上解決了上述領域內困擾已久的難題,通過構建原型系統及可擴展性分析驗證了光電智能計算的優越性和巨大潛力,為研發高性能光電智能處理器和芯片打開了更為廣闊的空間,也為促進該領域的發展及其產業落地做出了一定貢獻?!绷中茄a充道。

          分類識別精度有所提升

          取得這樣的成績并不容易。事實上,在研究之初,該團隊研究人員就已經對前路的崎嶇有著充足的心理準備?!拔覀兊难芯磕繕耸且ㄟ^解決光電智能計算領域中的難點問題,提高其在執行分類和識別等任務上的模型與實驗精度?!绷中腔貞浾f。

          起初,研究人員構建的全連接的網絡模型性能有限,也曾經受到系統不穩定的困擾。不過,解決問題的過程就是團隊不斷創新的過程。團隊成員經過反復討論并調整光電神經網絡構架和超參數,最終創建了網絡中網絡模型?!拔覀兊墓怆娚窠浘W絡在MNIST手寫數據集和Fashion-MNIST時尚產品數據集上的模型精度都超越了卷積神經網絡LeNet-4,并逼近LeNet-5?!绷中潜硎?。

          而且,通過不斷進行的硬件系統優化,包括更換所采用的光電器件及其相應機械固定件設計等,以及開發自適應訓練算法,研究人員也提升了系統實驗的穩定性。

          “此外,我們也花了大量的時間優化和升級光電器件的數據接口,以提升系統帶寬和數據調控速度,最終實現了高速的圖像和視頻的分類識別?!绷中歉嬖V記者,“運行同樣的神經網絡,光電計算系統與特斯拉V100圖形處理器(GPU)相比,計算速度提高了8倍,系統能效提升超過1個數量級,核心模塊計算能效則能夠提升4個數量級?!?/p>

          有望讓我國在新一輪科技變革中占得先機

          “長期以來,我國在電子計算以及芯片領域受到高精度光刻機等制約,一直處于落后位置。光電計算為我國擺脫這一制約提供了可能?!贝鳝偤8嬖V《中國科學報》,“光電智能計算與芯片是一個非常廣闊的前沿研究領域,這需要多學科的交叉融合。希望我們的研究工作能夠吸引國內更多不同背景的科研人員和研究機構從事這個領域的研究,從而推動我國在該領域學術圈乃至產業生態圈的建設?!?/p>

          戴瓊海團隊抓住光學計算與芯片發展的機遇,在其原理驗證和原型系統的構建等方面率先展開了原創性的研究工作,所提出的計算范式將促進領域光電材料、光電器件、加工工藝以及集成方法的研發。

          談及未來,戴瓊海與林星皆表示,將進一步挖掘光電智能計算技術的潛力,致力于解決系統小型化和芯片集成的難點問題?!拔覀儗⑹褂贸牧蠘嫿ㄆ舷嗫仃嚵袑崿F原型系統的芯片集成,從而更為全面地體現光電智能計算的優越性?!贝鳝偤Uf。

          巴黎中央理工—高等電力學院教授Daniel Brunner與瑞士聯邦理工學院洛桑分校教授Demetri Psaltis認為,這項研究的準確性與能源效率,都可以和競爭性數字NN基準測試模型以及現代GPU相媲美,并證明了光學解決方案與未來高性能計算的相關性?!斑@項研究的非線性運算放大了數據表示的維數,最終使NN能夠挖掘出隱藏的特征,進而利用它們來進行具有挑戰性的計算。盡管其互連受到嚴格限制,但是它們通過級聯多層實現了競爭性能?!?/p>

          “這一工作屬于我們研究路徑規劃中的階段性成果。我們預期最終集成化的光電智能芯片能夠實現光載海量信息的實時處理,將極大促進其在終端計算、邊緣端計算、數據中心的應用,推動自動駕駛、機器人技術領域的發展。其中,小型化的空間光智能光電計算系統可應用于空間光通信,與視覺成像系統融合實現光載視覺信息(包括高維光譜視覺信息及光場視覺信息)的實時處理。同時,集成化的光電智能計算系統還能夠和光纖通信融合,實現大規模光信息的高效處理,應用于無線通信、云計算和數據中心等領域,從而引領新一代智能產業和信息技術的變革?!绷中钦雇?。

          相關論文信息:https://doi.org/10.1038/s41566-021-00796-w

          《中國科學報》 (2021-05-06 第3版 信息技術)

          作者: 袁一雪

           

          附件:
          奶茶视频app无限看 百度 好搜 搜狗

          警告:本站禁止未滿18周歲訪客瀏覽,如果當地法律禁止請自覺離開本站!收藏本站:請使用Ctrl+D進行收藏