[新聞] 用矽類比人腦，進度條走到了1/80

用矽類比人腦，進度條走到了1/80 夢晨 https://www.qbitai.com/2024/05/147651.html 來自英特爾實驗室的Hala Point規模已接近人腦的1/80 貓頭鷹的大腦約有11.5億個神經元、1280億個突觸。 全部塞進一個微波爐大小的機箱——就成了世界上最大的神經擬態系統，英特爾Hala Point。 不過別擔心，期間沒有任何貓頭鷹受到傷害，是用的矽晶元類比生物神經元。 這種晶元效果如何？ 一系列數據說話： 執行AI推理負載和處理優化問題時，速度比常規CPU和GPU架構快50倍，同時能耗降低了 100倍。 運行傳統深度神經網路時，INT8精度運算的能效比達到了15 TOPS/W。 （英偉達尚未發貨的最新GB200 NVL72在INT8精度只有6 TOPS/W，當前的DGX H100系統約 為3.1 TOPS/W） 用於仿生脈衝神經網路模型時，能夠以比人腦快20倍的即時速度運行其全部11.5億個神經 元。 在運行神經元數量較低的情況下，速度可比人腦快200倍。 …… 總之，這不是傳統意義上拼峰值算力的那種AI晶元，能效比高才是Hala Point系統最大的 優勢。 據統計，僅訓練GPT-3就耗電10GWh，相當於歐洲6000人一年的用電量，而隨著AI應用的普 及，推理能耗更是難以估量。 反觀人腦，憑藉860億個神經元，每秒能完成上萬億次運算，功耗卻不到20W。 那麼，如何讓晶元類比生物大腦的運作方式，正是神經擬態計算的核心理念。 來自英特爾實驗室的Hala Point規模已接近人腦的1/80，讓這一構想離現實更近了一步。 那麼究竟什麼是神經擬態晶元，如何做到高能效比，最終又能用於哪些應用？ 存算一體、異步稀疏計算 先來看Hala Point系統具體配置： 由1152個Loihi 2處理器組成，封裝在一個六機架的數據中心機箱中。 整個系統支持分佈在140544個神經形態處理內核上的多達11.5億個神經元和1280億個突觸 ，最大功耗為2600瓦。 Hala Point還包括2300多個嵌入式x86處理器，用於輔助計算。 https://tinyurl.com/ya4k3ewm Loihi 2晶元採用Intel 4工藝製造，每個晶元有128個核心。 每個晶元包含多達100萬個 數字神經元和1.2億個突觸，採用存算一體設計，打破了馮諾依曼架構的瓶頸。 Loihi 2還應用了眾多類腦計算原理，如異步（asynchronous）、基於事件的脈衝神經網 路（SNNs），以及不斷變化的稀疏連接，以實現能效比和性能的數量級提升。 對於這些獨特的技術，我們聯繫到英特爾研究院副總裁、英特爾中國研究院院長宋繼強， 詢問了更多細節。 異步，是一種摒棄了傳統晶元的全域時鐘，採用事件驅動的架構。 宋繼強借用人類大腦分區來解釋，相當於一個人的嗅覺、視覺、觸覺等可以同時工作，但 並不需要同步。 如此一來Hala Point系統工作時是稀疏計算，又有點像現在主流大模型都會用的MoE專家 混合架構。 所以Hala Point系統追求的不是極致性能，它更大的價值在於，以一種前所未有的規模， 驗證了神經擬態計算的可行性和優勢。 在演算法和應用層面，Hala Point不是專門為當前主流的深度學習模型設計的（但經過修 改也能跑）。 它更適合去探索一些全新的，受生物學啟發的學習範式。 比如基於時序脈衝編碼的SNN脈衝神經網路，就是一個很有前景的方向。 SNN能更好地捕 捉時空資訊的動態變化，有望在語音、視覺等時序數據的處理上取得突破。 此外，神經擬態系統天然適合進行持續學習和片上學習，這也是當前深度學習系統的一大 短板。 宋繼強還介紹了英特爾的神經擬態研究社區INRC，已有包括全球學校、企業和研究機構的 200多成員加入。 社區中大約一半的應用探索是用於機器人、無人機。 而且這類應用並不需要Hala Point 這麼大的系統，只需要幾塊晶元就能搞定了。 那麼Hala Point這樣的大殺器又是應用在哪呢？ 一個潛在的應用場景是組合優化。 宋繼強透露，他們發現用神經擬態計算去求解一些大 規模規劃等特定問題時，相比傳統方案，能耗可以降低約3000倍。 這得益於其稀疏計算的特性，避免了大量的無效能耗。 從這個角度看，神經擬態系統或 許能在物流、智慧交通等領域“另闢蹊徑”。 One More Thing 在Loihi晶元和Hala Point系統的介紹中，很少出現其他晶元強調的“頻率”、“主頻” 這樣的參數。 宋繼強解釋，神經擬態系統確實不會追求高頻率，還開了一個小玩笑： 人腦就不會以很高的頻率工作，不然會發熱冒煙。 參考連結： [1]https://www.intel.com/content/www/us/en/newsroom/news/intel-builds-worlds-largest-neuromorphic-system.html [2]https://www.theregister.com/2024/04/17/intel_hala_point_neuromorphic_ow --
※ 批踢踢實業坊(ptt.cc), 來自: 219.87.176.211 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1717128803.A.2EC.html

推 justdoit : haha point 05/31 12:18

推 v21638245 : 6000人一年用電量聽起來也不算很多吧 05/31 12:20

推 l11111111 : 是在幾天的時間內用掉6000人一年電量 05/31 12:48

推 Qoo2222 : 6000人是gpt3 gpt4 或4o高非常多 05/31 14:19

→ yunf : 誰說人腦開發不到10%那也就是說他到8的時後就可以超 05/31 16:35

→ yunf : 過全球90%以上的人 05/31 16:35

→ tabrisPTT : 買100套B200估計是全世界人腦的算力（疑 05/31 21:23

推 lavign : 不能商用就別吹了 06/01 00:36

→ MTKer5566 : 不關台灣的事，台灣繼續做工廠做代工 06/01 21:58