[請益] 現在橫空出世的NPU

看板 PC_Shopping
作者 wahaha99 (我討厭人類)
時間 2023-12-27 16:44:38
留言 70則留言 (16推 0噓 54→)

為了因應即將到來的AI時代, 各家CPU廠開始在CPU裡面加入NPU, 即神經網路處理器 這邊已有一篇評測 https://www.youtube.com/watch?v=cN_bm3jT5VI
以這個評測為例, 讓我有點霧裡看花, 不是很能明白: Intel Ultra 7 155H CPU分數 67 GPU分數 413 NPU分數 282 嗯....這NPU看起來沒比較厲害? 所以我的疑問就是: 1. NPU 表現還不如 GPU, 這也許可以理解為最佳化還沒到位, 不過即使未來能小贏, 為什麼不拿去做GPU就算了, 還可以增加3D性能。 2. NPU 能執行通用計算嗎? 如果可以, NPU 只是神經網路運算特化 的 GPU? 3. 如何調用 NPU? 是視為 OpenCL / DirectML 裝置? 還是又整出新的方法跟API了? 又或只是在GPU下的子集? (調用核顯運算時指示調用NPU?) 有沒有正在行內的說說看吧... ----- 未來五年可能漸漸開始沒人要比x86性能, 改比NPU性能了... -- 確實 要等NPU的每瓦性能出來才知道 不過類神經網路也是百百種 應該不會是ASIC這麼沒彈性的做法吧

※ 批踢踢實業坊(ptt.cc), 來自: 118.169.11.48 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1703666680.A.127.html

smallreader: 類似說桌上型處理器可以直接用CPU算 114.27.25.210 12/27 16:53

smallreader: 但行動裝置會太耗電所以設計專用電路 114.27.25.210 12/27 16:53

friedpig: asic拼的就能耗比 除非規模堆到超大 不 223.140.22.3 12/27 16:58

friedpig: 然輸GPU 也還好吧 223.140.22.3 12/27 16:58

friedpig: 相容性87%靠one api去處理吧 牙膏養一 223.140.22.3 12/27 17:00

friedpig: 堆人做one api不是養假的 223.140.22.3 12/27 17:00

friedpig: 牙膏的npu 居然是有支援fp16的 本來以為 223.140.22.3 12/27 17:06

friedpig: 只有到int8的 ASIC 223.140.22.3 12/27 17:06

wahaha99: fp16一定要的吧 int8跑AI應該很BI 118.169.11.48 12/27 17:09

SHR4587: 看起來問題會是桌上型真的需要這東西嗎 220.136.0.247 12/27 17:17

SHR4587: 目前看起來煮戰場會是筆電跟平板,看微軟 220.136.0.247 12/27 17:18

SHR4587: 之後的動向了 220.136.0.247 12/27 17:18

wahaha99: 如果AI服務成為標配,那桌上型肯定也要啊 118.169.11.48 12/27 17:19

wahaha99: 尤其是沒獨顯的系統 118.169.11.48 12/27 17:21

aegis43210: 因為微軟想推廣copilot,所以一定要有114.136.179.249 12/27 17:28

aegis43210: NPU114.136.179.249 12/27 17:28

kimula01: 以後說不定玩lol可以離線全AI隊友了 59.124.205.12 12/27 17:33

kimula01: 全隨機中路 本地電腦運算AI控制隊友 59.124.205.12 12/27 17:34

aegis43210: 實際上MTL上面的應該叫VPU,並不是專114.136.179.249 12/27 17:34

aegis43210: 門拿來加速LLM的推論,所以只是堪用程114.136.179.249 12/27 17:34

aegis43210: 度,真正的NPU要等ARL114.136.179.249 12/27 17:34

kimula01: 星海爭霸3搞不好也不用微操 每個都AI算 59.124.205.12 12/27 17:35

rgo: 炒股用的話術 1-2個月就消風啦223.137.176.161 12/27 17:44

rgo: 但能把 宏碁 華碩這些帶到突破幾十年的新高也223.137.176.161 12/27 17:46

rgo: 是很利害223.137.176.161 12/27 17:46

lazioliz: 你先會用再來說吧 1.174.199.39 12/27 17:55

hidalgo22976: 應該是軟體要優化吧,等於arm64又 1.171.170.150 12/27 17:56

hidalgo22976: 多了類神經 1.171.170.150 12/27 17:56

hidalgo22976: 這華碩年前就在手機做過了 1.171.170.150 12/27 17:57

hidalgo22976: 現在還不成熟,之後再看吧 1.171.170.150 12/27 17:58

zo6596001: 未來說不定會出現AI小畫家,可以自動 111.71.116.106 12/27 18:01

zo6596001: 摳圖、調色。 111.71.116.106 12/27 18:01

Rust: 如果把這個 NPU 設計成插 PCI-E會有市場嗎 123.110.251.5 12/27 18:03

stepnight: 已經有自動摳圖了 49.216.163.179 12/27 18:25

pig: 可以參考一下 apple 的a系列跟m系列怎麼用的 114.33.222.193 12/27 19:12

Ceferino: 特化計算阿,而且應該是CPU+GPU+NPU混 123.192.234.4 12/27 19:16

Ceferino: 合計算,微軟的DirectML團隊應該正在忙 123.192.234.4 12/27 19:16

Ceferino: 這些事 123.192.234.4 12/27 19:16

oppoR20: Pcie的不就是tensor tpu嗎 223.139.85.192 12/27 19:16

oppoR20: 當然沒像npu那麼通用就是了 223.139.85.192 12/27 19:18

ss218: 先有實際應用面再來討論效能也還來得及 114.34.40.71 12/27 20:21

tokikaze: 目前生成式AI那麼夯哪沒有實用面 36.236.197.112 12/27 20:23

Ereinion9895: 他能做的顯卡都能做,只是能耗問題 114.32.176.250 12/27 22:46

Ereinion9895: 還有是否最佳化過。要是你用4090, 114.32.176.250 12/27 22:46

Ereinion9895: npu還是無法贏過那是當然。相較之 114.32.176.250 12/27 22:46

Ereinion9895: 下筆電上的npu會更加實用。能耗問 114.32.176.250 12/27 22:46

Ereinion9895: 題 114.32.176.250 12/27 22:46

tint: 剛起步 而且還有等未來微軟Win12的要求標準 218.187.86.49 12/27 22:47

tint: 目前NPU主要是執行低精度矩陣乘法 功耗更低 218.187.86.49 12/27 22:53

leviva: 說不定zen 5 / arrow lake就會拼NPU了 27.52.103.83 12/27 23:33

crimsonmoon9: int8在邊緣運算很常見啊 低功耗精度 42.77.118.32 12/27 23:39

crimsonmoon9: 也不會掉太多 42.77.118.32 12/27 23:39

crimsonmoon9: *準確度 42.77.118.32 12/27 23:44

stepnight: 對你沒有實際應用 49.216.163.179 12/28 01:30

stepnight: 不等於這東西沒實際應用內== 49.216.163.179 12/28 01:30

menchian: 是蠻期待以後遊戲導入之後,能看到完全 220.134.55.45 12/28 02:12

menchian: 不同風貌的遊戲出現 220.134.55.45 12/28 02:12

asmodee: 等PS/XBOX導入再說吧 118.161.66.58 12/28 03:48

ma721: 再過2到3代再來煩腦 39.14.40.253 12/28 09:37

lpoijk: 當初cpu覺得算圖形很浪費 所以跑出了GPU 111.196.243.14 12/28 09:50

lpoijk: 同樣道理 現在gpu覺得算這些數學很浪費 111.196.243.14 12/28 09:50

lpoijk: 所以出了npu/vpu 111.196.243.14 12/28 09:51

lpoijk: gpu還有很多其他能力 用4090其實很浪費 111.196.243.14 12/28 09:51

mitchness: 等3代以後吧 前面一定是又貴效能低 111.250.42.113 12/28 10:48

phylen: 目前看起來沒什麼特別優勢 49.216.160.118 12/28 12:25

phylen: https://i.imgur.com/zYp9niP.jpeg 49.216.160.118 12/28 12:25

phylen: https://i.imgur.com/0ix6TZR.jpeg 49.216.160.118 12/28 12:25

phylen: https://i.imgur.com/N01MEMB.jpeg 49.216.160.118 12/28 12:25

phylen: https://i.imgur.com/acIX0L9.jpeg 49.216.160.118 12/28 12:25

phylen: https://i.imgur.com/NesAPsn.jpeg 49.216.160.118 12/28 12:25

您可能感興趣