※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1706498626.A.0C3.html
推 roseritter : 大大 前一篇也很好啊 不需要刪吧 讓我們業外聞香 01/29 11:26
推 mongduo : 前一篇提的,這一篇都有啊,刪掉保險一點~推 01/29 11:28
推 metallolly : 七巨頭..是誰的XD 01/29 11:30
推 zoze : 中國燧原科技 聽說不錯 01/29 11:30
推 rebel : edge ai有個問題 目前業界還沒找到殺手級應用 需求 01/29 11:31
→ rebel : 不強的話 很難帶動需求跟價格 01/29 11:31
推 ymlin0331 : all in TQQQ 01/29 11:32
推 a316xxx : 淺顯易懂的優質文 01/29 11:33
推 pponywong : 對岸記得還有一個地平線阿 01/29 11:33
推 thg156yu789 : 發哥太貴了 有其他間嗎 01/29 11:36
推 mabobo : 請問直接買00757也可以嗎? 01/29 11:42
推 aegis43210 : 西台灣做推論的只要沒辦法下GG,就沒希望了,反倒是 01/29 11:47
→ aegis43210 : 做訓練的,有足夠電力還可以大力出奇蹟 01/29 11:47
推 dragonjj : 結論 可以歐印台GG了嗎?製成全都繞不開阿! 01/29 11:49
推 dongdong0405: 有料,推 01/29 11:50
→ MacD89 : edge ai 會不會太浪費資源?把運算丟到server算好 01/29 11:50
→ MacD89 : 再傳回來會不會比較有效率? 01/29 11:50
推 thbygn98 : 一定需要edge的,很難全不要 01/29 11:53
推 w60904max : tqqq有垃圾車 01/29 11:54
推 kducky : 沒錯 QQQ買滿 01/29 11:55
推 c7683fh6 : 推 歐印10年財富自由 01/29 11:55
推 rebel : 反了吧 推論對算力需求低 有沒有GG影響低 01/29 11:57
→ good5755 : 照這篇買股 allin谷歌? 01/29 11:57
推 Cliffx : tqqq有垃圾車 01/29 11:57
推 howhow801122: 垃圾車是誰 01/29 12:00
→ booray : edge 功耗更重要啊 不用GG先進製程手機電池哪夠用 01/29 12:01
推 ohlong : Edge絕對會是主流 更何況區塊鏈那套也可以拿來用在 01/29 12:03
→ ohlong : 末端算力上 01/29 12:03
推 aegis43210 : 目前大部份模型仍未到剪枝階段,推論仍需要大量算力 01/29 12:04
→ aegis43210 : 所以西台灣做推論的,沒有一家能投資 01/29 12:06
推 JKCCF : 好 ALL IN! 01/29 12:07
推 jamesho8743 : Linux追得上Windows? Firefox追得上chrome? 聯電追 01/29 12:08
→ jamesho8743 : 得上台積電? 01/29 12:08
推 energyy1104 : 最優解就是都配 不可能全部用edge也不可能全部用se 01/29 12:10
→ energyy1104 : rver 01/29 12:10
推 ming5566 : 推 01/29 12:11
推 jamie81416 : 這篇才是重點 01/29 12:12
→ jamie81416 : 結論:All in GG 01/29 12:12
推 lrac : 推 01/29 12:13
推 fernmmm : 看起來edge端發展起來關鍵是server成本居高不下 那 01/29 12:14
→ fernmmm : 有沒有什麼劇本是server成本大降 01/29 12:14
推 jamie81416 : 樓上,edge段的發展關鍵是應用,不是server 01/29 12:15
→ MacD89 : 可是使用者更在意自己on premise的功耗太大而不會 01/29 12:15
→ MacD89 : 考慮服務商那邊的功耗成本?所以最後還是都有的吃 01/29 12:15
→ MacD89 : 不過不管edge或server那邊loading會比較重 反正就 01/29 12:15
→ MacD89 : 是gg或成最大贏家 XD? 01/29 12:15
→ jamie81416 : 沒錯R,不管哪個都要GG支援 01/29 12:16
推 strlen : 你各位不要歧視垃圾車 人家還差一點就變AI神車 還有 01/29 12:16
→ strlen : chobits 機械公敵 01/29 12:16
推 jamie81416 : 現階段edge AI還沒噴單純是還沒有殺手級應用 01/29 12:17
推 aspirev3 : 愛普跟邊緣運算有關係嗎 01/29 12:18
推 fernmmm : Edge應用怎麼說 願聞其詳 01/29 12:18
→ fernmmm : 是指在edge或server跑應用性能表現有差嗎? 01/29 12:19
推 joygo : 現在就大廠再拼啊,拼出一個最強的需求就會跑去客 01/29 12:20
→ joygo : 戶端了 01/29 12:20
推 jamie81416 : 比較近似的例子,NV的顯卡要用雲端串流還是單張XD 01/29 12:20
→ jamie81416 : GeForce Now就死的差不多了 01/29 12:21
→ joygo : chat gpt讓人看到ai的好用,現在美術應該是第一個 01/29 12:21
→ joygo : 衝擊,再來應該會更多 01/29 12:21
推 fernmmm : 我想表明的點是 如果server成本大降 還有一定要在 01/29 12:23
→ fernmmm : 終端跑AI的必要嗎? 01/29 12:23
推 jamie81416 : 樓上的問題相當於單機版還是雲端版 01/29 12:24
→ awss1971 : 結論: All in TQQQ 01/29 12:25
推 a1237759 : 達文西是2019台積cowos團隊用16nm做的東西,說落後 01/29 12:26
→ a1237759 : 十年就誇張了,五年差不多 01/29 12:26
→ a1237759 : 且達文西二代當初率先使用兩層的soic ,領先AMD NV 01/29 12:27
→ a1237759 : 三年,如果不是被封鎖,台積當時可能真的會帶華為打 01/29 12:27
→ a1237759 : 趴AMD 01/29 12:27
推 jamie81416 : 台灣就All in GG。Sign G翁! 01/29 12:28
推 guanting886 : Server成本再怎麼降也無法一次處理很大的需求 如果 01/29 12:28
→ guanting886 : 都算簡單東西 很浪費那台機器的資源 01/29 12:28
推 beckhon : 大大,你所指有包含特斯拉嗎 01/29 12:28
→ a1237759 : D2在台積試產成功,但無法出貨,華為現在應該就是用 01/29 12:28
推 Eric0605 : 你edge AI都寫MTK了 居然漏了QCOM? 01/29 12:28
→ a1237759 : 台積同一套在做D1 01/29 12:28
推 ds040302 : 看不懂,推 01/29 12:29
→ guanting886 : 有些Ai或某種較為簡單的處理可以做在專用晶片上 你 01/29 12:30
→ guanting886 : 直接調用上面的資源來算比浪費Server資源算還更有 01/29 12:30
→ guanting886 : 效益而且更快 不用網路 01/29 12:30
→ guanting886 : 用單機版 跟 雲端版 形容算對 但單機版的功能是半 01/29 12:31
→ guanting886 : 殘 01/29 12:31
→ aegis43210 : 目前雲端推論運算就卡在記憶體瓶頸,所以邊緣運算化 01/29 12:33
→ aegis43210 : 是趨勢,尤其是自駕 01/29 12:33
推 prpure : 請問tesla的自駕也算edge ai嗎? 01/29 12:33
推 a1237759 : 我是當初研發團隊的,2018出貨給D1給海思,2019幫海 01/29 12:35
→ a1237759 : 思試產,遇到封鎖團隊也不能說算解散,就是流往其他 01/29 12:35
推 ppuuppu : 推 01/29 12:35
→ a1237759 : 客戶 01/29 12:35
推 fake : Ai應用爆發應該也是會帶動傳統伺服器的成長?畢竟 01/29 12:37
→ fake : 你東西做出來要分享出去還是得經過傳統伺服器 01/29 12:37
→ aegis43210 : 是可以靠模型剪枝來緩解記憶體及網路瓶頸,但現在是 01/29 12:37
→ aegis43210 : 吃力不討好,建模就來不及了 01/29 12:37
推 jamesho8743 : opengl本來在業界就一片天了 directx會紅只是因為wi 01/29 12:38
→ jamesho8743 : ndows和pc game的崛起 經過了幾十年opengl可以扳平 01/29 12:38
→ jamesho8743 : 甚至超過 是因為只要學一套opengl就可以兩邊通用 op 01/29 12:38
→ jamesho8743 : engl在windows上的優化也很成熟和dx沒什麼差距 01/29 12:38
推 jamie81416 : 對消費者來說,半不半殘不是關鍵,好用才是 01/29 12:38
推 a1237759 : 海思的design在當時其實一點都弱,又肯砸錢與台積共 01/29 12:38
→ a1237759 : 同開發,台積扶持下追趕曲線非常快 01/29 12:38
→ fake : 另外手機電腦裝上 AI 晶片應該也會需要更強的散熱 01/29 12:39
推 a1237759 : 總之這些廠商都靠台積飛的,叫台積股價飛不起來 01/29 12:40
→ a1237759 : 就 01/29 12:40
推 fake : 台積還是有很大比例是消費品吧 被拖累了QQ 01/29 12:42
推 AoA1 : 好文,推一個 01/29 12:43
→ cccict : 現在企業又因為資安的問題要回去雲端化了,我現在 01/29 12:48
→ cccict : 筆電所有檔案都在one drive,edge除非像電動車有即 01/29 12:48
→ cccict : 時運算的需求才會使用,server的效率跟成本還是比 01/29 12:48
→ cccict : 自建划算,尤其現在都要ESG,還不如讓平台商解決 01/29 12:48
推 rebel : 我還是認為推論不應該消耗太多功耗 會消耗大量功耗 01/29 12:50
→ rebel : 的應用放在手機上就很奇怪 放在插電的pc上比較合適 01/29 12:50
→ rebel : 01/29 12:50
推 Edaw : 推推 01/29 12:51
噓 donkilu : 純噓GOOG 01/29 12:51
推 clisan : 推好文 01/29 12:54
推 france5289 : Andes 有做edge AI相關的產品 01/29 13:00
→ france5289 : 概念是用vector CPU處理AI asic無法加速的operator 01/29 13:00
→ france5289 : 他們最近好像也有推自己的加速器 但不知道有沒有 01/29 13:00
→ france5289 : 客戶(除了跟Meta合作之外) 01/29 13:00
噓 sdbb : 應該是directx追上opengl 01/29 13:02
→ la8day : 現在都vulkan哪有人要用ogl 01/29 13:03
推 ga023630 : 都要歐印 FNGU 會比TQQQ差嗎? 01/29 13:05
推 ProTrader : 幹嘛為了八卦特地刪文 內容很精彩 八卦也很精彩 01/29 13:07
→ ProTrader : 重點是這篇一點都不豪洨 原po哪可能壓力大 01/29 13:08
→ askaa : 靠我沒看到wait大大的八卦文 可惜惹 XDDDDD 01/29 13:08
→ ProTrader : 公司敢裁你就換下一間 01/29 13:09
推 n555123 : 推一下 01/29 13:14
推 sdbb : 最早期,opengl比較像cuda,opengl領先directx cud 01/29 13:23
→ sdbb : a領先opencl 01/29 13:23
推 SRNOB : 完了 看不太懂 我變落後老人了 01/29 13:25
推 y800122155 : MS copilot已經在貢獻營收了欸 01/29 13:27
→ y800122155 : TQQQ FNGU的組合問題應該可以透過買NVD3 FB3 MSF3 A 01/29 13:30
→ y800122155 : AP3 GOO3 AMZ3自己調整吧?! 01/29 13:30
推 speedman : 沒列到M$ 微軟有涉入AI嗎? 算是什麼腳色 01/29 13:37
→ karcher : 有內容給推,不過有點高估AI的價值 01/29 13:39
→ y800122155 : 微軟是ChatGPT大股東 市值都超越阿婆了還什麼角色.. 01/29 13:39
推 roseritter : 微軟是openAI大股東,早早引入copilot 01/29 13:40
→ roseritter : 變現能力現在看來海放google 01/29 13:40
推 cadaver : 請問大大有TQQQ預計獲利了結的時間點嗎 01/29 13:45
噓 a000000000 : 我覺得尼想太多 hbm效能等級的東西要放到edge 01/29 13:48
→ a000000000 : 等葛十年看看 01/29 13:48
推 rebel : 知道你討厭拜 但拜不是一個人就可以控制美國 拜要 01/29 13:57
→ rebel : 灑幣 一堆人就不會同意 他不選了其他人未來都不選 01/29 13:57
→ rebel : 了嗎 01/29 13:57
推 william85 : 推 01/29 14:04
推 roseritter : 那這麼一堆人 之前出來有擋住拜耍腦包嗎 喝 01/29 14:15
推 rebel : 那時沒通膨 現在通膨都燒成什么樣了 拜登最後一波 01/29 14:20
→ rebel : 灑幣不就被擋下來了 01/29 14:20
推 kis28519 : 推 01/29 14:24
推 rebel : 現在的參眾議院又不是都在民主黨手上 認為憑拜登就 01/29 14:29
→ rebel : 可以大灑幣我覺得你想太多 我寧願相信美國的制度而 01/29 14:29
→ rebel : 不是拜或川的個人 01/29 14:29
推 qweaaazzz : 推 01/29 14:44
→ SILee : 你有點扯過頭了。他這陣子都沒有提大撒幣法案主要是 01/29 14:45
→ SILee : 眾院被掐住了,提了也沒用。後面還有更重要的法案讓 01/29 14:46
→ SILee : 他火在燒,輪不到撒幣這件事。 01/29 14:46
推 yaehsin : 推TQQQ 01/29 14:54
推 dangurer : 收到打收到! 01/29 15:10
→ BryceJames : 覺得不可能 edge無法散熱注定只能大模型只能server 01/29 15:16
→ BryceJames : 3 5 年內edge超越server太樂觀 01/29 15:16
→ BryceJames : 而且大模型訓練只會越來越多... 01/29 15:17
推 popcorny : 我2021的MBP跑LLM mistral-7b 已經嚇嚇叫了,edge 01/29 15:25
→ popcorny : 沒有想像中那麼遙遠. 應該很快就大爆發了 01/29 15:25
推 aegis43210 : 訓練是另一回事,在終端訓練也太沒效率 01/29 15:27
推 neo5277 : 下個接棒的應該是居家機器人了吧 01/29 15:33
推 previa : 我2008,2009年在用CUDA做GPGPU應用時就覺得OpenCL會 01/29 16:18
→ previa : 有機會超過CUDA,現在已經幾年了。 01/29 16:19
→ previa : 10多年過去了還沒超過,核心還是在開發的編譯優化上 01/29 16:20
→ previa : CUDA/OpenCL都非常依賴數據從CPU<->GPU間的數據搬移 01/29 16:20
→ previa : 好的Compiler會自動搞定一大堆異質架構的存取優化 01/29 16:21
→ previa : 不然早期的CUDA你開發還要去記記憶體架構跟cycle 01/29 16:21
→ previa : 時間差,人工想辦法去interlace 讀取加大平行度 01/29 16:22
→ previa : 真的麻煩。最近幾年沒跟進,不確定現在怎樣了 01/29 16:22
→ previa : 理論上只要克服這點,OpenCL應該就可以追上CUDA 01/29 16:25
→ previa : 但是這也是比較難的點,Vendor自己開發的跟開源的 01/29 16:25
→ previa : 肯定在相容性跟優化上還是有一些差異。 01/29 16:26
→ ProTrader : AMD跟客戶大廠應該會認真做縮小跟CUDA的差距 01/29 16:41
→ ProTrader : 但要說贏過CUDA就很難 至少短時間不可能 01/29 16:42
推 jeff918 : 這樣看起來聯發科的風險 01/29 17:46
→ jeff918 : 會是中國被禁運 01/29 17:46
→ szeretlek945: 上面說大模型越來越多,那有沒有小模型也越來越多, 01/29 17:50
→ szeretlek945: 而且現在好幾篇論文都在寫小模型在特定環境甚至比大 01/29 17:50
→ szeretlek945: 模型的表現好。況且現在注重的是“有效的”參數而不 01/29 17:50
→ szeretlek945: 是越多越好 01/29 17:50
推 ImCPM : 這樣手機pc nb不就要噴爛了 01/29 17:55