![](https://cache.ptt.cc/c/https/i.imgur.com/FRXKhKJl.jpg?e=1677297898&s=Pnb_8oTIh2uSQJ5fKJi7CA)
![](https://cache.ptt.cc/c/https/i.imgur.com/VLHKoMAl.jpg?e=1677306086&s=eMzNQNX8f8hW9wEpZE7Cdw)
![](https://cache.ptt.cc/c/https/i.imgur.com/Tct4033l.jpg?e=1677263105&s=e_GZbosHbtC0KDCvG5Rrgg)
![](https://cache.ptt.cc/c/https/i.imgur.com/5fkClG5l.jpg?e=1677319467&s=QBRMrYZYY2O-KByEIAzUHA)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1677127964.A.22C.html
→ omanorboyo : 本來就不太重要 看看聯發科 看看M31 02/23 12:53
推 kausan : 重點是fu糗 02/23 12:54
推 loat : google最近好慘啊 02/23 12:55
推 tomdavis : 公司自己開發的有比大家在用的好用就願意換了 02/23 12:55
推 moike22 : GOOGLE慘到不行 02/23 12:55
→ LDPC : NVDA多少佈局 再者現在大家都是拿open source code 02/23 12:56
推 tigerzz3 : ChatGPT出來 100多很難了 02/23 12:56
→ tomdavis : 前面的扣都用N社套餐寫的 跳別的不就是自找麻煩嗎 02/23 12:56
推 KadourZiani : 愛大去年11月就預言慢牛最後買點了 02/23 12:56
→ LDPC : 在研究環境裡 複製實驗的話當然挑跟別人一樣環境啊 02/23 12:56
推 centaurjr : GOOGL等8字頭來抄點看看阿 02/23 12:57
→ centaurjr : 快到了 02/23 12:57
→ LDPC : 光是許多train出來model在不同環境 隨機性都會差很 02/23 12:57
→ LDPC : 整個AI社群搭起來後 當然是站在巨人肩膀上啊 02/23 12:58
→ tomdavis : 除非是技術發展完全 要做特別的加速那再去改寫 02/23 12:58
→ LDPC : 通常在下游任務才會去客製化搭自家硬體 02/23 12:59
→ LDPC : 在上游算法驗證階段 N社環境解決很多問題 甚至 02/23 12:59
→ LDPC : 你在複製實驗時 上面都會註明環境設定 甚至 02/23 13:00
→ LDPC : 連random seed都幫你標好 為了就是讓實驗有可複製性 02/23 13:00
推 i376ers : 等抄底GOOG 02/23 13:00
推 strlen : 幫雜空默哀 02/23 13:01
→ LDPC : 如果你換一套硬體 一堆backward update 根本無從檢 02/23 13:01
→ LDPC : 檢查gradient隨機性 這時候你效能就真的是隨機 02/23 13:01
→ LDPC : 更別說這波老黃從Argo/Toyota 那邊吃了不少個人才 02/23 13:03
推 zitto : 感謝分享 02/23 13:04
→ LDPC : chatgpt只是生產工具一個象徵 其他還有diffusion 02/23 13:04
→ morphine0821: 以前欠下的技術債總要還的 02/23 13:05
→ LDPC : 最近nvda還吃到語音套件去了 老黃就是在AI賣好用 02/23 13:05
→ LDPC : 鏟子 你要用自己開發的鏟子去開發龐大模型 還考慮 02/23 13:05
噓 DrGun : 人der問題好解決 看老闆要不要硬起來而已 當黃seafo 02/23 13:05
→ DrGun : od 越賣越貴 窩9不信高層不會壓著底下找second sour 02/23 13:05
→ DrGun : ce 降低成本 02/23 13:05
→ strlen : 不能怪人才制定要老黃的框架阿 啊這就最熱門的齁 02/23 13:06
→ LDPC : 實驗複製性 效能對標 我覺得從現實角度不太可能 02/23 13:06
→ strlen : 我學別的 換間公司又沒P用 自找麻煩學CP值低的東西? 02/23 13:06
推 haski : 看好ChatGPT怎麼還會選擇Google? 02/23 13:08
推 lolpklol0975: 拉高出貨 02/23 13:08
→ LDPC : 你模型train完之後 deploy model到客制硬體是可以的 02/23 13:08
→ LDPC : 但你現在拿一個自己開發框架 然後你照paper刻一樣 02/23 13:09
→ LDPC : 架構 然後你會花一堆時間在調整epoch/batch/lr 02/23 13:09
→ LDPC : 甚至random seed 因為你硬體環境都不同了 前人給你 02/23 13:10
→ LDPC : 的參考config都不在可用 那你等於是花一堆時間去 02/23 13:10
→ LDPC : 重調參數 甚至光是optmizer(adam/sgd)這些討論串 02/23 13:11
推 minikai : 如果你當賣模型的話你訓練就綁cuda了,你模型丟到 02/23 13:11
→ minikai : 不同環境去做predict還是要用到cuda才能跑,通用性 02/23 13:11
→ minikai : 高大家為何要自己刻。 02/23 13:11
→ LDPC : 你都要重新來過 幹嘛不站在巨人肩膀上 用成熟環境 02/23 13:11
→ LDPC : 上面言論就跟 只要有無限金錢我也可以開一家台積店 02/23 13:12
→ strlen : 話不能這樣說吧...不然iOS跟安卓 本質也是一樣的啊. 02/23 13:12
推 tomdavis : MSFT GOOG 先前都有大模型的研究與嘗試 02/23 13:14
→ LDPC : bert和gpt3是不同的 chatgpt是來架在gpt3框架上 02/23 13:14
推 EvilSD : 這問題感覺探討的點面向有點多呀 光是訓練還是實現 02/23 13:15
→ EvilSD : ,以及是要佈署環境不同差異就蠻大 02/23 13:15
→ LDPC : google bert最大問題不是架構 是在於data的累積 02/23 13:15
噓 kweisamx2 : 拿Cuda 比tensorflow?外行 02/23 13:15
→ EvilSD : 如果單純討論訓練階段,除非自己的工具能夠像Google 02/23 13:16
→ EvilSD : 一樣成熟,不然不走NV的環境應該是挺痛苦的 02/23 13:16
→ LDPC : openAI搜集的data數據量已經有好幾年 海放google 02/23 13:16
推 EvilSD : 現在大部分公司應該也都是用NV的環境進行訓練(如果 02/23 13:18
→ EvilSD : 有錯可以糾正我) 02/23 13:18
推 haski : 在股市可不會因為產品本質相同, 相關個股就能齊頭 02/23 13:19
→ haski : 大漲 02/23 13:19
推 Socpow : 也不是researcher難搞,這是社群的力量。CUDA遇到大 02/23 13:19
推 minikai : Cuda跟tensorflow、pytorch、keras是兩種不同層面 02/23 13:19
→ Socpow : 部分技術問題隨便搜尋都能找到答案,這可是累積了一 02/23 13:19
→ minikai : 的東西,不懂為啥你要拿出來一起比 02/23 13:19
→ Socpow : 二十年前人的血淚,in house 要追上很難。況且新穎 02/23 13:19
→ Socpow : 研究放上github大都是pytorch, 為了快速復現結果誰 02/23 13:19
→ Socpow : 有時間還先去做轉換framework的苦工。但這是研究開 02/23 13:19
→ Socpow : 發方面而已,未來更大的需求是在inference,為了降 02/23 13:19
→ Socpow : 低成本一定是要asic的 02/23 13:19
推 tomdavis : 自家的framework可以跑相同的扣就會願意用 02/23 13:20
→ LDPC : inference就是下游model deployment 這是另外一個環 02/23 13:20
推 EvilSD : 等等 bert架構上問題也不小吧 好多年前的技術了 02/23 13:20
→ LDPC : 你甚至都不需要gpu 你可以用隨意硬體計算機 你要的 02/23 13:20
→ EvilSD : 現在google做的Lemda與Bard 模型框架肯定更龐大 02/23 13:21
→ LDPC : 只是model裡面所有權重分佈而已 02/23 13:21
推 Wuoo : 沒關係 gpu準備噴 02/23 13:24
推 minikai : 訓練用到gpu,Inference不用很正常,但是也是要看 02/23 13:25
→ minikai : 能接受inference多久產生結果,如果今天你的場景是 02/23 13:25
→ minikai : 要10秒就得到結果,但是因為沒gpu你要1分鐘才能有 02/23 13:25
→ minikai : 結果,你還是需要用到gpu。 02/23 13:25
推 tomdavis : 你想想N社為什麼有底氣貴10倍 02/23 13:26
推 JohnGalt : CUDA是用來做硬體加速的吧,tensorflow是調用算法 02/23 13:27
→ JohnGalt : 訓練模型的,兩者可同時使用。 02/23 13:27
推 tomdavis : 同樣的code把cuda拔掉自家的加速器能跑一樣效果嗎? 02/23 13:28
噓 yiefaung : DL framework 跟 CUDA比 BERT跟GPT一摸一樣 呃呃 建 02/23 13:29
→ yiefaung : 意寫之前先問chatgpt 02/23 13:31
推 leoloveivy : 看不懂 02/23 13:33
推 haski : 就算BERT和ChatGPT一模一樣,但在股市就是只有Lea 02/23 13:34
→ haski : der能被資金追捧 02/23 13:34
推 JackChung : 要榨出硬體最後一滴效能當然要CUDA甚至PTX 02/23 13:34
噓 DrGun : 非CUDA不可94教主前幾篇講der利益集團R researche 02/23 13:34
→ DrGun : r自己也買很多黃seafood der股票8 02/23 13:34
推 Severine : bert已經是古董了 02/23 13:34
推 JackChung : 更認真的人連SASS都下去寫了 02/23 13:36
→ JackChung : NVDA在vendor lock in 這邊做得非常好 02/23 13:37
推 aegis43210 : TPU之類的ASIC泛用性太低,不像GPGPU可以訓練多種模 02/23 13:38
→ aegis43210 : 型,雖然H100也加了不少ASIC,但泛用性仍是高很多, 02/23 13:38
→ aegis43210 : 尤其是訓練方面 02/23 13:38
→ JackChung : 各種 ML framework 的抽象化都是隔靴搔癢 02/23 13:38
→ JackChung : 看 Triton 在 OpenAI 加持下能不能起到一些變化 02/23 13:39
推 tomdavis : 寫扣仔跟manager不要為難researcher阿QQ 02/23 13:42
→ a9564208 : NVDA布局都幾年了,幾年前就聽到實驗室用N卡在跑 02/23 13:43
推 tomdavis : 你就去找researcher當面看他跑看結果一不一樣囉~ 02/23 13:46
→ tomdavis : 或是貴司應該考慮加錢找碰更多code的researcher來做 02/23 13:47
→ a9564208 : 前面累積了這麼多經驗,不然出事你負責? 02/23 13:47
噓 lise1017 : 你是指靠吹風的谷歌嗎?有時候有些巨頭只是沒參加 02/23 13:48
→ lise1017 : 考試 事實上一考下去跟初學者一樣 02/23 13:48
噓 DrGun : Researcher也在為自己der未來做打算8 CUDA目前94業 02/23 13:50
推 Harlequin727: Gool是怎樣 要倒了是不股價那麼難看 明明護城河深 02/23 13:50
→ DrGun : 界標準 尼們叫窩不用CUDA 窩去下一家der履歷怎麼寫 02/23 13:50
→ Harlequin727: 到不行 02/23 13:50
→ DrGun : ? 02/23 13:50
→ a9564208 : 這種事就跟乖乖一樣,綠色的放了沒事你偏要放黃色 02/23 13:53
→ a9564208 : ,出事你要扛嗎? 02/23 13:53
→ kimula01 : 這股價真的會被AI給炒上噴 02/23 14:03
推 hank830320 : NV是種信仰 02/23 14:03
推 tomdavis : https://i.imgur.com/5fkClG5.jpg 梗圖竟然也能用! 02/23 14:06
推 maykizuki : Ai=all in 02/23 14:13
推 donkilu : 你講的都是上層framework 怎麼在硬體上跑是另一回 02/23 14:13
→ donkilu : 事 02/23 14:13
→ donkilu : CUDA支援高階framework綽綽有餘 自研asic…你確定 02/23 14:16
→ donkilu : ? 02/23 14:16
→ donkilu : Compiler driver都要從頭開始寫 通常會缺東缺西 02/23 14:16
推 hidalgo22976: Bert是encoder好嗎...不一樣 02/23 14:24
→ hidalgo22976: 但你要說他跟gpt一樣,我也沒意見,確實是相同概念 02/23 14:26
→ hidalgo22976: 的東西 gpt本身沒啥價值 02/23 14:26
→ hidalgo22976: 至於bard跟chatgpt 確實是一樣的東西 02/23 14:26
推 hidalgo22976: gpt唯一的價值就是土豪了,還有講openai收集資料tra 02/23 14:28
→ hidalgo22976: in gpt ... 講什麼笑話 02/23 14:28
→ hidalgo22976: 會講這種的就是連gpt3怎麼train的都不知道,才會說 02/23 14:29
→ hidalgo22976: 出這種天大笑話 02/23 14:29
推 tomdavis : 美國公司 研究員可能只會用同一套件 其他的擺爛 02/23 14:43
→ tomdavis : 但如果自家東西真的能跑 還是推不了那也很奇怪 02/23 14:43
→ tomdavis : NLP近年要訓練肯定都要GPU了 用N社卡那綁定CUDNN 02/23 14:45
→ tomdavis : 你們自家framework能跑的話那底層應該是超大工程 02/23 14:47
推 Wuoo : 2465準備噴 02/23 14:54
噓 Kane : CUDA跟keras mxnet torch這些上層的framework是兩 02/23 15:37
→ Kane : 回事 你這是曝露出你們公司啥都不懂還要跟風炒一波 02/23 15:37