Re: [討論] 群聯買不起三台nvdia dgx?

看板 Tech_Job
作者 lalacoa (lalacoa)
時間 2024-05-29 21:20:35
留言 48則留言 (16推 1噓 31→)

我也看了這個訪談 所以故事應該是.. 幾個工程師想在公司弄LLM fine tune去跟老闆要三台DGX 老闆一看跟公司業務八竿子打不著拒絕了 工程師拿自家SSD變成4090的VRAM自幹LLM 老闆知道後發現自家產品居然也能跟AI沾上邊,開始大量宣傳新發明 這故事是不是告訴我們...養閒人還是很重要的 (但不是普通的閒人) 夠閒才會激發創意 整天趕進度是不會有新發明的 : 來源: https://www.youtube.com/watch?v=mD6IZBnfJWU
: 標題:市值從零到一千億的創業過程!群聯電子如何成為台灣晶片設計傳奇?協助台灣 : 國際盃?專訪群聯電子創辦人潘健成董事長! : -------- : 訪談裡面提到群聯同事要求潘董購入三台NV : 總價六千萬的DGX來訓練公司自己用的LLM : 潘董直接回答最近市場不好 沒錢! : 台灣一線IC廠真的買不起嗎? : 還是潘董覺得沒那個價值呢? -- 不過潘董有提到說這個是用在公司或家庭內部的模型訓練,不是跟那些巨頭AI相比,這個 概念倒是挺前衛的
※ 批踢踢實業坊(ptt.cc), 來自: 185.213.82.243 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1716988837.A.35E.html

physicsdk : 這種故事真實性有多高XD05/29 21:26

nikolas : 規模大一點的公司都會有 沒做產品 純研發的部門05/29 21:26

jkl852 : 像gg的pathfinding阿 上班就是看機票跟股票05/29 21:46

havochuman : 這故事你會信?05/29 22:00

joefaq : 可以跟董事長說得上話的都是長官了05/29 22:09

a70327cow : 給潘蛇15分鐘05/29 22:23

jtsu5223 : gg PFD都在看機票和股票?笑死唬爛不打草稿05/29 22:42

jecint1707 : XD05/29 23:11

ashyang : NV是有錢人的AI,這個是窮人版AI05/30 00:40

iefast2004 : 給潘蛇跟皮衣刀客講15分鐘,群聯就起飛了05/30 01:53

qwe78971 : SSD 當vram 還跑LLM ? 一個月內就報廢了 來搞笑05/30 03:53

dildoe : 跑LLM當壓力測試新工具沒問題啦XD05/30 05:51

doranako : 改成ssd慢很多05/30 07:13

d58974 : 先不談ssd當vram的真實性啦,但的確要夠閒才會開始搞05/30 07:56

d58974 : 事,如果每天忙到連睡覺都沒時間,累都累死了搞事只是05/30 07:57

d58974 : 在搞自己而已05/30 07:57

flysonics : 很簡單的一個邏輯 假如是你自己當side proj作來玩05/30 08:55

flysonics : 的 沒資源時拿什麼理由開口跟你老闆要資源?05/30 08:55

flysonics : 除非是你跟你老闆有私交 或是這side proj本身就是05/30 08:55

flysonics : 你老闆job assignment的一部分 不然我想不太到這種05/30 08:55

flysonics : 情況下能跟老闆開口要資源的合理性 05/30 08:55

shikemurajy : 其實好像很多IC設計這樣幹ㄏ05/30 12:29

jeff85898 : 群聯發明的?確定不是別人研究成果拿來用05/30 13:03

jeff85898 : https://tinyurl.com/3jxf7tn605/30 13:03

tsairay : 他們手上ssd很多啊,拿一些來當消耗品還好啦05/30 13:19

wcre : 問題是誰當閒人啊,給我爽,副總下去做?05/30 15:37

baba1128 : 這個故事是真的,因為開口要的是他們現任技術長05/30 16:40

bizer : 台灣玩不起高階設備,AI都使用錢堆錢05/30 22:23

aria0520 : SSD當Vram跑LLM 阿不就只是用時間換取空間05/30 23:40

aria0520 : 當然還是可以train阿 阿你finetune完別人都出05/30 23:40

aria0520 : 下一代模型了 這"發明"是有什麼鳥用05/30 23:40

aria0520 : 阿你如果是拿來infer 你不offload到GPU本來就是05/30 23:41

aria0520 : 在RAM上 滿了就swap到SSD kv cache也放ssd05/30 23:42

aria0520 : 阿這不就標準操作 啥發明05/30 23:43

aria0520 : 老闆看起來是真的不懂才會想到要把這拿來吹05/30 23:43

aria0520 : 基層工程師大概也在苦笑 不就開源兜一兜結果被當寶05/30 23:44

physicsdk : 有時候老闆幹些工程師覺得很無聊的事 股東卻會高潮05/31 00:26

physicsdk : 然後股價就噴起來05/31 00:26

physicsdk : 蹭AI是現在的主流風向05/31 00:27

jeff85898 : 花個半年微調模型 效果好不好要半年後才知道 這觀念 05/31 01:22

jeff85898 : 的確是挺前衛的 05/31 01:22

leviathen : 前衛個屁,家裡用買個GPU啊,誰閒來沒事用SSD搞這個 05/31 03:11

leviathen : ,費時又麻煩 05/31 03:11

leviathen : 就概念是有人說可以徒手蓋房子不用工具,當然做得到 05/31 03:13

leviathen : ,但是意義何在? 05/31 03:13

leviathen : 單純是蹭AI的噱頭新聞罷了 05/31 03:14

joygo : 臉書 谷歌都在放出模型了,主要是要練公司內部資 05/31 20:06

joygo : 料吧 05/31 20:06

您可能感興趣