Re: [討論] 中研院繁中LLM被爆直接拿對岸的來套

: 中央研究院詞庫小組（CKIP） : 中研院資訊所、語言所於民國75年合作成立 : 前天釋出可以商用的繁中大型語言模型(LLM) : CKIP-Llama-2-7b : 以商用開源模型 Llama-2-7b 以及 Atom-7b 為基礎 : 再補強繁體中文的處理能力 : 參數量達70億 : 模型可應用於各種領域 : 包括文案生成、文學創作、問答系統、客服系統、語言翻譯、文字編修、華語教學等 : 但實際測試後 : https://i.imgur.com/phwhfcl.png : https://i.imgur.com/O1P6HpS.png : https://i.imgur.com/cMnCbI8.png : 測試網頁：https://reurl.cc/q0rbqn : 拿這種東西出來交作業 太扯了吧 : 根本就是簡體直接轉繁體而已！ : 中研院資訊所耶 拿這種軟體來騙 : 更新：被發現後 悄悄地撤下來了 : https://i.imgur.com/sy7rLgt.png 小弟待的公司，非學術單位， 可能是台灣硬體計算資源稍微豐富的公司。 公司投入在買GPU 應該近億了。 自己也研究了幾個月 fine-tune 方法。 不過，還是沒足夠能力與資源訓練正常的LLM。 主要卡在三方面： 1.資料面，會卡什麼？： 並不是像版友們說的：繁體中文語料過少， 這根本不是一開始會遇到的問題。 光是 Common Crawl 真的有人去看繁體中文的量有多大嗎？ 有人願意像Meta一樣去處理清洗資料後再去訓練嗎？ 光是處理資料，所需的硬體採購， 大概要到一億新台幣來建置機房。 這還是稍微能用而已。 繁體中文資料難蒐集根本是假議題。 你的公司，沒錢買設備，沒資源 不願意讓你投幾億成本處理清洗資料才是事實。 我只看過中研院與聯發科之前的Bloom-zh-3B論文。光是他們這點就卡住了。 資料只能用玩具級的做法來做。 到處砍，到處刪CC的資料。 而且該論文也說了，自己只是 fine-tune別人的Bloomz 模型，不是從新訓練。 嗯，光是模型大小，1B1或3B的，聯發科語中研院就"沒有能力"重新訓練了好嗎。 看了 只fine-tune LLaMA-2-7B這種等級的模型。 大概也很容易說明了，硬體經費根本不足。 這種經費會卡到的不是繁體語料不足， 而是根本沒機器或資源給你清洗處理資料。 2. 訓練模型會先卡什麼？ 目前，台灣任何一個單位，根本沒能力研發LLM模型架構。台智雲，中研院，或其他任何單位。 都是基於LLaMA2上去 fine-tune的。 所以模型都是 7B 13B 70B大小。 而是大概都是用QLORA或相關技術去 fine-tune的。這些都是open source直接去套而已， 完全沒有任何技術門檻。 (只有誰願意採購幾千萬硬體的門檻而已) 所有不拿大量通用資料，只 fine-tune少量資料 都有一個問題： 你可以over-fitting去嵌入所有你想要的模型輸出文字，但災難性遺忘所有通用知識。 同樣的，你可以控制模型永遠只輸出英文與繁體，只輸出台灣知識。但模型的通用性，絕對是差到不能用的。 所以台智雲，或中科院這種等級訓練出來的模型，通用型有待商確，可能問一些很基本的常識就掛了。 這不會先卡到中研院CKIP技術太差， (我是非常敬佩CKIP這幾年的努力的) 會先卡到的是： 是否願意投個幾十億建立基礎訓練平台而已。 如果沒看到一個像樣的訓練平台，千張 A100這種等級的。 短視到只願意fine-tune 輸出少數大家想看的輸出， 當然永遠災難性遺忘通用能力。 永遠沒有一個可商用，可通用的機會。 當然也可以用雲計算租GPU，但是費用也不便宜，沒丟個幾億都是不夠的。 國家要給中研院幾個億去玩LLM， 會先被輿論幹翻吧。 3.人才面 台灣並沒有很多人在真正訓練/微調LLM。 你去看各種AI研討會，或所謂都LLM專家，幾乎都是在吹自己的prompt如何試錯。 在吹自己怎麼用OpenAI的API。 其實人才的建立，最先卡的也不是沒錢。 中國人，一堆只有幾萬元台幣的消費級顯卡的人，都在fine-tune LLM了，其實買個6萬台幣的電競筆電也能做很多事情了。但台灣就是沒這種風氣。 在台灣各種專業研討會，做prompt trick的人，比傻傻的在處理資料，training/fine-tune模型的人，紅很多。人才與風氣走偏了。 能用 prompt 就能獲得大量經費，成為專家，誰願意研發training/fine-tune技術。 結論： 小弟是很看好中研院的能力，可惜整個台灣AI風氣，與商業玩法，技術再強的人，大概都難以發揮。 --
※ 批踢踢實業坊(ptt.cc), 來自: 42.72.54.199 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1696834412.A.CAF.html

推 luckyalbert: 數發部那兩百多億真的不知道在衝三小用的 10/09 14:59

推 rabbitu04: 都可以花十幾億弄個不能用的球場了 我們國家很有錢的 10/09 15:01

→ rabbitu04: 黨要不要而已 10/09 15:01

推 NDark: 推 10/09 15:11

→ qwas65166516: 不同預算直接比跟算營養午餐那套有啥差別，問題在 10/09 15:14

→ qwas65166516: 好多公司上層都在吹自家有微調大模型的能力，結果 10/09 15:14

→ qwas65166516: 給的機器少得可憐，再怎麼厲害的人也無能為力 10/09 15:14

推 qwas65166516: 如果能理解"給多少資源做出來就是多少能力"還好， 10/09 15:19

→ qwas65166516: 怕的是你做出來老闆叫你跟OpenAI的大模型比 10/09 15:19

推 drysor: 推～ 10/09 15:36

推 luckyalbert: 很多公司房營收獲利來源就跟鬼島政府一樣短視近利， 10/09 15:40

→ luckyalbert: 僅靠擁護某些人的利益卻想藉由搶/死他人來獲益，對這 10/09 15:40

→ luckyalbert: 類人而言能做的僅次於一樣的無能及可悲。這年頭各種 10/09 15:40

→ luckyalbert: 事情及衝突其實已經跟所有人告誡，從各面向觀之，只 10/09 15:40

→ luckyalbert: 想賺自己的那些終究會葬送在自己的手裡，並且把整體 10/09 15:40

→ luckyalbert: 環境弄成一攤死水 10/09 15:40

→ luckyalbert: 出張嘴短視近利靠混及騙來的不代表你多厲害，反而還 10/09 15:42

→ luckyalbert: 會有更多產業內外的人們，因你（這類人）在位而被害 10/09 15:42

→ luckyalbert: @抱歉SE鍵盤太小打錯字是 公司方* 10/09 15:43

→ luckyalbert: 那還不如不要無腦就跟著做下去更好 10/09 15:44

推 Csongs: 台灣公司一堆稱有ai單位,也沒做出什麼東西嗎 10/09 16:00

推 luckyalbert: 我原醫藥產業各式台外商政商及其各式職司就更不用提 10/09 16:02

→ luckyalbert: ，那種情況比科技業能有準則判定立馬有成效數據孰優 10/09 16:02

→ luckyalbert: 孰劣更明顯，而且動輒國際及國家資源獨寡占上兆耗費 10/09 16:02

→ luckyalbert: 而言資源偷拐搶騙比科技業跟軟工還誇張的可怕，目前 10/09 16:02

→ luckyalbert: 我原產業得志又得利的小人們佔多數，拿他們沒辦法而 10/09 16:02

→ luckyalbert: 且他們各式所為還不會被評判攻擊的這麼明顯，反過來 10/09 16:02

→ luckyalbert: 其他人還會被這些人評判，錯誤方變成對的那一方，對 10/09 16:02

→ luckyalbert: 的變成錯誤方還要被要求檢討自己來證明這些人沒問題 10/09 16:02

→ luckyalbert: ，更莫名奇妙，中研院現在那個生醫園區及我原產業那 10/09 16:02

→ luckyalbert: 些人們，以後挖台灣的錢更是會用比這還誇張的莫名奇 10/09 16:02

→ luckyalbert: 妙手腕，這模型看起來跟我原產業的人們相比真的小太 10/09 16:02

→ luckyalbert: 多 10/09 16:02

→ ttss4092: 台灣永遠只有第一波玩的到，後面要玩資本的永遠跟 10/09 16:06

→ ttss4092: 不上 10/09 16:06

推 luckyalbert: 資本跟國力蠻有關的，如果台灣自己又再內鬥內耗，這 10/09 16:20

→ luckyalbert: 塊輸別人（尤其是對比歐美而言，他們的國力本來就很 10/09 16:20

→ luckyalbert: 夠用）真的是正常 10/09 16:20

推 MoonCode: 10/09 16:49

推 drajan: 結論是人才很好 但沒錢？你知道數位發展部的年度預算有多 10/09 18:20

→ drajan: 少嗎？我國政府有的是錢 只是不是拿來投資用的而已 10/09 18:20

→ drajan: LLM也算是數位發展部的範疇吧？ 10/09 18:20

推 yiche: 協尋數發部… 10/09 19:15

推 d8888: 10/09 20:14

推 cobrasgo: 只覺得很悲哀 10/09 20:33

噓 tomdavis: 倒果為因了 就是卡住 所以只能往prompt發展 10/09 20:43

推 ouryouth: 推 10/09 20:44

噓 tomdavis: 消費級顯卡fine tune LLM? 你當LLM多小... 10/09 20:46

推 prag222: 現在平民老百姓要學的是如何應用AI.. 10/09 21:02

推 johnbill: 資料處理費時燒錢 老闆不喜歡 嘻嘻 10/09 21:12

→ milk830122: 有數發部這種頂級單位幹嘛搞研發 10/09 21:30

推 htang17: 1080Ti就可以fine tune Bert啊，樓上在噓啥 10/09 21:39

→ htang17: CKIP真的值得敬佩 10/09 21:40

→ htang17: 希望那些酸言酸語不要影響到研發人員的心情 10/09 21:41

推 NCUking: BERT 稱不上是 LLM 吧 10/09 21:50

推 NCUking: 消費級顯卡可以搞 LoRA 啊 10/09 21:52

推 fantasywater: 趨勢很明顯，學怎麼應用AI就好，以後AI底層架構會 10/09 21:56

→ fantasywater: 跟程式語言底層一樣都是米國的知識產權。 10/09 21:56

推 popeye0303: 抱歉 家裡失業6年 自稱理工醫文法商的精障最近燥期到 10/09 22:49

→ popeye0303: 了 10/09 22:49

→ popeye0303: https://bit.ly/3Q5LUxO 10/09 22:49

推 k798976869: 有200多億可以租啊 不想而已 10/09 22:52

推 dlshao: 沒人願意清資料政府不願意帶頭投資硬體 乖乖用對岸開源的 10/09 22:55

→ dlshao: 的別幻想自建LLM了啦 10/09 22:55

推 DaOppaiLoli: 台智雲那段我想提醒一下，一開始他們是用 BLOOM 176 10/09 22:58

→ DaOppaiLoli: B 下去訓練，當時（推測是二月開始訓練） QLoRA 即 10/09 22:58

→ DaOppaiLoli: 使還沒出來。雖然 BLOOM 架構與 Llama 架構差滿多的 10/09 22:58

→ DaOppaiLoli: ，但我想 AFS 訓練千億級參數量模型的能力應該還是 10/09 22:58

→ DaOppaiLoli: 有的。只是說台智雲這個系列的模型是閉源的，所以也 10/09 22:58

→ DaOppaiLoli: 不會被大家拿來檢視與挑戰就是了。 10/09 22:58

→ milk830122: 不用跟某人吵吧沒用 還有快去就醫 他在ptt各板被桶光 10/09 23:04

→ milk830122: 不知道現實會做出甚麼XD 10/09 23:04

→ DrTech: 台智雲前陣子發新聞稿，最新模型是用LLaMA 2+Qlora訓練的 10/09 23:44

→ DrTech: 。 10/09 23:44

→ DrTech: 另外，有人提到消費級顯卡無法fine-tune LLM，可以說為什 10/09 23:56

→ DrTech: 麼嗎？。實際上 4090，筆電16G，桌電24G，真的夠fine-tune 10/09 23:57

→ DrTech: 中研院這種等級(7B)的LLM 阿。 10/09 23:57

→ DrTech: 消費級顯卡，硬是要訓練成大家期待的輸出，或政府愛看的輸 10/09 23:59

→ DrTech: 出也沒什麼問題，只是通用性絕對不高而已。 10/09 23:59

推 DaOppaiLoli: 那個應該是指說他們推出了 Llama2 繁中版，「另外」 10/10 00:01

→ DaOppaiLoli: 還提供了 PEFT 訓練方法可供選擇，但是並沒有明確指 10/10 00:01

→ DaOppaiLoli: 出這些繁中版的模型是使用 LoRA 訓練的。但我有朋友 10/10 00:01

→ DaOppaiLoli: 用過 AFS Demo，當時 FFM 176B 也是 Full Fine-tuni 10/10 00:01

→ DaOppaiLoli: ng，感覺沒什麼道理參數量少了反而倒退嚕。不過他們 10/10 00:01

→ DaOppaiLoli: 是主打算力平台，模型的提供並不是真正的重點，只是 10/10 00:01

→ DaOppaiLoli: 讓客戶有比較多選擇而已。 10/10 00:01

→ DaOppaiLoli: 新聞稿參考 10/10 00:01

→ DaOppaiLoli: https://tinyurl.com/2wzxxyx9 10/10 00:01

推 sumsum: 天才IT大臣除了租辦公室到底都做惹啥ㄚ 10/10 00:06

推 alan5: 房價那麼貴公司是怎麼買機房放機器 10/10 00:19

推 luckyalbert: LoRA基本到連我這外行人都會xD 10/10 00:47

→ luckyalbert: 我在各板遇到的各式ID中有幾個神經病真的不知道誰家 10/10 00:51

→ luckyalbert: 養著的長期發瘋抹黑跟騷誹謗造謠貼標說謊人身攻擊站 10/10 00:51

→ luckyalbert: 方放任這些神經病在發瘋，真不知道這些小人們到底都 10/10 00:51

→ luckyalbert: 是誰家給錢養著的瘋子有病的貼別人有病，沒病的路人 10/10 00:51

→ luckyalbert: 正常平台國家學術資源使用者你我被洗成有病，噁爛到 10/10 00:51

→ luckyalbert: 炸 10/10 00:51

→ ccas: 其實在中研院說要自己弄的時候，大家就在說不可能了 10/10 05:24

→ ccas: 現在只是醜婦見家翁而已，沒有多少人真的期待那一點預算就作 10/10 05:25

→ ccas: 出來一套跟別人百倍、千倍預算相比的吧？ 10/10 05:25

推 genic: 天才IT 大臣加上幾百億的預算你跟我說沒有錢沒有人 10/10 08:43

推 tommytyc: 推 10/10 09:31

推 yuinami: 推 10/10 09:39

推 francej: 問題是真投了幾百億 幾千億 也賺不了錢 10/10 09:48

→ francej: 台灣還是專心做GPU硬體生產就好 10/10 09:49

→ francej: 與其把資源放在搞沒錢途的AI 還不如把錢投注在硬體架構 10/10 09:50

→ francej: 要說聯發科哪天能分杯羹Nvidia的市場 還比較能想像 10/10 09:53

推 Lhmstu: 把數發的200億移過來用不就好了？200億應該夠了吧 10/10 10:30

推 DellSale999: 這才是台灣的價值 10/10 11:02

→ GrayHS: 黨不喜歡有人說實話 10/10 11:05

推 w28103566: 先裝潢再說 10/10 11:08

推 WaterLengend: 有錢但是不分你啊 10/10 12:06

推 markbex: 推說明 AI基礎建設就是砸錢 政府有沒有決心去推很重要 10/10 12:11

推 jack529: 現在的政府不用想了吧，國家從上到下都在短視近利 10/10 12:32

→ k798976869: 不用幻想文組法律系當頭的政府有啥撈快錢之外的目標惹 10/10 16:24

→ k798976869: 啦 經濟部還想補助中小ic設計商先進製成總經費8億 是 10/10 16:24

→ k798976869: 要笑死人 老人只能玩蓋蚊子館撈錢啦 10/10 16:24

推 Belieeve: 推分析，另真的不管錢投在哪裡就是會有帳號冒出來罵翻， 10/10 16:48

→ Belieeve: 看推文就知道 10/10 16:48

推 markbex: 每次提到「政府」就有人來亂酸...好好討論不行嗎 10/10 19:03

→ milk830122: 好好面對現實不行嗎 為什麼會有人講政府又不是無中生 10/10 19:20

→ milk830122: 有 10/10 19:20

推 fallcolor: clean data需要億級硬體設備可以分享一下原因嗎 10/10 21:12

→ fallcolor: 是後處理的資料存儲問題嗎 10/10 21:12

推 alex780312: 在公司內很難說服主管像中國那樣做資料集和開源模型 10/10 22:13

→ alex780312: ，然後別人一推出新模型就開始瞎緊張，完全沒有長期 10/10 22:13

→ alex780312: 規劃的能力 10/10 22:13

推 opencat: 對岸有國產搜尋引擎或問答平台 比較容易累積資料 10/10 23:27

→ opencat: 台灣的玩法應該是不會重頭弄 只能外包請人做資料審查 10/10 23:31

推 cancelpc: 蛋塔一樣，外面紅啥，政府就跟著喊，然後補助一堆學院， 10/11 06:26

→ cancelpc: 大量產出紙上作業的人 10/11 06:26

→ greenx: 看xx部 台灣不缺你說的這點小錢 用在哪而已 10/11 06:40

推 neo5277: 這很台灣 10/11 07:45

推 ko363630: 推分析 鬼島有鬼島的玩法 10/11 10:21

推 sssyoyo: 200億拿去點麵線、裝潢、出國考察也不願意投資未來最重要 10/11 10:31

→ sssyoyo: 的AI，這就是鬼島玩法 10/11 10:31

推 IMBonjwa: 不同意樓上。原Po第二點就有提到 10/11 13:16

→ IMBonjwa: 是否跳進這個燒錢的軍備競賽而排擠其他項目，才是真的 10/11 13:19

→ IMBonjwa: 命題 10/11 13:19

推 elves: 所以有人說得出兩百多億具體端了什麼成果嗎 10/11 13:41

→ francej: 真的很難想像 台灣本土LLM 能賺到甚麼錢 10/11 14:36

→ francej: 對岸不會用 歐美日也不會想用 只能島內自己用 10/11 14:37

→ francej: 這樣講起來 200億拿去點麵線 至少能讓肚子吃飽 是還比較 10/11 14:38

→ francej: 實在 10/11 14:38

推 hoesi: 實在個雕，點麵線已經有現成的外送app，你做一樣定位的東 10/11 15:45

→ hoesi: 西幹嘛 10/11 15:45

推 ko363630: 點外送不是就有現成app了? 10/11 16:21

推 Mchord: 就是因為有現成的他們才想做啊XD 10/12 10:03

推 knme: 推推 之前碩班做相關研究 後來因硬體資源不足就乖乖去業界 10/12 12:39

→ knme: 學術單位做研究本來就是針對某環節進行優化改善而已 10/12 12:40

推 wayne0530: 同意，問題是真的有商業價值嗎？ 10/14 00:15

→ hillhsu: 一直扯數位部，到底是有多低x?? 10/17 18:04