Re: [新聞] 女大生念資工 哥稱「工程師會被AI取

阿肥外商碼農阿肥啦！ 我覺得哥哥的回答蠻半吊子的，資工也不是只有寫程式而已，套一句阿肥大學教授的話， 程式碼要學拿一本書來翻一翻只要不是智障都寫得出來。資工真正培養的核心知識是計算 機系統工程、數學。 別忘了，chatGPT也是建立在複雜的系統工程上的，光是分散式神經網路要怎麼傳遞權重 更新推理都還是很新的系統工程領域，這邊舉一個例子，像是以現在的大語言模型來說， 裡面有很多MoE層，這些層為了要讓模型成為不同領域的專家，有些會需要在nod A激活某 些模塊上的神經節點，Node B又要 Active 另一群，由於系統當前是分散式的pipeline( 流水線)，Node B的中間結果梯度跟權重也要更新給Node A才能讓Node A往下跑，Node B 也會需要更新完後傳給Node A，這種情況超級容易發生race condition 導致系統鎖死。 這個是Google 的神級工程師 2022年的論文，人家在討論當我需要處理一個有一百甚至一 千台機器要做分散式運算，而我的系統不能有鎖死或是delay一秒以上的問題，這種如果 不是有前人研究chatGPT也答不出來這種專業問題的，更別提設計。 https://i.imgur.com/3ELoQUH.jpg 再來當前AI也是資工系研究的領域，如果你熟悉AI發展的歷程會發現到過往人工智慧有一 大段時間跟表徵符號是脫離不了關係的，像lambda、Boolean operators 等等，這些都是 現代程式語言的前身，從這邊過度到近二十年大家才發現人類的表徵符號已經走到極限依 然沒有辦法窮盡現實世界的規則，後來才是神經網路死灰復燃，可以說人工智慧跟計算機 科學本來就有千絲萬縷的聯繫。 不過當前GPT也不是說完全沒有問題，像是很多研究都發現GPT其實對於世界結構化的本質 沒有充分的理解，人類哪怕哺乳類中的貓狗蝙蝠對於世界的認識都比GPT高，但是GPT卻又 對某些領域表現比人類都還要好，這個當前還是無解。此外就是隨著模型訓練次數的疊代 ，GPT出現了翹翹板現象，每次finetune 都會有舊有領域的表現降低，而且也很難預測到 底每次會降低哪個領域的表現，這代表這樣的優化未來可能會有臨界值。 另外就是從GPT回歸模型的本質去驗證假設有一個error epsilon，隨著模型預測的長度提 升最終會導致一個小錯誤累積到錯誤無窮大，但人類跟動物自己其實是有辦法隨著時間序 列更新representation 的，這點當前還是難解問題，所以Yan Lecun才會提出世界模型。 這邊要說的東西還很多，還是保留一下以後再談，反正人工智慧的出現絕對不會是資工系 的末路，真的到末路那就是天網出現那全體人類都要害怕被取代才是。 --
※ 批踢踢實業坊(ptt.cc), 來自: 1.162.126.107 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1699529251.A.C89.html