Re: [問卦] ChatGPT改變了什麼行為模式？

: ※ 引述《loveyou9527 (小弟)》之銘言： : : 大家好，最近我對AI技術非常感興趣，特別是OpenAI所開發的ChatGPT。聽說它在各 行? : : 業都發揮著重要作用，對許多人的生活產生了深遠影響。我想請問各位前輩，究竟Ch at : : T改變了哪些行為模式呢？ : : 希望大家能分享一些寶貴的經驗和看法，讓我對ChatGPT及其對社會行為模式的影響 有? : : 深入的了解。謝謝大家！ : : ----- : : Sent from JPTT on my Xiaomi 2201117SY. 阿肥外商碼農阿肥啦！認真回應，chatGPT其實整體的技術在學界甚至業界兩年前就不是 新聞了。 很多內容其實去年一堆Paper都在探討大模型的湧現能力，稍微深入一點的可以看我在Tec hJob之前的一些文章，不過這不代表openAI做的這個事情沒有技術含金量在裡面，光是偏 好模型就有很大的著墨點，有效性跟毒性在某種程度上是有衝突的，你想要模型能回答更 偏向有用一點，那他必然要減少拒絕回答的機率更高，但你想要他更安全，勢必要增加他 拒絕回答一些有毒性的問題，這是非常難取得平衡的問題。 還有這麼大的參數模型即使要微調也都不是很簡單的問題，很大的程度訓練中斷壞掉爆GP U記憶體錯誤都是很費時的，openAI這幾年跟Azure合作改善他們的系統錯誤率光是這樣就 是非常有價值的，上千張顯卡並聯能夠完全不會意外崩潰加上能夠一次迭代到最後一步， 更可怕的是他們能夠預測到最終scaling loss，這完全就是工藝的極致，沒有在這個領域 的不會知道大語言模型訓練可能會有一堆意外，Meta自己在訓練OPT-175B(可以理解為開 源版的GPT-3)光是重啟回到上一步就重啟了50次才完成，所以openAI可以標榜他們未來新 訓練的模型可以穩定到不行而且量產就知道這絕對是可怕的事情。 最後就是LLM其實在去年就已經做到多模態，包含微軟、谷歌等都正在做這件事情，就是 模型不只能理解語言更透過語言整合視覺模型、影片或是音頻模型，最後就是機械手臂。 可以看看谷歌的Palm-E https://youtu.be/Q_pH-dhU8QM 透過大語言模型驅動機械臂，可以讓模型理解透過語言模型進行控制指令，這才是LLM做 到多模態的真正威力，而且這在去年就已經是進行式，現在群眾感知到的只是學界、業界 的成果而已。 未來模型只會更加進步，這邊已經是落地的未來，接著還有很多研究像是Hinton的膠囊網 路其實已經有一些初步的成果模仿人類手臂感知物體的部件跟分解組合，更加具有生物邏 輯(生物智能其實更確切來說是多器官神經系統，人類更是神經系統演化的極致，很多近 期研究也發現人類可能不只有一個中央大腦主掌決策，甚至手腳可能都有自我思維）。 這也是人類進化的必然趨勢，我們正在第四次工業革命也就是智能革命的初階段，未來人 類我相信一定能完全理解智力的運作機制克隆自己實現數位永生體。 以上 --
※ 批踢踢實業坊(ptt.cc), 來自: 49.216.131.122 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1680593456.A.BBF.html