[閒聊] OpenAI訓練電腦看影片玩《Minecraft》

看板	C_Chat
作者	dogluckyno1 (lucky)
時間	2022-06-29 07:13:24
留言	3則留言 (1推 0噓 2→)

看板C_Chat

原文標題：OpenAI訓練電腦看影片玩《Minecraft》做鑽石鎬的速度竟比人類還快原文網址：https://game.udn.com/game/story/122089/6421693 遊戲角落溺水的海藻 https://uc.udn.com.tw/photo/2022/06/28/0/17820155.png

圖／OpenAI 微軟旗下 Mojang Studios 開發的工藝沙盒遊戲《Minecraft》，以幾乎沒有邊界限制的多生態域世界，讓玩家隨意與環境方塊互動、創作各種事物，2011 年發售持續更新各種內容，至今仍受到大家喜愛，但如今就連 AI（人工智慧）都學會在遊戲中建設自己的家園了。 https://uc.udn.com.tw/photo/2022/06/28/0/17820062.png

OpenAI 是一個非營利的人工智慧研究組織，由SpaceX 暨特斯拉執行長伊隆·馬斯克（ Elon Musk）於 2015 年創立，近日他們在官方 Twitter 上透露，在給 AI 看了約 7 萬小時（換算約 8 年）的 YouTube 影片後，AI 即能上手《Minecraft》。 https://uc.udn.com.tw/photo/2022/06/28/0/17820052.jpg

| We trained a neural network to competently play Minecraft by pre-training on | a large unlabeled video dataset of human Minecraft play and a small amount | of labeled contractor data. https://openai.com/blog/vpt/ （影片）https://twitter.com/OpenAI/status/1540032456559955968 另根據記錄在官方部落格的訓練過程，OpenAI 採用了一種叫影像預訓練（Video PreTraining: VPT）的技術，來教導 AI 遊玩《Minecraft》，電腦要學習的不只是影片的內容，還包括對應的鍵盤及滑鼠操作。 https://uc.udn.com.tw/photo/2022/06/28/0/17820053.jpg

接著他們訓練一個逆動力模組（inverse dynamics model）去預測影片中的每一個操作會造成什麼結果，然後讓 AI 根據資料建構一個基礎模型，並微調及學習新的動作。 https://uc.udn.com.tw/photo/2022/06/28/0/17820056.jpg

最終，這個模型在看了上萬小時的影片後，學會影片中的動作，如砍樹、用木材製作工作檯。這當然不是全部，模型也能做到像游泳、打獵、進食等較困難的操作，甚至還能做到「跳疊」利用跳躍的瞬間把方塊快速放置在腳下到達高處。 https://uc.udn.com.tw/photo/2022/06/28/0/17820051.jpg

其中砍樹、收集原木、將原木製作成木板，然後將木板製作成工作台的過程，AI 只花約 48 秒；這個過程需要一個精通《Minecraft》的人類大約 50 秒或 1,000 個連續的遊戲動作。 https://uc.udn.com.tw/photo/2022/06/28/0/17820054.jpg

AI 的能力也會隨著看影片的時間加長而增長，如製作能力的提升，從木頭、石頭發展到挖掘鑽石製作工具，就連建房子、搜索村莊也可以。 https://uc.udn.com.tw/photo/2022/06/28/0/17820108.jpg

研究人員為了激發 AI「強化學習」，會在成功完成困難的挑戰時給予獎勵，以促成超人類的遊戲表現，比如做出鑽石鎬，這是首度有電腦在《Minecraft》做出如此創舉，在 10 分鐘的遊玩過程中有 2.5％機率會這麼做，而人類必須花 20分鐘、24,000 次才能做到。玩遊戲已經不是人類的特權了。不僅是像《Minecraft》這樣的沙盒遊戲，也許未來我們還會看到更多 AI 遊戲應用，比如 2018 年 OpenAI 被訓練來對抗《Dota 2》並打爆職業玩家，抑或《Ready or Not》讓 AI 學會上廁所、欣賞畫作跟抽菸。 https://youtu.be/LVrpWrvHVNE