[新聞] 成大團隊人工智慧技術發表3D版小貓巴克里

http://n.yam.com/Article/20220328426319 成大團隊人工智慧技術發表3D版小貓巴克里 大成報／于郁金 2022.03.28 21:25 【大成報/記者于郁金/臺南報導】國立成功大學今(28)日上午舉辦臺灣原創動畫《小貓巴 克里》3D版首映會，成大電機系特聘教授暨敏求智慧運算學院副院長楊家輝師生團隊現場 展示由人工智慧3D影片轉換系統的最新研發成果，「裸視3D技術不用戴眼鏡就能看立體電 影」，嶄新又舒適的觀影體驗，驚豔四座。 楊家輝表示，業界已發展出2D影片轉3D技術，但仍需大量人力切圖與修正才能達到流暢與 舒適自然3D效果；經團隊驗證，「基於人工智慧之3D影片轉換系統」已可做到95%自動化 2D影片轉換成3D，實務上只需要20分之1時間，大幅提升產量與效率。團隊對於景深估計 與補洞的技術持續發展，未來目標朝全人工智慧方向執行；此外，配合虛擬實境與擴增實 境應用，利用人工智慧技術，原來精緻的2D人、事、地、物影像，即可用來建構裸眼3D元 宇宙，加速元宇宙發展指日可待。 成大電資學院院長暨敏求智慧運算學院院長詹寶珠也是技術團隊的成員，負責景深部份。 詹寶珠表示，景深用人去做其實很耗時間，連續幾年研究團隊都在找如何產生景深，並讓 景深變成規格可以輸入電視，讓電視要播2D或3D都可以。 《小貓巴克里》3D版為首支由成大「人工智慧3D影片轉換系統」轉換3D動畫長片；試映會 現場，影片原創者邱立偉導演、國內裸眼3D螢幕製造廠商騰騏科技總經理潘群倫，以及國 內3D電影製作領導廠商兔將創意影業立體製作人蘇莞筑與洪揚絢技術總監等皆出席與會。 享譽國際的臺灣原創動畫電影《小貓巴克里》導演邱立偉致詞談到，電影從黑白到彩色2D 到3D，再到AR或VR，所有的發展都在提供觀眾更真實感受；「(成大)這個技術如果能夠透 過系統技術大量產出，觀眾可以接收到更多內容，會是一個非常有趣體驗」。 邱立偉透露，當時《小貓巴克里》的確有考慮過直接做成3D影片，但是後來發現造價實在 太高，只好放棄。「成大團隊技術成果讓我們嚇了一跳；楊老師技術團隊反而把平面變成 立體，影片中有些畫面我們沒有真正搭建3D模型，沒想到(人工智慧)技術讓平面的東西反 而呈現一個完全不同的風貌，等於變成另外一部電影，更有趣，更讓觀眾可以投入，讓( 電影)角色栩栩如生在眼前」。 傳統3D電影製作需要大量人力、時間以及設備成本，《小貓巴克里》3D版運用國立成功大 學團隊開發「基於人工智慧之3D影片轉換系統」，透過人工智慧類神經網路及深度學習技 術，大幅提昇影片2D轉3D的速度及精準度，節省大量時間與人力，亦可節省後製及檢查流 程，使整體成果更快、更準，3D效果更舒適。 「基於人工智慧之3D影片轉換系統」運用人工智慧來解決兩個關鍵問題，分別是像素3D資 訊(深度)生成及多視角影像合成，尤其裸眼3D影片需要多視角影像。 楊家輝進一步指出，現有影片都是屬於單視角拍攝2D影片，要精確估計3D資訊，傳統需要 設定許多推理條件來完成深度估測；設定推理規則時常有例外，使得推算出深度資訊有相 當大誤差；「多視角影像合成，一定會產生前景邊之空洞問題；傳統演算法多半是將背景 色彩做延伸來填補，因前景位移所產生空洞，這種方式在背景比較單調區域有不錯效果， 但只要有非水平物件或者紋理背景，將會產生錯誤的填補資訊，並且在遮蔽資訊過多情形 下就無法重建出原始物件」。 「基於人工智慧之3D影片轉換系統」利用類神經網路強大物件化特徵資訊，進而推算出單 視角深度資訊，在邊緣區域將會做較銳化設計，減少模糊的不連續深度問題，同時深度學 習架構可以減少輸入資訊視角數量，也能夠在填補資訊上做出更加合理答案。 除此之外，「基於人工智慧之3D影片轉換系統」利用可變形卷積方式，來對影像上面各點 資訊位移來做預測，並且利用柵狀捲積來對遮蔽區域資訊做計算，避免前景區域特徵混和 正確影像資訊。「對於影像連續性的問題，我們加入時序特徵計算，並且在時序上面也能 夠提供被遮蔽區域相關資訊」。 「基於人工智慧之3D影片轉換系統」不只在技術上有所突破，亦突破傳統思維，重新改造 影片轉換流程，設計出影片分段器。楊家輝團隊表示，每一幀畫面在進入深度生成系統前 ，會先被分類器分成不同種類片段；每段影片都會有較高相似性，而在這之中製作少量關 鍵深度；「利用關鍵深度來對系統進行訓練，系統便可以針對每段影片做出相對應深度估 測；相較於直接做單視角深度估測，比較不會產生模糊情況而且準確率相對高很多，也可 以做出相應深度客製化設計」。 2009年電影《阿凡達》商業上成功，讓電影製作公司趨之若鶩，紛紛投入3D電影製作，3D 影片蔚為風潮，3D影廳成為各電影院標準配備；當時，亦有人預估3D電視廣播時代亦將緊 接而來；然而，過去十幾年來3D電影產量比想像中少得多，3D電視廣播亦胎死腹中，其中 關鍵便是3D電影製作成本與觀賞舒適度。楊家輝表示，過去3D電影發展受阻主要是沒有內 容，未來運用人工智慧把2D影片大量轉成3D，希望促進臺灣影像內容軟實力。 小貓巴克里真的算是台灣動畫IP發展較好的了,幾年前的電影版票房也是有賺,雖然海外票 房佔大多數. --
※ 批踢踢實業坊(ptt.cc), 來自: 219.85.143.219 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1649222922.A.9E0.html

推 afking: 3D的優勢不就是降低成本人力嗎 04/06 13:31

推 lolix: 便宜的爛3D才會降低人力成本 04/06 13:33

推 SunnyBrian: 裸視3D技術，這個做起來不得了 04/06 13:34

推 w2776803: 3ds就有啊 04/06 14:05

推 jqp050502: 好奇成品實際觀看的樣子 04/06 16:50