隨著全球影視產(chǎn)業(yè)逐步走向工業(yè)化、規(guī)模化和產(chǎn)業(yè)化，我們陸續(xù)看到《阿麗塔：戰(zhàn)斗天使》、《盜夢(mèng)空間》、《流浪地球》、《阿凡達(dá)》、《復(fù)仇者聯(lián)盟》等科幻電影因震撼的視聽(tīng)感受、新穎的電影題材獲得票房、口碑雙收。

現(xiàn)今特效技術(shù)已被廣泛應(yīng)用于各類電影動(dòng)畫(huà)中，工業(yè)光魔、Weta 等世界頂級(jí)視覺(jué)特效公司及大型影視制作團(tuán)隊(duì)，都已嘗試使用計(jì)算機(jī)圖形圖像技術(shù)（CGI）輔助制作一些高呈現(xiàn)難度的數(shù)字特效。CGI 讓影視特效創(chuàng)作得到技術(shù)保障，讓有視野與高度的藝術(shù)創(chuàng)作可以盡情發(fā)揮，也讓各類本身具有新穎主題和宏大世界觀的影視作品或游戲的美學(xué)屬性得到更大程度的表達(dá)與傳遞。

「指環(huán)王 2：雙塔奇兵」最后圣盔谷之戰(zhàn)甘道夫率洛汗援軍沖下大斜坡與獸人士兵正面交鋒場(chǎng)面

數(shù)字特效的發(fā)展史可以看作是電影制作的技術(shù)發(fā)展史，在電影剛剛出現(xiàn)的那幾年，任何的視覺(jué)效果都是局限在相機(jī)內(nèi)完成的工作，例如替換鏡頭，或簡(jiǎn)單的幀分割技術(shù)。1896 年，法國(guó)著名魔術(shù)師及電影制片人、數(shù)字特效鼻祖、科幻電影先驅(qū)喬治·梅里埃偶然發(fā)明了一種電影特效技術(shù)——停機(jī)再拍，仿佛可以通過(guò)控制攝像機(jī)來(lái)操控并改造畫(huà)面中的「現(xiàn)實(shí)」。隨后其創(chuàng)造的兩部畫(huà)面光怪陸離、劇情近乎夢(mèng)幻的電影——「月球旅行記」與「奇幻旅程」，也作為科幻電影的坐標(biāo)原點(diǎn)，開(kāi)啟了人類對(duì)超現(xiàn)實(shí)主題電影與特效制作的無(wú)盡想象。

「月球旅行記」電影宣傳封面圖

進(jìn)入 50 年代后，隨著計(jì)算機(jī)技術(shù)的發(fā)展，特效的制作也開(kāi)始借助計(jì)算機(jī)圖形學(xué)的知識(shí)，用電腦來(lái)生成圖像（CGI），這種技術(shù)到 70 年代后逐漸成熟，出現(xiàn)了像《星球大戰(zhàn)》這樣的經(jīng)典特效電影。1985 年，迪士尼公司創(chuàng)造了第一個(gè)使用電腦繪制的動(dòng)畫(huà)角色——年輕的夏洛克·霍姆斯的彩色玻璃人。

20 年之后，《指環(huán)王》和《阿凡達(dá)》的成功掀起了一場(chǎng)技術(shù)革命，數(shù)字虛擬角色的制作在電影當(dāng)中開(kāi)始靠動(dòng)作捕捉技術(shù)來(lái)制作。隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，特效的制作開(kāi)始走向數(shù)字化，從傳統(tǒng)的機(jī)內(nèi)特效，特效化妝，光學(xué)洗印等物理特效手段發(fā)展至到現(xiàn)在的數(shù)字合成、數(shù)字繪景、流體動(dòng)力學(xué)等電腦生成圖像。同時(shí)，隨著數(shù)據(jù)分析、計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等數(shù)據(jù)智能技術(shù)的不斷應(yīng)用，提升了數(shù)字特效的自動(dòng)化處理和分析的水平，賦予了數(shù)字特效更多的智能化屬性，進(jìn)一步減輕了特效工作人員繁瑣的工作，降低了人力成本和時(shí)間成本。

《阿凡達(dá)》實(shí)地拍攝場(chǎng)面與虛擬攝像機(jī)實(shí)時(shí)預(yù)覽畫(huà)面對(duì)比

機(jī)器之心希望通過(guò)本報(bào)告《世界頂級(jí)電影特效公司都在讓 AI「接管」特效制作——數(shù)字特效中人工智能技術(shù)的應(yīng)用現(xiàn)狀及趨勢(shì)展望》，介紹現(xiàn)有機(jī)器學(xué)習(xí)算法在數(shù)字特效中的應(yīng)用現(xiàn)狀、未來(lái)技術(shù)發(fā)展及落地應(yīng)用趨勢(shì)，幫助做機(jī)器學(xué)習(xí)、影視制作等相關(guān)的特效制作人員、特效團(tuán)隊(duì)、視效總監(jiān)、電影導(dǎo)演，尋找機(jī)器學(xué)習(xí)技術(shù)應(yīng)用的可行性，以及為新型影視的制作策略和特效技術(shù)開(kāi)發(fā)提供參考。

全球影視產(chǎn)業(yè)逐步走向工業(yè)化、規(guī)?；彤a(chǎn)業(yè)化。數(shù)字特效制作高人力成本、低生產(chǎn)效率的問(wèn)題使得越來(lái)越多的特效工作者和特效技術(shù)開(kāi)發(fā)團(tuán)隊(duì)開(kāi)始重視人工智能技術(shù)的應(yīng)用。在不斷研究與實(shí)踐中發(fā)現(xiàn)，計(jì)算機(jī)圖形圖像技術(shù)的應(yīng)用可對(duì)視聽(tīng)素材進(jìn)行更高效率的剪輯、處理及合成。

現(xiàn)今工業(yè)光魔、Weta等世界頂級(jí)視覺(jué)特效公司及大型影視制作團(tuán)隊(duì)，都已開(kāi)始使用機(jī)器學(xué)習(xí)算法等人工智能技術(shù)輔助制作一些高呈現(xiàn)難度的數(shù)字特效，增加了影視作品的視覺(jué)表達(dá)方式及效果。但同時(shí)人工智能技術(shù)的應(yīng)用也有相當(dāng)大的局限性，例如特效算法模型參數(shù)需要大量實(shí)踐調(diào)試、人工智能虛擬角色行為無(wú)法預(yù)測(cè)、鏡頭捕捉到的動(dòng)作隨機(jī)性強(qiáng)造成特效動(dòng)作失真或僵硬等問(wèn)題。但隨著新興視聽(tīng)技術(shù)、數(shù)據(jù)科學(xué)和新一代信息技術(shù)的不斷發(fā)展及融合應(yīng)用，我們有理由相信數(shù)字特效產(chǎn)業(yè)將實(shí)現(xiàn)更快速的智能化發(fā)展。

作者| 申一帆、樊曉芳

文章來(lái)自中國(guó)影視視效社群會(huì)員，歡迎大家點(diǎn)擊閱讀原文，加入社群與全國(guó)視效從業(yè)者一起交流成長(zhǎng)！

一、數(shù)字特效定義及制作流程

1. 數(shù)字特效的基本概念

數(shù)字特效又稱數(shù)字特技，指利用計(jì)算機(jī)圖形圖像技術(shù)制作虛擬視頻效果的影視編輯技術(shù)，包括前期的電影構(gòu)圖、角色設(shè)計(jì)和制作中期的虛擬場(chǎng)景氣氛渲染以及后期處理等。數(shù)字特效被廣泛應(yīng)用于電影特效、動(dòng)畫(huà)制作、室內(nèi)設(shè)計(jì)、醫(yī)療影像建模、工業(yè)仿真等領(lǐng)域。

在電影生產(chǎn)過(guò)程中，常會(huì)遇到一些拍攝難度高、成本費(fèi)用、危險(xiǎn)性非常大以及難于在現(xiàn)實(shí)生活中拍攝到的鏡頭。在傳統(tǒng)的電影特技中，特效的制作更傾向于用特技攝影、微縮模型攝影、電子模型特技、合成特技、特技化妝等方式來(lái)解決這些問(wèn)題。在計(jì)算機(jī)介入到電影特技領(lǐng)域后，電影特技的后期制作能力大大增強(qiáng)，數(shù)字電影特效所包含的內(nèi)容也更加廣泛和深入。

2. 數(shù)字特效的制作流程

3.數(shù)字特效的分類

特效從影視制作的應(yīng)用過(guò)程和技法上可以分為兩部分，即前期拍攝使用的變速等特殊效果的特效和需要軟件進(jìn)行大量后期處理的后期特效。

二、數(shù)字特效產(chǎn)業(yè)及市場(chǎng)現(xiàn)狀

1.數(shù)字特效產(chǎn)業(yè)市場(chǎng)規(guī)模

數(shù)字特效常被用于各類動(dòng)畫(huà)、科幻主題影視作品中，也逐步被應(yīng)用于生成更多創(chuàng)意題材的短視頻內(nèi)容。2018年全球電影票房排名前十的影片中，特效片占比90%，總票房達(dá)100億。在短視頻領(lǐng)域，目前國(guó)內(nèi)主要短視頻平臺(tái)如快手、抖音、美拍，都新增了濾鏡特效等功能，降低用戶制作更具表現(xiàn)力及更多樣表現(xiàn)形式的內(nèi)容的門(mén)檻，激發(fā)用戶創(chuàng)作想象力。

2.數(shù)字特效產(chǎn)業(yè)現(xiàn)狀

特效行業(yè)具有勞動(dòng)力密集與資金密集的特點(diǎn)，人力、軟件、硬件成本分別占據(jù)60%、10%-20%、20%-30%。從國(guó)外的特效行業(yè)來(lái)看，美國(guó)特效行業(yè)受到全球化沖擊，行業(yè)準(zhǔn)入門(mén)檻變低，特效公司議價(jià)能力變?nèi)酢ｍn國(guó)特效行業(yè)在政府的扶持下強(qiáng)盛，走向國(guó)際化，向中國(guó)市場(chǎng)發(fā)展，但由于團(tuán)隊(duì)規(guī)模小，進(jìn)入美國(guó)市場(chǎng)較難。中國(guó)本土特效公司受益于中國(guó)影視產(chǎn)業(yè)進(jìn)入精品內(nèi)容驅(qū)動(dòng)增長(zhǎng)、內(nèi)容生產(chǎn)工業(yè)化的行業(yè)紅利開(kāi)始崛起，但與美國(guó)電影特效制作水平仍有差距。

3.人工智能在數(shù)字特效制作中的應(yīng)用優(yōu)勢(shì)

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法在動(dòng)畫(huà)建模、渲染、視聽(tīng)素材編輯合成等特效制作環(huán)節(jié)的應(yīng)用，大幅增加了自動(dòng)化操作比例，加速視覺(jué)特效制作周期，在節(jié)約人力物力的同時(shí)，增加特效藝術(shù)性。

三、人工智能技術(shù)在數(shù)字特效制作中的應(yīng)用

四、使用人工智能技術(shù)制作數(shù)字特效的代表案例

1.《復(fù)仇者聯(lián)盟3》使用新的機(jī)器學(xué)習(xí)算法來(lái)推進(jìn)人物角色面部表情捕捉過(guò)程：Digital Domain使用基于機(jī)器學(xué)習(xí)進(jìn)行面部捕捉的新方法，采集演員細(xì)致的面部掃描、跟蹤的數(shù)據(jù)，制作「滅霸」角色的表情，讓虛擬CG角色的表情特效可以更逼真反應(yīng)角色細(xì)微的心理變化。

2. Weta公司使用基于深度學(xué)習(xí)算法的工具推算阿麗塔面部肌肉的運(yùn)動(dòng)數(shù)據(jù)，繪制皮膚毛孔的細(xì)節(jié)：Weta在制作「阿麗塔」女主角CG形象時(shí)，使用了兩種基于深度學(xué)習(xí)的方法。一種是人臉跟蹤器使用深度學(xué)習(xí)，當(dāng)由于拍攝原因臉部一部分被遮擋時(shí)，輸入面部運(yùn)動(dòng)的信息作為訓(xùn)練數(shù)據(jù)，系統(tǒng)可以推算出一組可行的標(biāo)記點(diǎn)。另一種用于制作阿麗塔皮膚，通過(guò)訓(xùn)練數(shù)據(jù)產(chǎn)生正確尺寸和方向的皮膚和毛孔。

3.《至愛(ài)梵高》借助風(fēng)格遷移算法制作具備梵高作品繪畫(huà)要素畫(huà)面風(fēng)格的《梵高之眼》動(dòng)畫(huà)影片：電影制作首先對(duì)原視頻進(jìn)行單幀化處理，然后借助Caffe人工智能網(wǎng)絡(luò)及模型，利用風(fēng)格遷移算法進(jìn)行《梵高之眼》視頻幀的分類鏡頭進(jìn)行風(fēng)格遷移制作動(dòng)畫(huà)。

4.《指環(huán)王:護(hù)戒使者》 使用群體模擬系統(tǒng)制作大規(guī)模群體數(shù)字士兵及萬(wàn)人打斗場(chǎng)面：電影中大規(guī)模的群體數(shù)字士兵是由 Massive「虛擬環(huán)境群體模擬系統(tǒng)」制作出來(lái)的，可以實(shí)現(xiàn)數(shù)十萬(wàn)個(gè)數(shù)字人之間真實(shí)的互動(dòng)對(duì)抗，讓不同的個(gè)體在特征與動(dòng)作上產(chǎn)生千變?nèi)f化的差異。

五、人工智能技術(shù)在數(shù)字特效制作中應(yīng)用的局限性

1. 特效算法模型參數(shù)的確定需要大量實(shí)踐調(diào)試。

2. 使用神經(jīng)網(wǎng)絡(luò)的動(dòng)作捕捉技術(shù)生成的捕捉效果的隨機(jī)性強(qiáng)，生成的動(dòng)作效果失真或僵硬。

3. 專用特效算法開(kāi)發(fā)較難，對(duì)特效制作團(tuán)隊(duì)專業(yè)性要求較高。

4. 特效算法應(yīng)用對(duì)計(jì)算資源等環(huán)境因素要求較高。

5. 算法生成的虛擬角色的行為無(wú)法預(yù)測(cè)，可能與預(yù)設(shè)劇情相悖。

6. 神經(jīng)網(wǎng)絡(luò)模型的建立需要大量無(wú)偏差但又能代表系統(tǒng)特性的數(shù)據(jù)，如何生成合理數(shù)據(jù)是神經(jīng)網(wǎng)絡(luò)能否能準(zhǔn)確代表真實(shí)系統(tǒng)的一個(gè)重要決定因素；缺少特效素材數(shù)據(jù)集。

六、數(shù)字特效產(chǎn)業(yè)智能化發(fā)展與人工智能技術(shù)應(yīng)用趨勢(shì)

產(chǎn)業(yè)智能化發(fā)展

1. 新興視聽(tīng)技術(shù)與智能科學(xué)及新一代信息技術(shù)的融合應(yīng)用驅(qū)動(dòng)電影視覺(jué)表達(dá)多元化創(chuàng)新發(fā)展。

2. 電影大數(shù)據(jù)的應(yīng)用推動(dòng)電影攝制工藝和產(chǎn)業(yè)服務(wù)模式的優(yōu)化升級(jí)。

3. 使用云平臺(tái)進(jìn)行數(shù)字特效協(xié)同制作及管理，提高工作流程及人力資源利用率。

技術(shù)應(yīng)用

1. 機(jī)器學(xué)習(xí)算法應(yīng)用于動(dòng)作捕捉技術(shù) ，提高人體肌肉動(dòng)畫(huà)制作素材獲取效率及制作效果。

2. 使用機(jī)器學(xué)習(xí)算法驅(qū)動(dòng)的代理人系統(tǒng)，可制作上萬(wàn)人群的群集動(dòng)畫(huà)效果，單個(gè)任務(wù)動(dòng)作逼真化。

3. 使用機(jī)器學(xué)習(xí)和及計(jì)算機(jī)視覺(jué)工具進(jìn)行畫(huà)面信息自動(dòng)發(fā)提取及物體運(yùn)動(dòng)跟蹤。

特別鳴謝

江蘇原力電腦動(dòng)畫(huà)制作有限公司

中國(guó)傳媒大學(xué)南廣學(xué)院 講師 夏聘婷

*本文為「智周」系列報(bào)告「核心版」，相應(yīng)「深度版」的推出計(jì)劃將在后續(xù)公布，敬請(qǐng)大家關(guān)注。針對(duì)「電影、動(dòng)畫(huà)、短視頻中AI特效制作」這一主題，有哪些方向或主題，你希望在報(bào)告深度版中讀到更詳細(xì)的闡述與分析，歡迎留言，這將成為我們制作報(bào)告深度版的重要參考。

關(guān)于「智周」系列報(bào)告

機(jī)器之心「智周」人工智能技術(shù)應(yīng)用報(bào)告系列重點(diǎn)關(guān)注現(xiàn)有人工智能技術(shù)應(yīng)用較成熟且應(yīng)用潛力較大的正在進(jìn)行智慧升級(jí)的傳統(tǒng)行業(yè)及場(chǎng)景，逐行業(yè)、逐場(chǎng)景為產(chǎn)業(yè)用戶高效而不失深度地呈現(xiàn)不同人工智能技術(shù)的產(chǎn)業(yè)落地現(xiàn)狀、企業(yè)案例、技術(shù)應(yīng)用趨勢(shì)等。「智周」人工智能技術(shù)應(yīng)用報(bào)告系列包含核心版及深度版兩個(gè)版本：

核心版濃縮精華分析內(nèi)容至2頁(yè)內(nèi)，覆蓋重要數(shù)據(jù)、分析結(jié)論及案例簡(jiǎn)述，以供使用者高效系統(tǒng)地了解人工智能技術(shù)在自身所關(guān)注產(chǎn)業(yè)內(nèi)的潛在機(jī)會(huì)。

深度版在核心版的基礎(chǔ)上，包含詳盡的行業(yè)或場(chǎng)景痛點(diǎn)分析、技術(shù)解讀、落地案例詳解及資料附錄等，以供有深度研究需求的使用者進(jìn)行深入探究。

聲明：轉(zhuǎn)載此文是出于傳遞更多信息之目的。若有來(lái)源標(biāo)注錯(cuò)誤或侵犯了您的合法權(quán)益，請(qǐng)作者持權(quán)屬證明與本網(wǎng)聯(lián)系，我們將及時(shí)更正、刪除，謝謝。

文/機(jī)器之心產(chǎn)業(yè)研究 來(lái)源/影視工業(yè)網(wǎng)（ID：iloveCineHello）

原文：https://mp.weixin.qq.com/s/0tE_V7LoAduQigc9pQFLsQ