伴隨著影像分辨率的提高，4K、6K、8K成為了今天制作和放映的常態(tài)。與此同時(shí)，那些老的影片，想要匹配到新的放映分辨率標(biāo)準(zhǔn)，也變得更加困難。

但還好，AI技術(shù)的發(fā)展，讓一切變得皆有可能。VideoGorillas研究人員使用人工智能技術(shù)，將大量的老片子重制到了4K分辨率。

一種名為Bigfoot super resolution的新型生產(chǎn)輔助AI技術(shù)，通過使用神經(jīng)網(wǎng)絡(luò)計(jì)算出低分辨率影片中缺失的像素，成功將電影從480p轉(zhuǎn)換成了4K。

經(jīng)典的影片，重置成高分辨后重新上映，這樣的技術(shù)能夠讓觀眾在一個(gè)全新的視覺體驗(yàn)中，重溫舊時(shí)的感動。

在傳統(tǒng)的影片重置流程中，大量的工作都需要人力完成，這即花錢又費(fèi)時(shí)。VideoGorillas公司開發(fā)的人工智能增強(qiáng)解決方案，能夠用更低的成本實(shí)現(xiàn)超出預(yù)期的分辨率視覺感受。

一種新的解決方案： Bigfoot Frame Compare

總部位于洛杉磯的 VideoGorillas，是一家結(jié)合了機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、視覺分析、對象識別和實(shí)時(shí)流媒體技術(shù)的先進(jìn)媒體技術(shù)開發(fā)商，這家公司與與好萊塢各大電影制片廠合作緊密。

VideoGorillas在2018年9月宣布，其研發(fā)的Bigfoot Frame Compare系統(tǒng)，將重新定義電影、電視和后期制作公司管理資產(chǎn)、整理、重新布置和保存項(xiàng)目的方式。

Bigfoot通過在一系列圖像中找到類似“興趣點(diǎn)”的共同點(diǎn)，來自動執(zhí)行手工勞動密集型的處理（將原始膠片幀與最終編輯的作品相匹配）和比較處理（將不同膠片剪切之間的獨(dú)特或共同幀進(jìn)行比較）。

2018年11月，VideoGorillas宣布Netflix公司將于2018年11月2日在影院和網(wǎng)上發(fā)布電影《風(fēng)的另一面》，這是由著名導(dǎo)演奧遜·威爾斯執(zhí)導(dǎo)的最后一部未完成的電影。

這部影片，使用了VideoGorillas公司的人工智能(AI)驅(qū)動的Bigfoot Frame Compare 框架對比技術(shù)。

每秒分析1200萬幀

《風(fēng)的另一面》對電影制作人和 VideoGorillas來說都是了一個(gè)挑戰(zhàn)，因?yàn)樗且豁?xiàng)混合了電影修復(fù)和全新介質(zhì)發(fā)行的工作。這部擁有40年歷史的影片，有100多個(gè)小時(shí)的素材。

制片人Filip Jan Rymsza說:“在完成《風(fēng)的另一面》的時(shí)候，我們面臨著一個(gè)非常重大的挑戰(zhàn)?！?/p>

“我們收集了不同來源的3.5小時(shí)的參考剪輯，我們必須把它與100小時(shí)的膠片掃描相匹配，包括16毫米、35毫米的底片和35毫米的正片。

傳統(tǒng)工作流程，助理剪輯需要對應(yīng)參考完成剪輯，但有些畫面會從16mm放大到35mm，或者放大并重新定位，或者折邊，或者從彩色底片上用黑白打印出來，這使得人的肉眼很難做好匹配。

如果沒有VideoGorilla的人工智能技術(shù)完成這些精確的匹配，我們的剪輯團(tuán)隊(duì)可能需要幾個(gè)月的時(shí)間才能完成，而VideoGorilla在兩周內(nèi)完成了這項(xiàng)艱巨的任務(wù)。

通過掃描《風(fēng)的另一面》的膠片片段，我們得到了900多萬幀。由于Bigfoot 最初是基于cpu的軟件，VideoGorillas又開發(fā)了一個(gè)實(shí)驗(yàn)性的gpu版本，這讓洛杉磯辦公室的一臺機(jī)器，能夠完成通常需要200-300臺服務(wù)器的工作。

在攝取了視頻兩天之后，GPU只花了三天時(shí)間來分析這段視頻，在峰值加載時(shí)， Bigfoot每秒要分析1200萬幀。

Bigfoot super resolution（分辨率提升系統(tǒng)）

現(xiàn)在，VideoGorillas有了另一項(xiàng)技術(shù)，它融合了基于NVIDIA CUDA-X和Studio Stack的人工智能技術(shù)。通過集成gpu加速的深度學(xué)習(xí)和計(jì)算機(jī)視覺，允許制作公司在重置影片時(shí)，獲得更高的視覺保真度。

這種技術(shù)通過使用神經(jīng)網(wǎng)絡(luò)來預(yù)測缺失的像素，從而將電影從480p轉(zhuǎn)換為4K，這些像素質(zhì)量高得令人難以置信，讓原始內(nèi)容幾乎與4K電影一樣出現(xiàn)。

“Bigfoot Super Resolution采用英偉達(dá)RTX技術(shù)，專注于解決提供目前傳統(tǒng)方法，無法實(shí)現(xiàn)的視頻質(zhì)量和操作效率提升。

“我們非常高興能將這個(gè)解決方案推向市場，并希望幫助我們的電影和電視合作伙伴，在他們的內(nèi)容庫中，找到重?fù)Q生機(jī)的影片”。

如何在重置影片的同時(shí)，保留藝術(shù)創(chuàng)作意圖？

有趣的是，AI在影片重置工作中，除了提高生成效率和減少時(shí)間成本以外，居然還能夠發(fā)揮出創(chuàng)造性的作用。

VideoGorillas的研究團(tuán)隊(duì)為每個(gè)項(xiàng)目訓(xùn)練了一個(gè)獨(dú)特的遞歸神經(jīng)網(wǎng)絡(luò)(RNN)，由NVIDIA gpu加速。機(jī)器會學(xué)習(xí)同一時(shí)代、同一類型、同一制作方法創(chuàng)作的作品的特點(diǎn)。然后保持了那個(gè)時(shí)代/流派的外觀和感覺，從而保留了藝術(shù)意圖。

“我們正在為基于人工智能技術(shù)的，電影和電視影像，創(chuàng)造一個(gè)新的視覺感受。我們訓(xùn)練AI去除各種干擾視覺的畫面元素，同時(shí)了解正在重置影片的時(shí)代、流派和媒介。利用這些AI技術(shù)，我們可以提高影片質(zhì)量，保持影片的原汁原味的視覺外觀和感受。

generative adversarial networ(GAN)系統(tǒng)用于去除低分辨率區(qū)域中不需要的噪聲和偽影，同時(shí)用新的圖像合成和升級來替代它們。

這些AI都是使用Pytorch在CUDA和cuDNN中訓(xùn)練，由于每部影片有數(shù)百萬張圖像，處理量非常大，所以VideoGorilla集成了DALI (NVIDIA Data Loading Library))來加快訓(xùn)練時(shí)間。

Nvidia RTX驅(qū)動的人工智能技術(shù)

想要實(shí)現(xiàn)這種由AI完成的視覺新水平，只能通過NVIDIA RTX。該RTX的混合精度和分布式工作流的性能比CPU提高了200倍。VideoGorillas用RTX2080和Nvidia Quadro為更大規(guī)模的項(xiàng)目培訓(xùn)超分辨率AI。

Nvidia框架能夠使 VideoGorilla將super-re超分辨率應(yīng)用于HDR，高比特深度視頻，以及高達(dá)8K分辨率，并實(shí)現(xiàn)更快的光流性能。

純粹使用CPU來計(jì)算，4K和8K視頻的超分辨率真的不可行，速度太慢了。VideoGorillas首席技術(shù)官亞歷克斯·朱可夫說：“Nvidia GPU確實(shí)是實(shí)現(xiàn)高分辨率、高圖像質(zhì)量的唯一選擇。”

在Prem解決方案中，他們還可以使用Nvidia Kubernetes將工作負(fù)載擴(kuò)展到云端，在本地?cái)?shù)據(jù)中心以及Amazon Web服務(wù)和Google云平臺中運(yùn)行。從而實(shí)現(xiàn)更加強(qiáng)大的運(yùn)算能力。

AI技術(shù)看似遙遠(yuǎn)，實(shí)際上已經(jīng)在影視行業(yè)，已經(jīng)得到了越來越多的應(yīng)用。

就拿所謂的AI分辨率增強(qiáng)來說，類似的技術(shù)在很多后期軟件中，也得到了應(yīng)用，比如達(dá)芬奇16神經(jīng)網(wǎng)絡(luò)引擎實(shí)現(xiàn)的Super Scale素材分辨率上變換，也實(shí)現(xiàn)的類似的效果。

所以，伴隨著這些科技公司，對于AI在影視領(lǐng)域的應(yīng)用探索，在以前看來很多不可能實(shí)現(xiàn)的事情，現(xiàn)在都變得明朗起來。

與此同時(shí)，技術(shù)的進(jìn)步也在為藝術(shù)的創(chuàng)作，帶來許多的新的可能性。