伴隨著影像分辨率的提高，4K、6K、8K成為了今天制作和放映的常態(tài)。與此同時，那些老的影片，想要匹配到新的放映分辨率標準，也變得更加困難。

但還好，AI技術的發(fā)展，讓一切變得皆有可能。VideoGorillas研究人員使用人工智能技術，將大量的老片子重制到了4K分辨率。

一種名為Bigfoot super resolution的新型生產(chǎn)輔助AI技術，通過使用神經(jīng)網(wǎng)絡計算出低分辨率影片中缺失的像素，成功將電影從480p轉(zhuǎn)換成了4K。

經(jīng)典的影片，重置成高分辨后重新上映，這樣的技術能夠讓觀眾在一個全新的視覺體驗中，重溫舊時的感動。

在傳統(tǒng)的影片重置流程中，大量的工作都需要人力完成，這即花錢又費時。VideoGorillas公司開發(fā)的人工智能增強解決方案，能夠用更低的成本實現(xiàn)超出預期的分辨率視覺感受。

一種新的解決方案： Bigfoot Frame Compare

總部位于洛杉磯的 VideoGorillas，是一家結(jié)合了機器學習、神經(jīng)網(wǎng)絡、視覺分析、對象識別和實時流媒體技術的先進媒體技術開發(fā)商，這家公司與與好萊塢各大電影制片廠合作緊密。

VideoGorillas在2018年9月宣布，其研發(fā)的Bigfoot Frame Compare系統(tǒng)，將重新定義電影、電視和后期制作公司管理資產(chǎn)、整理、重新布置和保存項目的方式。

Bigfoot通過在一系列圖像中找到類似“興趣點”的共同點，來自動執(zhí)行手工勞動密集型的處理（將原始膠片幀與最終編輯的作品相匹配）和比較處理（將不同膠片剪切之間的獨特或共同幀進行比較）。

2018年11月，VideoGorillas宣布Netflix公司將于2018年11月2日在影院和網(wǎng)上發(fā)布電影《風的另一面》，這是由著名導演奧遜·威爾斯執(zhí)導的最后一部未完成的電影。

這部影片，使用了VideoGorillas公司的人工智能(AI)驅(qū)動的Bigfoot Frame Compare 框架對比技術。

每秒分析1200萬幀

《風的另一面》對電影制作人和 VideoGorillas來說都是了一個挑戰(zhàn)，因為它是一項混合了電影修復和全新介質(zhì)發(fā)行的工作。這部擁有40年歷史的影片，有100多個小時的素材。

制片人Filip Jan Rymsza說:“在完成《風的另一面》的時候，我們面臨著一個非常重大的挑戰(zhàn)?！?/p>

“我們收集了不同來源的3.5小時的參考剪輯，我們必須把它與100小時的膠片掃描相匹配，包括16毫米、35毫米的底片和35毫米的正片。

傳統(tǒng)工作流程，助理剪輯需要對應參考完成剪輯，但有些畫面會從16mm放大到35mm，或者放大并重新定位，或者折邊，或者從彩色底片上用黑白打印出來，這使得人的肉眼很難做好匹配。

如果沒有VideoGorilla的人工智能技術完成這些精確的匹配，我們的剪輯團隊可能需要幾個月的時間才能完成，而VideoGorilla在兩周內(nèi)完成了這項艱巨的任務。

通過掃描《風的另一面》的膠片片段，我們得到了900多萬幀。由于Bigfoot 最初是基于cpu的軟件，VideoGorillas又開發(fā)了一個實驗性的gpu版本，這讓洛杉磯辦公室的一臺機器，能夠完成通常需要200-300臺服務器的工作。

在攝取了視頻兩天之后，GPU只花了三天時間來分析這段視頻，在峰值加載時， Bigfoot每秒要分析1200萬幀。

Bigfoot super resolution（分辨率提升系統(tǒng)）

現(xiàn)在，VideoGorillas有了另一項技術，它融合了基于NVIDIA CUDA-X和Studio Stack的人工智能技術。通過集成gpu加速的深度學習和計算機視覺，允許制作公司在重置影片時，獲得更高的視覺保真度。

這種技術通過使用神經(jīng)網(wǎng)絡來預測缺失的像素，從而將電影從480p轉(zhuǎn)換為4K，這些像素質(zhì)量高得令人難以置信，讓原始內(nèi)容幾乎與4K電影一樣出現(xiàn)。

“Bigfoot Super Resolution采用英偉達RTX技術，專注于解決提供目前傳統(tǒng)方法，無法實現(xiàn)的視頻質(zhì)量和操作效率提升。

“我們非常高興能將這個解決方案推向市場，并希望幫助我們的電影和電視合作伙伴，在他們的內(nèi)容庫中，找到重換生機的影片”。

如何在重置影片的同時，保留藝術創(chuàng)作意圖？

有趣的是，AI在影片重置工作中，除了提高生成效率和減少時間成本以外，居然還能夠發(fā)揮出創(chuàng)造性的作用。

VideoGorillas的研究團隊為每個項目訓練了一個獨特的遞歸神經(jīng)網(wǎng)絡(RNN)，由NVIDIA gpu加速。機器會學習同一時代、同一類型、同一制作方法創(chuàng)作的作品的特點。然后保持了那個時代/流派的外觀和感覺，從而保留了藝術意圖。

“我們正在為基于人工智能技術的，電影和電視影像，創(chuàng)造一個新的視覺感受。我們訓練AI去除各種干擾視覺的畫面元素，同時了解正在重置影片的時代、流派和媒介。利用這些AI技術，我們可以提高影片質(zhì)量，保持影片的原汁原味的視覺外觀和感受。

generative adversarial networ(GAN)系統(tǒng)用于去除低分辨率區(qū)域中不需要的噪聲和偽影，同時用新的圖像合成和升級來替代它們。

這些AI都是使用Pytorch在CUDA和cuDNN中訓練，由于每部影片有數(shù)百萬張圖像，處理量非常大，所以VideoGorilla集成了DALI (NVIDIA Data Loading Library))來加快訓練時間。

Nvidia RTX驅(qū)動的人工智能技術

想要實現(xiàn)這種由AI完成的視覺新水平，只能通過NVIDIA RTX。該RTX的混合精度和分布式工作流的性能比CPU提高了200倍。VideoGorillas用RTX2080和Nvidia Quadro為更大規(guī)模的項目培訓超分辨率AI。

Nvidia框架能夠使 VideoGorilla將super-re超分辨率應用于HDR，高比特深度視頻，以及高達8K分辨率，并實現(xiàn)更快的光流性能。

純粹使用CPU來計算，4K和8K視頻的超分辨率真的不可行，速度太慢了。VideoGorillas首席技術官亞歷克斯·朱可夫說：“Nvidia GPU確實是實現(xiàn)高分辨率、高圖像質(zhì)量的唯一選擇?！?/p>

在Prem解決方案中，他們還可以使用Nvidia Kubernetes將工作負載擴展到云端，在本地數(shù)據(jù)中心以及Amazon Web服務和Google云平臺中運行。從而實現(xiàn)更加強大的運算能力。

AI技術看似遙遠，實際上已經(jīng)在影視行業(yè)，已經(jīng)得到了越來越多的應用。

就拿所謂的AI分辨率增強來說，類似的技術在很多后期軟件中，也得到了應用，比如達芬奇16神經(jīng)網(wǎng)絡引擎實現(xiàn)的Super Scale素材分辨率上變換，也實現(xiàn)的類似的效果。

所以，伴隨著這些科技公司，對于AI在影視領域的應用探索，在以前看來很多不可能實現(xiàn)的事情，現(xiàn)在都變得明朗起來。

與此同時，技術的進步也在為藝術的創(chuàng)作，帶來許多的新的可能性。