作者|李書航
這或許是融創(chuàng)文化近年來接受的最詳盡的一次采訪,也是他們對自身近幾個月的AIGC探索最明確的一次闡述。
【資料圖】
娛樂資本論了解到,融創(chuàng)文化今年在將AI融入到他們的多個業(yè)務領域中,包括動畫電影、視覺特效、網(wǎng)生內容、動漫IP、實景運營等。
近日,融創(chuàng)文化集團總裁孫喆一(Kevin),以及上述五大部門的高管集體亮相,在東直門的融創(chuàng)總部面對娛樂資本論進行了2個小時的獨家訪談。一幅全面探索AIGC的全景圖在這次訪談中徐徐展開。
我們將在下面的文章里,給讀者詳細介紹這次訪談的精彩內容。
作為娛樂資本論AIGC50獲獎單位之一,融創(chuàng)文化和其他十余家文娛公司一起,都是文娛行業(yè)AI轉型的代表。娛樂資本論將在接下來的“文娛行業(yè)AI轉型巡禮”系列報道中,帶來更多這方面的詳細信息,歡迎各位讀者持續(xù)關注。
阿貍是從互聯(lián)網(wǎng)初代論壇、表情包中走出的,廣受歡迎的卡通形象。融創(chuàng)文化旗下的夢之城,主要負責阿貍IP的運營和授權。該業(yè)務的負責人向娛樂資本論表示,AI在風格延展和人效優(yōu)化方面有巨大潛力。
“在IP創(chuàng)作上,AI常應用于風格延展,而不是應用于IP本身。因為IP形象對使用規(guī)范要求極高,如IP的特征屬性、頭身比例、特點服飾等,無法完全按標準生成。但在泛化需求的設計上,AI可以有更多介入,也會解放一定的設計產(chǎn)能。如創(chuàng)作前期,針對設計概念/靈感版的頭腦風暴、設計風格探索、生成素材等創(chuàng)意部分,AI能發(fā)揮很大作用?!?
這段時間,夢之城團隊使用Midjourney為設計風格提供靈感、生成樣機以及部分場景繪制。舉例說明:
“正常情況下如果需要設計一款產(chǎn)品,比如聽裝飲料,我需要在網(wǎng)上找樣機,或者建一個模型,然后確認設計風格,再做IP的應用設計,整個周期相對會比較長。但現(xiàn)在我可以用直接AI生成一個易拉罐作為樣機,再讓AI給我一些風格參考,根據(jù)這些定向風格生成不同風格的素材,然后做IP的應用?!?
這種方法可以很好放大設計師的產(chǎn)能?!癆I在設計方面,對我們的設計師是起到一個放大器的作用。例如,過去設計師在一個產(chǎn)品設計周期中只有精力延展兩至三個風格的應用,而現(xiàn)在一天內可以延展四五個,使設計師更有針對性的進行創(chuàng)意設計,以及作品的深度打磨。后續(xù)我們希望通過目前的AI應用,IP自身資產(chǎn)的積累,優(yōu)化工作流程,提高人效及產(chǎn)出。我們以相對積極的態(tài)度擁抱AI,使之成為與我們共同成長的設計工具,乃至未來的設計伙伴。”
除了阿貍這個王牌IP,融創(chuàng)動畫也在積極布局動畫行業(yè),開發(fā)重量級的精品動畫電影。融創(chuàng)文化動畫電影部制片人表示:
“我們正在進行的研發(fā)項目里,都在與攝影和編劇團隊積極討論如何采用AI技術。目前,我們認為有五個方面可以開始應用,或正在測試AIGC?!?
01
文字策劃和劇本
“我們對Notion AI的了解較為深入,因為它整合了ChatGPT的功能,同時處理較長的文本,可以多人協(xié)作,在線及時修改?!?通過使用Notion AI以及ChatGPT,他們能夠在3小時內完成簡單策劃案的制作,以前這通常需要一個專業(yè)團隊至少1-2周的時間。
02
美術設計
在前期美術設計階段,團隊綜合應用了Stable Diffusion與Midjourney去進行不同風格的概念探索,這種方式已深度運用在一部奇幻草原主題的新動畫長片中?!耙砸粋€具體角色為例,當通過劇本描述人物時,如果導演對人物的外貌不太清楚,我們可以使用AI來輔助設計。通過AI的輔助確定了一個參考方向,這大大加快了進程?!?
“以前,我們可能需要五六個人在兩個星期內出100種方案。但現(xiàn)在,導演只需要大約一個人,在一周或幾天內就可以找到一個方向?!?
他們會通過對prompt的細化和調整設計人物形象,制作地形、河流、草原等場景圖,供人類畫師參考。
場景設計 — 草原場景概念探索示例
場景設計 — 古風(大唐)場景概念探索示例
在中期美術設計階段,主要有兩個方面的應用:一是用AI做一些道具變體,加快迭代速度;二是用AI提供模型的材質模擬效果,可以更貼近模型造型同時也能生成更高清的材質效果圖。把這些應用嵌入到生產(chǎn)流程中,能優(yōu)化傳統(tǒng)美術資產(chǎn)的反饋流程,直接渲染出最接近成品的細節(jié)造型和材質效果。
“我們可以通過加上一些光影和深度感來增強畫面。如果我對大體效果滿意,但是對某些細節(jié)如材質和形狀不滿意,也會使用AI來創(chuàng)建精確的修改。”相比之前只能用模糊的語言描述心中想法,現(xiàn)在這種可視化渲染出各個修改方向的做法,無疑讓劇組的溝通更直觀迅捷。
道具設計 — 模型與材質指定示例
03
分鏡頭制作
AI工具能提高分鏡圖的完成度,補充光影和景深方向的信息。
分鏡提高完成度和豐富信息量示例
04
音樂和聲音的訓練
最近,“AI孫燕姿”背后的so-vits-svc技術也進入了動畫電影團隊的視野。替代人類“聲優(yōu)”有很多不同方面的好處,比如不用擔心檔期,人員狀態(tài),也不用擔心萬一“塌房”需要批量替換。
“我們也在使用聲音模型,主要用于前期配音,當導演需要特定的音色時,我們可以通過訓練模型來獲得所需的聲音?;蛘呖梢哉埼覀儓F隊中聲音好聽的同學,來配出一個音色?!?
05
資產(chǎn)管理
此外,動畫電影團隊在企業(yè)內部通信工具中嵌入一個機器人,提前訓練關于各個項目的資料,這樣就可以使用自然語言查詢各種數(shù)據(jù),包括項目進度等?!袄?,通過簡單的語言詢問項目的進度和狀態(tài),并獲得精確的回復,這樣可以大大提高效率,從而減少許多審批流程?!?
Base Media(倍視傳媒)是融創(chuàng)文化旗下的視覺特效和動畫工作室,是少數(shù)參與好萊塢大片視效制作的中國工作室之一。BASE視效總監(jiān)在計算機圖形領域深耕了近25年,見證了計算機行業(yè)的發(fā)展浪潮。
“我們一直在探索如何應用AI。首先,我們需要確定市場需求,以及如何更好地支持我們各部門的藝術家。”
“AI給行業(yè)帶來了巨大的變革,提高了視效內容的生產(chǎn)力。而我們主要關注的幾個大型的管線(Pipeline),在AI的加持下制作效率得到了進一步提升?!?
目前,BASE在工作中主要使用皮克斯開發(fā)的USD(Universal Scene Description)框架、開源工具Blender和虛幻引擎(Unreal Engine)等。他們將ChatGPT以及ControlNet融入已有工作流,幫助進行概念藝術創(chuàng)作。
以Blender為例,具體展示如何結合ChatGPT進行動畫人物的模型生成,包括AI渲染、AI分鏡處理、AI視覺預覽等。
“我們初步以生成風格化的故事版圖片作為參考圖,再用Stable Diffusion的圖生圖能力,創(chuàng)建出動態(tài)的故事板視頻。此外,我們也會用圖片資料訓練出專屬風格,從線稿推導出效果圖。過程中,我們能快速看到導演想要的效果。”
“我們現(xiàn)在會用AI來完成這些工作,無論是視頻還是靜態(tài)圖像。例如,如果導演表達他喜歡某個動作,并且我可以從視頻或電影中獲取它,我可以用它轉化為符合我們風格的版本。我們可以在非常短的時間內,選擇輸出版本并進行轉換?!?
工作流開發(fā)上,通過使用簡單的色塊貼圖,可以將AI生圖用于3D畫面渲染,最大化解決連續(xù)圖像被處理后跳躍、不連貫的難題。這個流程一旦測試成功,那就可以快速更換不同的地點、光線等信息,快速出片,支持藝術家快速驗證其創(chuàng)意。
“我們還使用ChatGPT激發(fā)創(chuàng)意?!睂hatGPT定位為一個專業(yè)的攝影師、后期處理師等,會把問題盡可能清晰地編寫為prompt,交給ChatGPT處理。通過加入相機移動、鏡頭語言等專業(yè)術語,也可以催化ChatGPT調用專業(yè)知識。
分享了一個實際的例子:“首先,需要有一個清晰的概念。然后,ChatGPT會根據(jù)關鍵信息生成內容,例如詢問城市中的哪些地點適合故事發(fā)展。然后,它會為內容提供很多場景,并找到相關的地點。根據(jù)這些信息,它會像劇本一樣撰寫文本,包括地點和發(fā)生在那里的動作。它還會明確鏡頭移動和時間點。然后,我會要求它為我提供相機移動和鏡頭語言。它會為每個地點和角色提供建議的鏡頭,并列出鏡頭?;旧希谶@種情況下,它會一直把劇本寫下去,哪怕時間跨度有100年?!?
此外,也會利用ChatGPT的編程能力,編寫B(tài)lender可以識別的程序腳本?!癈hatGPT編寫的代碼不僅錯誤率低,也可以在指出錯誤后進行自我修復。”
6月12日,在娛樂資本論聯(lián)合主辦的首屆上海文娛科創(chuàng)沙龍上,《流浪地球》導演郭帆表示,“AIGC讓我們的影視業(yè)和好萊塢重新站在了同一起跑線上,有彎道超車的可能?!钡拇_如此,從概念創(chuàng)作到3D渲染,AI的應用正在改變動畫制作的面貌。
作為一家中國后期的電影視覺特效和動畫公司,Base Media三次贏得艾美獎,具有世界聲譽。它最新嘗試的原創(chuàng)動畫電影《許愿神龍》也在Netflix上收獲好評。基本上可以說,BASE正在進行的AIGC嘗試代表了包括好萊塢在內,人類電影工業(yè)最前沿的技術認知。
去年年底開始,AIGC工具開始在融創(chuàng)文化剛立項的一部真人特攝劇《星能守衛(wèi)者》中發(fā)揮效用。該項目是一個以新能源為主題的真人劇,主要講的是少年們駕駛新能源驅動的戰(zhàn)甲與污染環(huán)境的怪獸作戰(zhàn)的故事。
“真人特攝是指類似奧特曼和假面騎士這樣的作品,是真人出演的超級英雄作品,通常穿著皮套。這類作品是我們公司IP長鏈運營戰(zhàn)略的一部分。”融創(chuàng)文化的網(wǎng)生內容負責人表示。
“AI在特定類型的短片創(chuàng)作上有很大的幫助,但在古裝劇的創(chuàng)作上還存在一些困難。”他指出,“我們之前稍微嘗試過,但現(xiàn)有的ChatGPT更像是一個‘玩具’。如果要寫中文劇本,如古裝劇,文化差異是一個障礙?!?
真人特攝劇的受眾多是6-10歲的兒童,對特效要求相對低。如何通過AI代替人物實拍,是融創(chuàng)文化發(fā)力的方向之一?!艾F(xiàn)在,AI生成人物方面,在骨骼準確性上表現(xiàn)良好,但在環(huán)境光影方面還有待提升?!?
“我們現(xiàn)在的項目是初步的輔助創(chuàng)作。我們使用一些工具來幫助藝術家繪制設計?!比宋镌O定上,一些機甲形象可以使用Midjourney的二次元風格插件niji快速生成圖片。對于這類“打怪獸”的系列影片,怪獸是某種程度上需要“量產(chǎn)”的,此時AI輔助創(chuàng)作就對設計師有了實際的助力。
“巨大英雄的制作會面臨高成本,特別是當使用特效。除非特效的成本降低,否則成本控制將非常困難?!崩肁I生成素材、進行虛擬拍攝,不僅可以節(jié)省成本,拓展創(chuàng)新內容,也可以豐富節(jié)目形式。“之前我們做太空場景的成本會很貴,現(xiàn)在降低了很多。通過AI技術,我們也可以讓特攝劇的主角和觀眾互動,做成互動電影的形式?!?
該負責人提到了一種新的業(yè)務模式:“因為實時渲染,以往需要提前制作完成的內容可以實時展示。這可能會引入一種新的業(yè)務模式,即直播,因為它可以實時進行演出和渲染。觀眾可以選擇英雄,可以選擇打怪獸,同時還有城市戰(zhàn)、彈幕游戲等玩法,這以前是無法實現(xiàn)的?!?
這樣的作品在也會陪伴一代小朋友的成長,未來的二十年里仍能體現(xiàn)出情懷的力量。網(wǎng)生內容團隊對未來充滿期待:“我們有長篇劇,并且也在考慮短劇。但我們更期待在科幻領域取得突破。”
融創(chuàng)文化旗下有眾多IP,而其中一個獨特的IP利用方式便是打造遍布全國的融創(chuàng)樂園、融創(chuàng)文化旅游城等主題公園,以及各類主題展覽。目前,《流浪地球》的IP實景正在開發(fā)中。
采訪中,融創(chuàng)文化的實景管理部負責人詳細介紹了實景運營領域的AI應用,涵蓋了項目創(chuàng)意、互動體驗、生產(chǎn)聯(lián)動和管理優(yōu)化等多個方面。
“AIGC別致和多樣的創(chuàng)意涌現(xiàn),可以幫助我們在實景項目規(guī)劃時,從概念故事動線、場景設計、到場景命名等多個環(huán)節(jié)起到‘四兩撥千斤’的作用。特別是,當訴求結合實體空間的場景,如是否封頂、建筑面積、一定要有的和不能有的元素、主要受眾等,在prompt中詳細列出時,得到的很多創(chuàng)意都令人驚艷?!?
“我們的實景應用與內容部門在創(chuàng)意過程中的應用非常相似。例如,我們的沉浸式體驗視頻的概念、故事、功能內容以及每個主題區(qū)的名稱,都可以通過AI的輔助來實現(xiàn),當然,這首先還是需要我們策劃人員的創(chuàng)意和指揮?!?
拿融創(chuàng)文化正在籌備的《流浪地球》實景項目來說,“太空電梯的轎廂是可乘坐的,并且周圍有巨幕投影的感應效果和戰(zhàn)斗畫面??罩杏邢瘛I航員號國際空間站’這樣的巨型裝置,內部還有許多細節(jié)是互動的?!?
“AI在數(shù)據(jù)分析,優(yōu)化景點管理等方面也有很大潛力?!睂嵕肮芾聿控撠熑藦娬{了AI在運營服務中的應用:“我們可以將AI技術用于智能推薦、導覽和自然語言對話,為游客提供更個性化的內容推薦。我們的實體項目會有線上平臺和空間,在線下體驗時,通過手機小程序的互動和掃描,本身就有AI感應,游客還可以與虛擬角色互動,有陪伴和導覽?!?
在AI加速催化開發(fā)進度的幫助下,《流浪地球》IP的線下實景游樂項目,將很快在國內落地,與影迷和游客見面。
說了這么多,融創(chuàng)文化是怎樣讓包括上述5個部門在內的全公司都動起來,投入到AIGC的結合與應用中的呢?讓我們來聽聽融創(chuàng)文化集團總裁孫喆一(Kevin)的介紹。
早在2020年,融創(chuàng)文化就注意到AI具備了為線稿上色等功能,覺察到公司的業(yè)務需求可以和AI融合。2021年的NFT熱潮,也讓他們注意到AI可以大批量生成創(chuàng)意,這不僅意味著降本增效,也為文娛行業(yè)的內容生產(chǎn)帶來了更多可能性。
今年2月,AIGC占領各大媒體頭條。此時融創(chuàng)文化發(fā)現(xiàn),AI的可用性超過了他們的預期。
“AIGC給我們造成了巨大的沖擊,我原本以為能慢慢探索AI,但它的發(fā)展速度超乎了想象,這也讓我們的企業(yè)面臨著巨大的危機。如果未來半年,尤其是動畫領域的AI技術變化更大,我們很容易被小玩家超越。這使我們需要改變思維方式,從對標傳統(tǒng)動畫制作公司的制作流程,轉向面對可能僅有幾十個人的團隊、千萬級別的投資,卻能創(chuàng)作出70-80分的產(chǎn)品的挑戰(zhàn)。競爭對手的體量更小也更多,挑戰(zhàn)更大?!?
現(xiàn)階段,融創(chuàng)文化在保持原有產(chǎn)品線穩(wěn)定運作的同時,也在將AI融入到工作流中。經(jīng)過幾個月的摸索,公司各個業(yè)務部門都交出了一份AIGC答卷,正如他們向娛樂資本論展示的那樣。
今年,融創(chuàng)文化在探索如何將AI技術應用到自身的多條業(yè)務線時,不僅是在各業(yè)務內部試水,也在跨業(yè)務開展研究及分享,更好地利用新技術。
孫喆一強調,“我們公司是在全面為AI的到來調整發(fā)展策略,而不是停留在表面上的擁抱?!?
他預計,視頻模態(tài)的AI新技術最早將在今年下半年出現(xiàn)。為此,公司也在嘗試制作全流程AI的影片?!氨M管現(xiàn)在AI發(fā)展還不成熟,但是我對AI在影視行業(yè)的應用,抱有極大的興趣和信心。之后,融創(chuàng)文化會有更多的作品,將AI制作融入流程。我們力求將4-5年出一部影片的制作周期,縮短一半。這樣能更好的避免被‘一個幾十人的小團隊只花千萬就做出一個70分水平的東西’的降維打擊。”
在娛樂資本論近期訪問的眾多文娛公司中,大家都在用自己的方式去做AIGC方向的轉型。有的公司在發(fā)出一連串公告之后,股價飆升。但更多公司并未真正做出調整,擁抱變化。而融創(chuàng)文化在向AI轉向這方面的步伐,則是相對邁得非常堅決的一家。
它們是否能在變革中占據(jù)先機?又會在AI技術的加持下,推出怎樣的作品?這令我們印象深刻,也充滿好奇地注視著他們未來的發(fā)展。