剛剛過去的除夕夜,各路機器人爭奇斗艷,從仿生陪伴到打拳舞劍,從洗衣服講笑話到盤核桃遞水瓶,中央廣播電視總臺馬年春晚讓人類看到了具身智能的無限可能,也讓全球觀眾看到了百家爭鳴的中國科創(chuàng)產(chǎn)業(yè)。多年來,當(dāng)春晚逐漸成為前沿科技與藝術(shù)美學(xué)融合創(chuàng)新的平臺,越來越多的人已經(jīng)開始期待從這方舞臺看到更多智與韻的完美結(jié)合。
![]()
細(xì)數(shù)起來,“活人感”十足的機器人只是馬年春晚眾多“科技狠活”的其中之一。中央廣播電視總臺編務(wù)會議成員姜文波表示,近年來總臺以“思想+藝術(shù)+技術(shù)”為主線,牢牢把握科技賦能文化傳播的時代機遇,春晚的視音頻質(zhì)量和全媒體融合傳播不斷提升,已成為媒體科技大舞臺。
今年,總臺除了在超高清、菁彩聲等傳統(tǒng)優(yōu)勢技術(shù)上繼續(xù)開拓創(chuàng)新,在節(jié)目創(chuàng)作方面更是練成了屬于自己的“獨家秘笈”——人工智能、跨屏聯(lián)動、虛實融合等被巧妙地搬進(jìn)演播廳、融入節(jié)目里。總臺技術(shù)局局長劉朝暉表示,利用AI大模型和云計算等技術(shù),馬年春晚在訓(xùn)練中融入大量中國風(fēng)語料,將國風(fēng)美學(xué)、真人實景和AR、XR充分融合,既展現(xiàn)中國AI的快速發(fā)展,又為觀眾打造出一臺科技感十足的視聽盛宴。
人工智能化意成真
當(dāng)人工智能的每一次迭代都會成為全社會熱議的話題,總臺春晚自然要記錄下AI發(fā)展的足跡。今年,生成式AI在春晚舞臺迎來大爆發(fā),最引人矚目的應(yīng)用就是幾乎一力承擔(dān)了歌詠創(chuàng)意秀《賀花神》的視覺制作,且畫質(zhì)高達(dá)4K,用最前沿的科技完成了一次對中華優(yōu)秀傳統(tǒng)文化的創(chuàng)意詮釋。
短短幾分鐘的時間里,楊玉環(huán)、王昭君、陶淵明、張騫等代表農(nóng)歷十二月令的司花之神輪番翩然而出,用屬于自己的故事為大家呈現(xiàn)了四季流轉(zhuǎn)、生生不息的中華思想文化。
![]()
十二種花開花月份不同、十二花神故事背景也不同,短時間內(nèi)完成十二重時空轉(zhuǎn)場難度不小——采用傳統(tǒng)綠幕摳像合成的CG制作耗時耗力,想讓節(jié)目“在演播廳內(nèi)完成”還需對演播室進(jìn)行三維建模;AR則更擅長在鏡頭前“貼片”,將視效覆蓋于真實場景之上。于是,創(chuàng)作團隊創(chuàng)新采用AI實景拓展技術(shù),讓演播廳里真正實現(xiàn)漫天繽紛。
![]()
雪地、巖石、樹木等均為AI制作
![]()
由AI制作的馬的毛發(fā)質(zhì)感順滑
AI實景拓展技術(shù),顧名思義就是以AI為手段對舞臺實景結(jié)構(gòu)進(jìn)行拓展,使之成為一個既能實現(xiàn)創(chuàng)作團隊想象、又可以實現(xiàn)與觀眾交互的動態(tài)空間。
舞臺上,無論是活靈活現(xiàn)的動物,還是飛花落雪、池塘大漠,甚至是在小朋友互動時才會盛開的杏花,都由AI制作而成,甚至運鏡軌跡都由AI模擬,可以說除了演員和觀眾,“所見皆AI”。
![]()
杏花交到小朋友手上的同時盛開,對于傳統(tǒng)CG制作的難度極高,但AI僅需一條指令
![]()
AI在學(xué)習(xí)真實運鏡后,根據(jù)運鏡軌跡生成與之匹配的視效,與實景舞臺完美融合一體
創(chuàng)作團隊依托總臺央視聽媒體大模型,以工作流的形式進(jìn)行內(nèi)容生成。比如在一個移動鏡頭中要完成小貓?zhí)S、杏花開花等動作,只需要對能夠控制動作、形象、風(fēng)格等不同模塊下達(dá)指令,然后將不同工作節(jié)點進(jìn)行串聯(lián),就可以形成一段完整的視頻了。
再比如荷花一節(jié)中,采用AI制作的場景相比其他特效包裝而言,融合度和真實感都會更好。因為AI可以讓荷花在屏幕中的任意位置精準(zhǔn)生長,同時在移動鏡頭中保證物理結(jié)構(gòu)和透視關(guān)系的一致性,真正達(dá)到人在景中、層次錯落有致的效果。
![]()
移動鏡頭下,亭子的透視關(guān)系始終保持正確
![]()
采用AI制作的荷花可以生長在觀眾前后。傳統(tǒng)AR只能將荷花置于觀眾前,造成遮擋
衣袂翻飛間,AI將人類腦海中的想象化為現(xiàn)實,不僅細(xì)節(jié)逼真、制作周期和成本更大幅降低。除了絕美的花神,《馭風(fēng)歌》一開場,AI便讓徐悲鴻《六駿圖》中栩栩如生的馬兒奔跑如飛;《快樂小馬》背景大屏幕上憨萌的小馬也來自AI……未來,生成式AI一定將會給春晚帶來更多電影級的精彩節(jié)目。
![]()
![]()
跨屏聯(lián)動如影隨形
“也都是追夢離家的孩童,行走在滿是年輪的旅程……”當(dāng)《人間共鳴》的旋律響起,舞臺上的演員向光而行,地屏上隨腳步擴散的漣漪讓觀眾看清他來時的路。這段人與光影跨屏聯(lián)動的“年輪足跡”,來自另一種AI技術(shù)的應(yīng)用——判定式AI。
演播廳內(nèi),一套高精度AI視覺追蹤系統(tǒng)在時刻識別追蹤演員佩戴的智能信標(biāo)裝置,通過采集演員位置和姿態(tài)數(shù)據(jù),與播控系統(tǒng)聯(lián)動,讓AI即時生成匹配的視覺反饋,讓演員與舞臺同頻共振。
![]()
除了判定演員在舞臺上的位置,這項技術(shù)還能判別物體在鏡頭中的位置,從而更精準(zhǔn)地完成節(jié)目的特效制作。在歌曲《媽媽有座電影院》中,隨著扮演媽媽的演員打開放映機,膠片帶緩緩轉(zhuǎn)動,媽媽的記憶便以光的形式“投映”到大屏幕上。這道光束由AR技術(shù)制作展現(xiàn),但光從哪里打出、又投向哪里,則需要判定式AI識別放映機這一節(jié)目道具的位置后給出指令。這樣,即使在動態(tài)鏡頭中,光束位置和軌跡依然可以保持精準(zhǔn),完美呈現(xiàn)節(jié)目意境。
![]()
同樣需要對節(jié)目道具進(jìn)行位置捕捉的,還有雜技節(jié)目《繪新春》。這個由奧地利與中國兩家雜技團攜手演繹、融合現(xiàn)代科技與傳統(tǒng)雜技的視覺表演,將眼花繚亂的動作化為行云流水的光影,在除夕夜繪就了一幅春俗意象圖。
節(jié)目中,西方捷克棒和中國空竹閃轉(zhuǎn)騰挪,它們的軌跡以不足0.5秒的延時出現(xiàn)在舞臺大屏幕上,并根據(jù)不同道具特點,以不同筆觸作畫。
![]()
以翻轉(zhuǎn)動作居多的捷克棒,在大屏幕上顯示的筆觸也以翻轉(zhuǎn)為主
![]()
走位更飄逸的空竹,顯示的筆觸多以點狀軌跡為主
那么,舞臺大屏幕上的光影是如何而來的呢?許多人以為這是提前錄制好的背景視效,由演員配合視頻完成演繹。其實恰恰相反:大屏幕上的光影軌跡是根據(jù)道具的實際位置生成的,而道具的位置則由紅外光定位識別——在捷克棒和空竹上,都安裝了紅外LED燈珠,持續(xù)發(fā)出人眼看不到的紅外光。
演播廳中布置的紅外攝像機則通過捕捉這些紅外光,同時以AI技術(shù)對紅外光定位區(qū)域進(jìn)行圖像視覺理解,分析光點的角度、距離變化,確定每一個LED燈珠位置,并實時計算出目標(biāo)道具的具體方位和移動軌跡,從而實現(xiàn)持續(xù)跟蹤。
無論是上下翻飛的捷克棒打造的波浪,還是輕巧靈動的空竹變幻的繡球,科技創(chuàng)新不僅讓人看到了科技本身,也讓更多人以全新方式,再次認(rèn)識更多的巔峰技藝。
![]()
![]()
虛實融合如夢似蝶
你還記得曾經(jīng)的那個人嗎?或許,你們只在夢里再次相遇。當(dāng)穿越了名為夢的那道門,TA依然在那里靜靜地等待。而夢醒之后,TA在哪里?似幻似真的歌曲《夢底》,正如莊周夢蝶,為大家講述了一個難以分清、或者說不想分清現(xiàn)實與夢境的愛情故事。
節(jié)目中,舞蹈演員在主舞臺翩然起舞。而每一道光門的背后又都是同一個她玉步輕隨,這樣的效果在一場直播節(jié)目中是怎樣做到的呢?答案就是首次在春晚舞臺應(yīng)用的超寫實數(shù)字人:通過70個4K攝像機對真人演員進(jìn)行360°全方位光場采集,形成可以完美復(fù)刻演員形象與肢體表演的高精度動態(tài)三維模型,再通過AR技術(shù)的包裝,就能讓演員和她的“數(shù)字分身”同屏共舞了。
![]()
除舞臺中央的歌唱和舞蹈演員為真人外,圖片兩側(cè)和遠(yuǎn)端位置的“演員”均為超寫實數(shù)字人
![]()
真人舞蹈演員(中)和她的“數(shù)字分身”(右)同屏共舞
超寫實數(shù)字人最顯著的兩個特點是制作周期短和成品效果真。特別是對于春晚這種時間緊、動作可能需要隨時調(diào)整的任務(wù)來說,超寫實數(shù)字人可以在幾天時間內(nèi)完成影像采集和建模,而效果也足以達(dá)到以假亂真。
![]()
根據(jù)真人演員制作的超寫實數(shù)字人在近距離觀看也十分逼真
不知道你注意到?jīng)]有,馬年春晚與以往的春晚還有一點顯著不同,而且并不在節(jié)目上,而是在倒計時環(huán)節(jié)。往年,春晚都會單獨切出表盤倒計時的畫面,而今年,春晚將倒計時的鐘表“搬進(jìn)”了演播廳——在AR技術(shù)的助力下,全球觀眾都可以和演播廳內(nèi)的演職人員和現(xiàn)場觀眾一起見證零點鐘聲的敲響。
![]()
《馬上有奇跡》中,奔騰嘶鳴的群馬;《吉量》中,56個民族的孩子們看《山海經(jīng)》中奔馳而來的神馬;《追影》中,飲馬岸邊的白馬倒影……其實,AR技術(shù)在春晚舞臺上的應(yīng)用已極為成熟,甚至可以達(dá)到XR效果。比如在《致愛組曲》中,嚴(yán)絲合縫的特效讓觀眾看不出舞臺大屏幕和兩側(cè)豎屏的位置。演員們仿若真正置身于華麗的殿堂,演奏大家耳熟能詳?shù)拿嬲嬲龑崿F(xiàn)了真假難辨的視覺效果。
![]()
![]()
![]()
![]()
通過視覺制作在演播廳內(nèi)打造更多變化的舞臺效果,XR技術(shù)起到了關(guān)鍵作用。今年,春晚在主舞臺正對面設(shè)計了一個XR舞臺,12米高、5米寬的立屏也為立體影像帶來更廣闊的延伸空間。《絲路古韻》開場的“石窟飛天”和《智造未來》中的“宇宙暢想”,都是依托XR舞臺進(jìn)行延展,不僅將以往需要提前制作短片插入節(jié)目才能實現(xiàn)的全景特效簡化為現(xiàn)場演繹,更為節(jié)目轉(zhuǎn)場提供了更為自然的過渡方式。
![]()
![]()
![]()
科技創(chuàng)新既非一蹴而就也非一枝獨秀。作為春節(jié)最有影響力的文化符號之一,總臺春晚呈現(xiàn)的科技創(chuàng)新應(yīng)用既為觀眾帶來了觀賞性極佳的文化盛宴,也為媒體行業(yè)乃至文化產(chǎn)業(yè)、科技產(chǎn)業(yè)的發(fā)展提供了可借鑒的經(jīng)驗。“技術(shù)賦能,是總臺近年來文藝節(jié)目持續(xù)出新出彩的一大秘訣。”總臺文藝節(jié)目中心主任張國飛表示。春晚,這頓科技感藝術(shù)味俱佳的“文化年夜飯”,讓我們來年繼續(xù)!
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.