在白天，失意上燒Danny是職場(chǎng)一位白領(lǐng)，朝八晚五。人迷他大學(xué)畢業(yè)后，短視就進(jìn)了老家南昌的失意上燒一家公司，一待就是職場(chǎng)七八年，如今30歲出頭，人迷住在公司大樓內(nèi)的短視出租屋，是失意上燒一位勤勤懇懇的UI設(shè)計(jì)師。

當(dāng)夜晚降臨，職場(chǎng)Danny回到獨(dú)居的人迷小屋，成為自己的短視造夢(mèng)師——用AI把自己各種神奇的夢(mèng)境變成短片。他是失意上燒藝術(shù)生，高中時(shí)一直夢(mèng)想去4A廣告公司做創(chuàng)意片，職場(chǎng)但工作后從事的人迷是沒(méi)有那么熱愛(ài)的UI設(shè)計(jì)師，在業(yè)余時(shí)間做電商產(chǎn)品創(chuàng)意帶貨短視頻，來(lái)靠近職業(yè)夢(mèng)想。

今年7月，看到一場(chǎng)AI短片的創(chuàng)作大賽通知后，Danny決定all in AIGC，“你不需要高昂的拍攝設(shè)備，不需要場(chǎng)地，不需要演員，甚至不需要配音，都可以用AI實(shí)現(xiàn)很多天馬行空的創(chuàng)意。”

Danny本來(lái)打算年底離開(kāi)南昌，去上海北京求職，但是AI讓他看到機(jī)會(huì)：“不用離開(kāi)自己的城市，也可以創(chuàng)作。”

自此，Danny每天晚上回到獨(dú)居的小房間，熬夜到凌晨?jī)扇c(diǎn)，用可靈AI做短片。幾秒鐘的鏡頭，從Midjourney生圖片再到可靈AI生視頻，常常要抽卡十幾、二十多次，直到滿意。

他以西游記的白骨精為題材，做了兩集AI短劇，為了調(diào)試不同鏡頭中白骨精的發(fā)型、頭冠、衣服的統(tǒng)一性，每張圖片都要重繪幾十次，甚至上百次，“非常大的工作量，快做崩潰了。”

AI生成一組圖片/視頻的過(guò)程中，每個(gè)圖片/視頻的效果都不同，有些會(huì)變形扭曲，或者動(dòng)作、表情和預(yù)期的不一致。創(chuàng)作者們只有不斷調(diào)整提示詞，生成多次，在一組圖片/視頻中挑選效果合適的，這個(gè)過(guò)程被稱(chēng)為“抽卡”。

為了制作白骨精的短片，Danny抽卡一共花了五六千元。Danny對(duì)畫(huà)面細(xì)節(jié)要求高，花費(fèi)也比其他創(chuàng)作者高，別人可能抽卡幾遍，但他要幾十遍，找到最滿意的版本。他用自己的工資來(lái)支撐制作費(fèi)用，“賭的成分很大，如果流量不好，就相當(dāng)于打水漂了。”

《白骨精前傳》截圖。圖片來(lái)源：受訪者提供 

后來(lái)Danny用名為“怪物集”的賬號(hào)，發(fā)布了《白骨精前傳》短片，最后在快手和抖音的播放量一共近2000萬(wàn)，他在快手可靈的AI短劇大賽中獲得一等獎(jiǎng)，拿到了5萬(wàn)元獎(jiǎng)金，“我終于被大家看到了。”Danny說(shuō)。

AI視頻作為內(nèi)容形態(tài)的“新物種”，來(lái)勢(shì)洶洶。各家大模型廠商和互聯(lián)網(wǎng)大廠紛紛發(fā)力AI視頻生成。

今年8月，昆侖萬(wàn)維昆侖萬(wàn)維推出AI短劇平臺(tái)SkyReels。9月，字節(jié)跳動(dòng)發(fā)布了豆包視頻生成-PixelDance、豆包視頻生成-Seaweed兩款大模型。到了11月，騰訊混元也開(kāi)始內(nèi)測(cè)視頻生成模型，又在12月把視頻模型開(kāi)源。

快手在9月上線了可靈大模型的1.5版本，根據(jù)快手2024 Q3財(cái)報(bào)，可靈AI的月活躍用戶(hù)在9月超過(guò)了150萬(wàn)。

如何燒錢(qián)，又如何省錢(qián)

談起AI視頻的制作，創(chuàng)作者們紛紛感嘆燒錢(qián)，但燒錢(qián)也要沖，因?yàn)殚L(zhǎng)遠(yuǎn)收益大，AI視頻是他們的人生“第二增長(zhǎng)曲線”和“第二春”。AI視頻創(chuàng)作者們，大多是副業(yè)做AI，主業(yè)分布在各行各業(yè)，如設(shè)計(jì)師、游戲工程師、廣告、電影導(dǎo)演、VR從業(yè)者等等。

對(duì)UI設(shè)計(jì)師Danny來(lái)說(shuō)，AI圓了他的廣告創(chuàng)意的夢(mèng)。

對(duì)主業(yè)從事VR的葛老板來(lái)說(shuō)，AI是事業(yè)的轉(zhuǎn)機(jī)。今年40歲的葛老板在十年前從一家視頻網(wǎng)站辭職，后來(lái)與人搭伙做VR公司，做了十年，經(jīng)歷了VR行業(yè)的潮漲潮落，“還在苦苦支撐”，又在當(dāng)下發(fā)力AI視頻。

“AI的生意比VR好落地很多。”相比于VR內(nèi)容需要Apple Vision Pro、XR眼鏡等硬件終端作為載體，AI視頻在手機(jī)上就可以大范圍傳播。

葛老板的AI動(dòng)畫(huà)短劇《胡相公》獲得快手可靈AI短劇大賽的最佳創(chuàng)意獎(jiǎng)，獎(jiǎng)金兩萬(wàn)。他的AI視頻作品也給他帶來(lái)了一些影視劇制作和AI文旅宣傳片的商單。

AI視頻的燒錢(qián)，都圍繞一個(gè)核心：在AI生成的不確定內(nèi)容中，為了保持人物角色的一致性和故事連貫，要不斷抽卡。

可靈在10月底開(kāi)始內(nèi)測(cè)人臉模型，用戶(hù)上傳一些關(guān)于同一人物的動(dòng)作/表情視頻，每段視頻10-15s左右，就能訓(xùn)練出這個(gè)人物的數(shù)字人，之后就可以生成這個(gè)數(shù)字人在不同角度、不同景別的視頻，而不會(huì)發(fā)生人物的形變。

生成這樣一個(gè)人物模型，需要2000點(diǎn)數(shù)左右（給超級(jí)創(chuàng)作者打完折后需要1000點(diǎn)數(shù)，約合人民幣100元），每次從人物模型生成一段視頻，需要消耗35點(diǎn)數(shù)左右（約合人民幣3元多）。

AI視頻創(chuàng)作者葛老板在使用可靈的人臉模型后發(fā)現(xiàn)：“如果是簡(jiǎn)單的表情，比如微笑，用眼神看你一眼，是可以的。大笑、哭泣以及過(guò)于細(xì)膩的表情演繹，就會(huì)比較吃力，表情容易不自然，可能要多次抽卡才能效果滿意。”

Danny表示，目前業(yè)內(nèi)常用的Lora訓(xùn)練模型，可以大致解決人臉長(zhǎng)相上的一致性，但對(duì)于更多細(xì)節(jié)例如發(fā)型、發(fā)飾、妝容、服裝造型等，還無(wú)法完美還原。例如，Danny的《白骨精前傳》中，白骨精頭頂上銀色金屬的發(fā)冠，用AI生成圖片后常常形態(tài)、大小不一致，“幾乎每張圖片都需要進(jìn)行幾十次甚至上百次的局部重繪。”

《白骨精前傳》AI短劇截圖，創(chuàng)作者Danny幾乎每張圖片都要幾十次上百次重繪。圖片來(lái)源：受訪者提供 

“一段5秒鐘的片段，常常要抽十幾二十次，花一兩百塊錢(qián)。要做兩分鐘的視頻，就很費(fèi)錢(qián)。我會(huì)執(zhí)著一些細(xì)節(jié)，花費(fèi)比別人高一些。”Danny 表示當(dāng)時(shí)做白骨精短片花了五六千塊，都用自己工資支撐。

雖然抽卡很燒錢(qián)，但是國(guó)產(chǎn)視頻模型相比于國(guó)外模型，已經(jīng)把價(jià)格打下來(lái)很多。

對(duì)于非會(huì)員，國(guó)產(chǎn)視頻模型如可靈、即夢(mèng)給用戶(hù)每天贈(zèng)送登錄積分，有一定的免費(fèi)生成視頻的額度。

在基礎(chǔ)包月會(huì)員價(jià)條件下，用提示詞文生視頻，生成一個(gè)5秒片段，Runway需要約1美元，Pika需要約0.25美元，即夢(mèng)需要約0.4美元（約3元人民幣），而可靈只要約0.1美元（約0.9元人民幣）。在卷價(jià)格方面，可靈AI已經(jīng)走在前面。

雖然AI視頻要抽卡燒錢(qián)，但相比于傳統(tǒng)影視制作，AI視頻的性?xún)r(jià)比到底如何？

對(duì)于傳統(tǒng)電影行業(yè)出身的青年導(dǎo)演朱智立來(lái)說(shuō)，AI影像相比于電影實(shí)拍，已經(jīng)大大降本。

朱智立的AI短片《新桃花源記》入選了“工業(yè)強(qiáng)國(guó)·工業(yè)與科幻影像展”，講述了一位宇航員為地球?qū)ふ倚录覉@的故事，影片海報(bào)的畫(huà)面是一位宇航員走向桃花繽紛的山洞，原圖是用文生圖模型Midjourney制作的，片中鏡頭是再用AI工具圖轉(zhuǎn)視頻。“（如果是電影實(shí)拍），要呈現(xiàn)這樣質(zhì)感的洞，還要有桃花，肯定要制景。還需要特別大功率的燈，以及一個(gè)非常好的燈光指導(dǎo)，才能打出這種有層次的光效。如果實(shí)景找不到這樣的洞，就需要綠幕加特效或虛擬拍攝，成本比AI生成要高得多。”

朱智立的AI短片《新桃花源記》 海報(bào)，用AI工具做出堪比電影實(shí)拍的效果。圖片來(lái)源：受訪者提供

影片結(jié)尾使用的音樂(lè)是用音樂(lè)生成模型Suno制作，朱智立最開(kāi)始以為AI音樂(lè)會(huì)非常機(jī)械，沒(méi)想到AI生成的配樂(lè)展現(xiàn)出非常復(fù)雜的情感，“有一段是十分糾結(jié)的旋律，完全能夠體現(xiàn)出這個(gè)人物最后離開(kāi)桃花星時(shí)，居民告訴他‘不足為外人道也’，但他又想把這個(gè)地方公之于眾的復(fù)雜心理狀態(tài)。”

令朱智立驚訝的是，AI不僅能很精微地表達(dá)出他的創(chuàng)意，還會(huì)自己產(chǎn)生新的創(chuàng)意，“AI還會(huì)自己加戲。”比如，他用圖生視頻生成一個(gè)鏡頭，表現(xiàn)有一群外星居民圍住宇航員，宇航員跟外星居民講自己是從地球來(lái)的。結(jié)果AI不僅生成了這個(gè)畫(huà)面，還充當(dāng)了半個(gè)導(dǎo)演，加了戲——有個(gè)外星居民竟然自己拿出手機(jī)拍宇航員，然后宇航員講完后還跟外星居民里的一個(gè)小朋友擊掌，這些都是意料之外的。“AI很聰明，會(huì)幫你加一些創(chuàng)意，至于適不適合，你可以自己選擇。”

AI短片《新桃花源記》中的鏡頭，AI視頻模型自己“加戲”。圖片來(lái)源：受訪者提供

狂奔的技術(shù)，如何影響敘事

AI視頻生成模型們，在技術(shù)迭代的路上，一路狂奔。

針對(duì)人物一致性的痛點(diǎn)，各家紛紛出招：

10月底，可靈1.5版本開(kāi)始內(nèi)測(cè)人臉模型。

11月，生數(shù)科技Vidu 1.5推出了多主體一致性功能，依靠通用模型能力的提升，而非業(yè)界常用的LoRA 微調(diào)方案，宣稱(chēng)用三張圖就能實(shí)現(xiàn)主體在不同場(chǎng)景下的一致性。

Runway也在10月底上線了Act-One功能，在從真人表情遷移到AI人物表情時(shí)，原始圖像的外觀特征得以保留，表情變化不會(huì)讓人臉形變。

不斷迭代的技術(shù)，也在影響創(chuàng)作者們的敘事方式。

每個(gè)創(chuàng)作者都有自己保持人物一致性的方法。一個(gè)討巧的方法是，從一開(kāi)始的角色形象設(shè)計(jì)上，就避開(kāi)細(xì)節(jié)復(fù)雜的形象，而選擇形狀簡(jiǎn)潔的角色形象。例如Sora在一個(gè)demo片段中展現(xiàn)的氣球人，頭頂一個(gè)氣球，即使發(fā)生些許形變，觀眾也不大看得出來(lái)。因此，朱智立在短片《桃花源記》中選擇了身穿宇航服、頭戴面罩的人物形象。

葛老板的AI短劇《胡相公》采用動(dòng)畫(huà)形象。圖片來(lái)源：受訪者提供

動(dòng)畫(huà)也是保持人物一致性的捷徑。人類(lèi)天然地對(duì)人臉更敏銳、更容易挑刺，而動(dòng)畫(huà)形象即使發(fā)生些許形變，觀眾的容忍度也更高。2024北京國(guó)際電影節(jié)AIGC短片單元中，最佳影片《致親愛(ài)的自己》、最佳美術(shù)設(shè)計(jì)《達(dá)芬奇計(jì)劃：新文藝復(fù)興》以及近半的優(yōu)秀獎(jiǎng)短片如《AI升職記》《老鼠嫁女》等等都采用動(dòng)畫(huà)角色。

在故事題材選擇上，一種方法是選擇大眾熟悉的故事原型加以改編，這樣即使AI短片本身的敘事不足，觀眾能夠自行腦補(bǔ)劇情。葛老板的AI短劇《胡相公》獲得了可靈AI短劇創(chuàng)作大賽的最佳創(chuàng)意獎(jiǎng)，講述了狐貍與書(shū)生的愛(ài)情故事，全程沒(méi)有解說(shuō)詞，“觀眾一看到狐貍和書(shū)生，腦海里面自然會(huì)有一個(gè)畫(huà)面，很多東西（劇情）就不用介紹……盡量寫(xiě)100 字以?xún)?nèi)就能講明白的故事，如果講一個(gè)300字以上的故事，用AI表現(xiàn)就難了。”

葛老板的AI短劇《胡相公》選擇了狐貍與書(shū)生的故事原型。圖片來(lái)源：受訪者提供 

這種方法是不用解說(shuō)詞，另一種相反的方式是——完全依賴(lài)解說(shuō)詞來(lái)敘事，這在AI短片中也非常常見(jiàn)，例如朱智立的短片《新桃花源記》中采用古文《桃花源記》的改寫(xiě)版作為全片的旁白，Runway獲獎(jiǎng)影片《My Mom》全片以口述信件作為旁白。

“故事依賴(lài)解說(shuō)詞”的現(xiàn)象，背后原因是節(jié)約成本，因?yàn)锳I視頻還hold不住長(zhǎng)鏡頭復(fù)雜敘事。要推動(dòng)劇情和人物，就需要大量有效的分鏡頭，而不是一些MV式空鏡過(guò)場(chǎng)畫(huà)面。

如果不依賴(lài)旁白與解說(shuō)詞，而靠人物對(duì)話，首先要解決的是配音。AI視頻創(chuàng)作者葛老板表示，“找一個(gè)好的配音演員其實(shí)很花時(shí)間，在短時(shí)間內(nèi)做到是很難的”。其次，即使找到好的配音演員，如何把配音與AI角色的嘴型同步，也是個(gè)難題。

針對(duì)這種問(wèn)題，視頻模型的技術(shù)也在飛快進(jìn)化。今年10月，可靈新增“對(duì)口型”功能，生成人物的口型與上傳配音同步。

AI角色對(duì)嘴型的問(wèn)題，對(duì)于Danny也是一個(gè)難點(diǎn)。在制作《白骨精前傳》時(shí)，Danny找了全球十幾個(gè)專(zhuān)門(mén)給角色對(duì)嘴型的網(wǎng)站，效果都不太好。此外，為了給AI角色配音，Danny也嘗試了全球十幾個(gè)AI語(yǔ)音合成的網(wǎng)站，發(fā)現(xiàn)AI配音仍然比不上真人說(shuō)話的質(zhì)感，就去找真人配音。為了在短時(shí)間內(nèi)低成本完成比賽作品，他在抖音上找1萬(wàn)-10萬(wàn)粉絲量的配音博主，花幾百塊錢(qián)完成了2分鐘AI短片的配音。

但AI技術(shù)不斷狂奔，誰(shuí)也說(shuō)不上AI語(yǔ)音何時(shí)會(huì)超過(guò)真人配音的質(zhì)感。Danny近期在用AI語(yǔ)音合成軟件“Dubbing X”，該軟件在發(fā)布的全AI生成臺(tái)詞演繹的《十二公民》中，角色臺(tái)詞的音色、情緒都展現(xiàn)出復(fù)雜層次。

最近視頻模型廠商們開(kāi)始卷的“多主體一致性”功能，也給AI短片的敘事帶來(lái)突破。

生數(shù)科技在11月推出Vidu 1.5版本，主打多主體一致性功能，可以讓人物在環(huán)境中大幅度移動(dòng)，而不出現(xiàn)人物和環(huán)境的形變。

目前，多主體一致性的功能效果還有局限。葛老板在嘗試使用時(shí)，“比如我把一個(gè)人放到臥室背景的床上，再讓他抱著一只公仔小熊，他的臉會(huì)有點(diǎn)變化，抱熊的姿勢(shì)會(huì)很怪，但是整體上畫(huà)面可用。”

但這相比于之前，已經(jīng)給敘事帶來(lái)很大自由度。在此之前，葛老板很難制作有兩個(gè)主體同時(shí)在運(yùn)動(dòng)的畫(huà)面，如果想讓兩個(gè)角色同時(shí)出現(xiàn)在畫(huà)面中且有運(yùn)動(dòng)，就需要把兩個(gè)角色各自摳像，先各自生成視頻，再放到背景上。

可以預(yù)見(jiàn)，飛奔猛進(jìn)的視頻模型，會(huì)讓AI視頻的敘事自由度繼續(xù)提升。