出品｜虎嗅商業消費組
作者｜黃青春
一場事先張揚的發布會讓 Sora 成為 2024 開年頂流，字節跳動卻在悄咪咪推進 AI 產品迭代。
近日，字節正式發布文生圖模型 SDXL-Lightning。其官方信息稱該模型采用了新的漸進式對抗蒸餾（Progressive Adversarial Distillation）技術，能將計算時間和成本降至此前的十分之一——通常情況下，文生圖模型使用擴散式生成（diffusion）模型，單張圖像處理時間大約需要 5 秒，還需多次（20～40 次）調用龐大的神經網絡；但 SDXL-Lightning 能提速 10 倍在 2~4 步內生成高質量及分辨率的圖像。
事實上，早于 2023 年 11 月，字節跳動已發表視頻生成研究成果 PixelDance，提出基于文本指導 + 首尾幀圖片指導的技術方法，能生成具有高度一致性和豐富動態性的視頻；今年1月，字節又發布了視頻生成模型 MagicVideo-V2，通過集成文本到圖像模型、視頻運動生成器、參考圖像嵌入模塊和插值模塊，打造了一條視頻生成流水線，效果超越 SVD-XT、Pika1.0、Runway的Gen-2 等同類模型。
盡管，字節在研發多模態模型方面已處于國內領先狀態，但其與 OpenAI 仍有較大差距，好在字節愿意接入 OpenAI 的模型（字節海外有兩款 AI 產品，Cici 和 Coze 都接入了 GPT 3.5/GPT 4 模型，兩者 DAU 迅速攀升至百萬級別），在一定程度上克服了模型能力的短板。
然而，橫空出世的 Sora 加速了字節的焦慮：
一方面，Sora 已經能生成 60 秒視頻，這將直接改變抖音與 TikTok 的內容供給邏輯——巨量數據顯示，以 60 秒視頻為臨界點，文生視頻已經在顛覆短視頻行業；
另一方面，Sora 可以用于視頻編輯、視頻風格混合等多個領域，是一個集視頻生成、圖片生成、視頻編輯等功能于一體的強大模型。
有鑒于此，Sora 這樣的“新物種”從創作門檻、內容質感、創作持續性等方面都會降維打擊大部分創作者，或將改變內容生產和編輯方式，從業者可能面臨技能需求和工作流程的變化——此前 Runway 在《瞬息全宇宙》里已有所應用，但 4 秒到 15 秒發展了半年，15 秒到 1 分鐘三個月，技術的發展速度如此驚人，隨著文生視頻效果越發精進，抖音及 TikTok 也將面臨新技術帶來的洗牌，這在一定程度上刺激字節更加積極推進 AI 技術投入。
深層次原因還在于：中國移動互聯網業到了用戶、流量趨于見頂的成熟期，監管會更側重產業互聯網的推進與建設，這意味著技術走到平臺重構生態的關鍵時期。
尤其，在快速迭代的 AI 浪潮裹挾下，心有猛虎的公司都在尋找向上攀爬的入口——當通用人工智能時代呼嘯而來，字節手握應用層及數據層的獨特優勢，抖音擁有豐富的數據素材和充足的算力資源，必須在快速發展時期進行果斷投入（包括技術生態迭代、研發投入等），從而博一張未來的船票。
剪映成字節刺破AI的“針”
那些顛覆行業產品的誕生契機就是如此傳奇：Sora 創始團隊成立不足 1 年，由兩名剛畢業的博士生帶隊，核心成員 15 人，其中甚至有 00 后（成員Will DePu 于 2003 年出生）；而抖音前身 A.me 于 2016 年秋上線時，創始團隊也只有 7 個年輕人。
虎嗅了解到，字節跳動的 AI 戰略是各個市場做各自的產品；其中，剪映或將成為中國 AI 應用最先爆發的產品：截至 2021 年，剪映月活用戶數已經突破 1 億，是國內最大的移動視頻編輯產品。
具體而言，字節跳動通過拆解明確每個部門的 OKR（例如抖音主要負責拉新，而字節專門負責 AI 產品的 Flow 部門負責開發及產品增長）實現了部門間互不干涉，解決了互聯網公司迅速擴張所面臨的組織協同問題，是國內逐夢 AI 浪潮互聯網公司中戰略最清晰的一個。
要知道，抖音 CEO 張楠卸任前一年（2023 年）絕大多數精力都傾斜在剪映相關業務上。據張楠自述，刺激她義無反顧投身AI 的原因之一便是希望幫助創作者對更好表達自己的想法，因為過去“幾乎無法用一個產品完成所有的創作，要橫跨幾個產品之間，用復雜的編輯和交互流程，才能完成表達。”
但據字節內部人士透露，張楠親自帶隊投身 AI 研究，很大程度上源于字節管理層預判文生圖、文生視頻將是下一個引領時代的賽點。
于張楠而言，就像她在朋友圈說的那樣：“專注地從'心’出發，用始終創業的狀態，在未來的十年再折騰一些我熱愛的事情。字節跳動是最好的平臺，既有夢想，又務實的浪漫，我很期待和剪映的小伙伴們一起造夢，與這個 AI 的時代一起成長，共同繪制出腦海中的奇幻世界。”
而且，張楠在內部信中坦言，最近跟團隊里的很多人聊天，有很多人還是滿腔熱血的，有很想做的事，這更讓她覺得機不可失、時不再來。“我知道這會是一條很長的路，而且會有很多激烈的競爭，也會碰到技術不確定性帶來的很多挑戰和試錯。但夢想還是應該有的，如果不極致地試一次，未來該多遺憾。”
于公司而言，字節在模型技術和數據兩個方面同時具備優勢，可以利用自身的數據資產為模型訓練提供足夠的數據源，進而在市場中獲得更大的競爭力。
此前，《晚點 LatePost》曾在報道中指出，字節廣告客戶投放總成本里有 10%~20% 為視頻制作成本；去年開始，字節已在開發一些相關產品幫廣告客戶壓縮這部分投入。
接近字節人士向虎嗅表示，字節的核心 AI 業務中，剪映占據重要位置，集團希望它成為一個獨立的工具產品。“從戰略角度看，字節希望剪映變成一個類似于過去支付寶和淘寶關系的產品，它本身是一個工具，現在得慢慢地獨立出來。”
不過，傳統視頻編輯工具，如剪映的技術路線是基于一些預測性和可復現的底層操作，包括傳統圖像學和視頻編輯算法，以非常精確的方式編輯視頻內容——這樣的優勢在于其操作粒度細且可控性強；缺點在于需要大量的人力投入，例如剪輯一段視頻考驗制作者能力和人力成本。
順著這個邏輯所進化的工具，只能通過建立一套標準操作流程（SOP），將一些工具進行組合以形成多套模板，再通過這些模板來進行視頻剪輯和生成；然而，這些模板基本上很同質化，導致產生的變化很相似，形成了固定范式，導致這類工具適用場景有限，創新性較低——而 Sora 在圖像控制表達能力上結合了 DALL·E 和 GPT-4 的能力，其他廠商缺乏相應的圖像和語言模型能力，人才、數據和算力才是技術復現的三大核心壁壘。
一位華人工程師向虎嗅表示，OpenAI 在技術層面領先的原因之一是選擇了 Transformer 架構并創新推出 GPT 系列。“最早的 Transformer 論文是由谷歌的科學家編寫，但在當時并未被視為主流架構；然而，OpenAI 首席科學家伊利將 Transformer 架構應用于 GPT-1 模型后，其展現出優于以往模型的能力。”
他進一步指出，相比谷歌這樣的科技巨頭，在新技術面前往往更重視社會影響及對現有業務的影響——字節何嘗不是如此；而 OpenAI 作為一家創業公司，反而可以放開手腳，更注重創新與自我突破。
Sora只是亮個相，為何把你嚇壞了？
“Sora 能夠將真實世界映射到虛擬世界，無論內容真實性、視頻質量（包括分辨率、碼率、像素等）還是輸出內容與用戶需求的一致性都有顯著提升，夸張點說是直接完成了 1 到 100 的躍遷。”一位 AI 創業者如此評價道。
上述論斷并非危言聳聽——與其他文生視頻模型 （Runway、 Pika 等） 不同，當攝像機移動和旋轉時 Sora 能輸出保持人物和場景 3D 空間一致性、基本符合物理世界規律（不能完全保持，也會出錯）的視頻。
對此，OpenAI 透漏，Sora 的技術架構與傳統視頻技術路徑有所不同：其先將不同視頻和圖片數據壓縮在一個低維空間中，再分解成統一 Patch 作為訓練大模型的基本單位，這一改進使得文生視頻更加逼真、高質量。
Sora 輸出能力有多出色呢？即使在人物、動物或物體被遮擋或離開畫面時，仍然可以進行追蹤，確保物體持續呈現；而且，相較于其他大模型在文本數據上理解和涌現，Sora 在 GPT（不少人猜測訓練的或許是 GPT-4.5）的語義理解支撐下，能理解用戶需求以及在預訓練學習過程中理解學習的視頻內容。
雖說，尚未對外開放測試的 Sora 仍處于世界模型研究應用的初期階段；可 Sora 一旦上線，用戶貢獻的素材內容能豐富數據資源增加訓練樣本。
一位 AI 創業者樂觀地表示，“相對現在某些類 GPT 產品插件，進化的大模型可能支持各種插件應用，解決生成內容中的各種問題，并對視頻、游戲等內容產業產生商業層面的變革。”
所以，短期內 Sora 更多會應用于物理世界內容的延展，包括使用物理世界內容拼接創建新的創新內容，例如常規內容短片、電影等；中期，Sora 可作為視頻編輯工具，應用在特效添加、背景更改、人物替換方面；后期，Sora 應用范圍會涉及虛擬現實、增強現實、游戲開發等，潛在應用方向包括虛擬試衣、虛擬旅游等。
