TikTok引入前谷歌VideoPoet負(fù)責(zé)人蔣路，發(fā)力AI視頻生成

獨(dú)家獲悉，谷歌高級(jí)科學(xué)家、卡內(nèi)基梅隆大學(xué)（CMU）計(jì)算機(jī)學(xué)院兼職教授蔣路，已經(jīng)加入TikTok。

蔣路是谷歌 VideoPoet 項(xiàng)目負(fù)責(zé)人，VideoPoet 是谷歌在 2023 年 12 月推出的視頻生成大模型，類(lèi)似 OpenAI 剛剛發(fā)布的 Sora。

近期，昆侖萬(wàn)維創(chuàng)始人周亞輝在朋友圈表示，有個(gè)論文的作者加入字節(jié)北美做Tech Leader，正是指《VideoPoet: A large language model for zero-shot video generation》論文的作者蔣路。

資料顯示，蔣路先后在西安交通大學(xué)、布魯塞爾自由大學(xué)、卡內(nèi)基梅隆大學(xué)學(xué)習(xí)計(jì)算機(jī)，并先后進(jìn)入微軟亞洲研究院、谷歌研究院、雅虎研究院實(shí)習(xí)。

2017 年，蔣路畢業(yè)后加入谷歌。他是谷歌云 AI 的創(chuàng)始成員，也是李佳博士和李飛飛博士首次聘請(qǐng)的研究員。此后，蔣路進(jìn)入谷歌研究院工作。

蔣路的研究曾被應(yīng)用到谷歌多個(gè)產(chǎn)品，如 YouTube、云服務(wù)、云 AutoML、廣告、Waymo 和翻譯服務(wù)，影響了全球數(shù)十億用戶的日常生活。

蔣路的工作在自然語(yǔ)言處理（ACL）和計(jì)算機(jī)視覺(jué)（CVPR）的頂級(jí)會(huì)議上被提名為最佳論文。他是研究社區(qū)的活躍成員，擔(dān)任美國(guó)國(guó)家種子基金（NSF SBIR）的 AI 評(píng)審專(zhuān)家，并定期擔(dān)任 CVPR、ICCV、NeurlPS、ACM Multimedia 和 AAAI 等著名會(huì)議的領(lǐng)域主席。

蔣路的研究興趣主要在多媒體交叉領(lǐng)域，他專(zhuān)注于生成式 AI 和視頻創(chuàng)作。2019 年起，他就開(kāi)始嘗試將 Transformer 用在圖像、視頻生成研究上。

與 Sora 采用的 Diffusion + Transformer 架構(gòu)不同，蔣路負(fù)責(zé)的 VideoPoet 視頻生成模型采用了單 Transformer 架構(gòu)，可以將任何自回歸語(yǔ)言模型或大型語(yǔ)言模型轉(zhuǎn)換為高質(zhì)量的視頻生成器，支持生成方形或縱向視頻，以針對(duì)短格式內(nèi)容定制生成視頻，并支持視頻輸入生成音頻。

VideoPoet 采用了名為 Tokenizer 的數(shù)據(jù)處理技術(shù)，可以將視頻和音頻片段編碼為離散標(biāo)記序列（discrete tokens），這些標(biāo)記也可以被轉(zhuǎn)換回原始表示。其中，視頻和圖像數(shù)據(jù)使用名為 MAGVIT V2 的技術(shù)，音頻數(shù)據(jù)使用 SoundStream 的技術(shù)。

VideoPoet 通過(guò)使用多個(gè) Tokenizer 訓(xùn)練一個(gè)自回歸語(yǔ)言模型，以學(xué)習(xí)跨視頻、圖像、音頻和文本模態(tài)。一旦模型根據(jù)某些上下文生成了標(biāo)記，這些標(biāo)記就可以通過(guò)分詞器解碼器轉(zhuǎn)換回可查看的表示。

3 周前，蔣路本人在職場(chǎng)社交平臺(tái)宣布了自己在谷歌的 Last Day，并特別表示對(duì)在谷歌所做的視頻生成項(xiàng)目（VideoPoet，MAGVIT，WALT等）感到自豪。

蔣路表示自己將繼續(xù)留在灣區(qū)，開(kāi)始視頻生成領(lǐng)域的新旅程?，F(xiàn)在來(lái)看，新的旅程就是 TikTok。

值得一提的是，字節(jié)跳動(dòng)已經(jīng)在大模型領(lǐng)域全面布局，模型層推出了自研的「云雀大模型」以及類(lèi) ChatGPT 對(duì)話機(jī)器人產(chǎn)品豆包。2023 年底，字節(jié)跳動(dòng)成立新的 AI 應(yīng)用部門(mén) Flow，并在海外推出了 Coze 等多款產(chǎn)品。抖音集團(tuán) CEO 張楠也于近期卸任，專(zhuān)注于 AI 工具剪映的發(fā)展。

字節(jié)跳動(dòng)近期辟謠了推出中文版 Sora，并表示：“還無(wú)法完善產(chǎn)品落地，距離國(guó)外模型有很大差距。”但另一方面，字節(jié)跳動(dòng)正在大力招攬人才。

大模型戰(zhàn)場(chǎng)，字節(jié)跳動(dòng)將會(huì)如何攪局？

審核編輯：劉清