尋光是阿里達摩院以視覺AIGC為核心功能，用PPT制作的方式創(chuàng)作視頻的創(chuàng)作平臺，它在2024年世界人工智能大會（WAIC 2024）上首次亮相。尋光通過先進的人工智能技術(shù)徹底變革視頻制作流程，提供從劇本創(chuàng)作到視頻編輯的全流程輔助。尋光特別強調(diào)了AI在視頻創(chuàng)作中的全面應用，包括但不限于輔助用戶生成劇本、設計分鏡圖、控制人物動作、調(diào)整場景、以及進行復雜的視頻編輯任務。
尋光核心功能與特點
故事板生成：從劇本到分鏡，AI輔助導演創(chuàng)作，畫面生動再現(xiàn)。無需依賴想象，AI幫助生成逼真的分鏡圖。
角色庫管理：AI生成并管理角色庫，根據(jù)用戶需求定制一致性的角色。在創(chuàng)作過程中，角色形象和場景畫面統(tǒng)一協(xié)調(diào)。
視覺素材創(chuàng)作：利用AI進行運鏡控制和運動編輯，制作個人大片。多模態(tài)生成技術(shù)支持，生成高質(zhì)量視覺素材。
視頻內(nèi)容編輯：豐富的AI編輯功能，包括目標新增、消除和修改。提供風格變換、超分辨率和幀率控制，提升視頻質(zhì)量。
圖層功能：圖層拆解和融合功能，靈活處理視頻中的各類元素。用戶可以自由編輯視頻中的前景、背景等部分，實現(xiàn)精細化編輯
劇本與分鏡創(chuàng)作：AI輔助用戶創(chuàng)作劇本和分鏡圖，使得從文字到視覺的轉(zhuǎn)換更加直接，減少了創(chuàng)作者的想象到實現(xiàn)的障礙。
角色與場景控制：用戶可以定制角色，甚至讓AI為故事創(chuàng)造專屬演員。場景編輯方面，支持精細到運鏡控制，如推進拉遠、左右環(huán)繞等，以及風格遷移，提供多樣化的視覺風格選擇。
精細化編輯：尋光平臺允許用戶在語義層面上進行編輯，而非像素層面，這意味著用戶可以基于意圖修改視頻內(nèi)容，如修改人物動作、消除或新增目標對象。它還支持視頻圖層編輯，能精確提取并編輯前景、背景等元素，即便是復雜的細節(jié)如飄動的頭發(fā)也能精準處理。
多模態(tài)生成：平臺支持通過文本描述生成視頻素材，用戶可以調(diào)用不同的多模態(tài)生成模型來創(chuàng)造新的視頻內(nèi)容，極大豐富了創(chuàng)作的可能性。
尋光適用人群
視頻創(chuàng)作者：包括專業(yè)團隊和個人創(chuàng)作者。
內(nèi)容創(chuàng)作者和營銷人員：新媒體工作者、營銷人員。
教育和培訓：在線教育、企業(yè)培訓師。
影視制作和娛樂行業(yè)：電影和電視劇制作團隊、游戲開發(fā)者和動畫師、廣告公司和品牌機構(gòu)
目前，尋光處于內(nèi)測階段，對公眾開放申請，感興趣的創(chuàng)作者可以通過官方網(wǎng)站提交申請以體驗這一創(chuàng)新工具。
尋光AI視頻創(chuàng)作平臺通過集成化的功能、AI輔助的創(chuàng)作、專屬的角色定制、多樣化的編輯能力、圖層編輯功能、分鏡頭管理和智能編輯等功能，為視頻創(chuàng)作者提供了高效、便捷、創(chuàng)新的視頻創(chuàng)作解決方案。
達摩院-視覺技術(shù)實驗室，致力于多模態(tài)視覺信號的理解與生成技術(shù)的研究，當前的重點研究方向包括更加精準的圖像/視頻/3D內(nèi)容生成，更加可控的圖像/視頻/3D內(nèi)容編輯，更加高效的生成框架，多模態(tài)的檢索增強生成，統(tǒng)一的多模態(tài)理解-生成框架等。團隊堅持技術(shù)深度和產(chǎn)業(yè)落地并重，支持阿里巴巴集團內(nèi)外多項業(yè)務，在電商、遙感、安防、新零售等多個領域有成功落地。
團隊成員皆畢業(yè)于國內(nèi)外知名高校，且獲得過斯坦福大學全球top2%頂尖科學家，清華大學AMiner AI Top2000等榮譽。過去三年團隊取得計算機視覺國際競賽冠軍20余項，發(fā)表計算機視覺/機器學習頂會100余篇，并曾獲CVPR 2022 Best Student Paper，2022年中國測繪學會測繪科學技術(shù)一等獎等獎項。
