文本到视频生成：研究现状、进展和挑战
来源：电子与信息学报杂志2024年第5期北京时间：
作者：邓梓焌, 何相腾, 彭宇新
单位：北京大学王选计算机研究所 北京 100080
摘要：文本到视频生成旨在根据用户给定的文本描述生成语义一致、内容真实、时序连贯且符合逻辑的视频。该文首先介绍了文本到视频生成领域的研究现状，详细介绍了3类主流的文本到视频生成方法：基于循环网络与生成对抗网络(GAN)的生成方法，基于Transformer的生成方法和基于扩散模型的生成方法。这3类生成方法在视频生成任务上各有优劣：基于循环网络与生成对抗网络的生成方法能生成较高分辨率和时长的视频，但难以生成复杂的开放域视频；基于Transformer的生成方法有能力生成复杂的开放域视频，但受限于Transformer模型单向偏置、累计误差等问题，难以生成高保真视频；扩散模型具有很好的泛化性，但受制于推理速度和高昂的内存消耗，难以生成高清的长视频。然后，该文介绍了文本到视频生成领域的评测基准和指标，并分析比较了现有主流方法的性能。最后，展望了未来可能的研究方向。
关键词：文本到视频生成, 扩散模型, 生成对抗网络.
基金资助：国家自然科学基金(61925201, 62132001, 62272013)
