界面新闻记者 |
界面新闻编辑 | 文姝琪
在OpenAI的“12 Days of Christmas”12天连更计划的第3天，视频生成大模型Sora终于正式登场。
今年2月16日，OpenAI首次向外界展示了Sora的存在。据其介绍，Sora可以直接输出长达60秒的视频，并且包含高度细致的背景、复杂的多角度镜头，以及富有情感的多个角色。OpenAI在官网上公布了数十个视频demo，并不断在社交平台X上放出由Sora生成的视频。这些内容被集合推送至OpenAI的TikTok账号上，短短5天内便获得了51.3万次赞，粉丝数也涨至10.6万。
尽管“多模态模型”并不新鲜，文本到视频的模型也此前已存在，但从OpenAI公布的视频中可以看到，Sora可以生成的视频长度和准确性完全颠覆了市场上现有产品的表现，堪称史上最强文生视频产品。
Sora不仅为OpenAI带来了大量粉丝，也让其估值进一步提升。不过，当时这家公司表示，Sora在短期内不会向大众开放，因为其“技术仍存在一些缺陷，包括一些空间问题”。
在将近10个月之后，万众瞩目下，Sora终于在此次系列发布中重磅登场。
OpenAI表示，2月发布Sora之后，团队开发了其新版本Sora Turbo，其性能有了显著进步，即日起该版本将作为独立产品提供给ChatGPT Plus和Pro用户。
在价格上，20美元一个月的ChatGPT Plus用户，每月可以生成最多50个视频，分辨率最高为720p，时长为 5 秒；每月200美元的ChatGPT Pro用户，每月最多可以生成500个视频，可以同时生成五个视频，时长20秒，分辨率最高为1080p，并可下载无水印视频。
Sora Turbo可以生成最长达20秒的视频，最高1080p清晰度，有宽屏、竖屏、方屏比例可选。在生成模式上，除了基础的文本转视频 (Text-to-Video)模式，还有文本+图像转视频 (Text+Image-to-Video)模式，利用图像辅助Sora理解用户的创作意图，以及融入特定图像元素；以及文本+视频转视频 (Text+Video-to-Video)模式，用户可以上传已有的视频，并结合文本描述来对其进行修改或扩展。
此外，Sora Turbo还有多种视频编辑工具，包括替换、删除或重新构想视频中的元素；找到并隔离最佳帧，然后向任一方向延伸它们以完成场景；使用Loop剪辑并创建无缝重复的视频以及一个名为Storyboard的选项，用户可以通过它详细描述希望视频在不同时间点发生的内容，从而更好地指导一系列片段的生成。
目前，http://sora.com网站已经上线，美国及其他市场的ChatGPT付费用户可以通过该网站开始使用Sora，但在欧洲大部分地区和英国还需要一段时间才能使用，中国用户依然受限。
不过，由于实在是太火爆，Sora网站一度被挤到崩溃，OpenAI CEO山姆·奥特曼（Sam Altman）表示：“由于需求超出预期，我们将不得不间歇性地关闭新用户注册，并且生成内容的速度会在一段时间内减慢。”
在技术路线上，目前，业界普遍猜测Sora的成功延续了OpenAI的Scaling law法则，即通过海量的数据，大量的算力，再加上大参数模型，最终“大力出奇迹”。
OpenAI研究科学家Noam Brown在Sora Turbo发布后表示，Sora是scale力量最直观的展示。山姆·奥特曼则表示，“大家可以将 Sora看作视频版的GPT-1。”
市场预计，Sora的发布会对视频制作领域带来革命性的变化，无论是电影制作、广告、游戏开发还是社交媒体，都可以借助视频生成大模型降低视频创作的门槛，产生新的机遇。
自今年2月首次预告Sora以来，OpenAI便开始与电影制片厂、媒体高管以及经纪公司展开会谈。OpenAI还允许一些艺术家、知名演员和导演试用该服务。
OpenAI还表示，Sora是一项理解和模拟现实的基础性AI技术，是开发能够与物理世界互动模型的重要一步。
OpenAI发布Sora之后，国内互联网大厂和大模型公司纷纷跟进视频大模型这一赛道，包括字节跳动、快手，今年发布视频生成模型的公司还包括阿里云、Minimax、生数科技、智谱AI等公司。就在最近，腾讯混元大模型也宣布上线视频生成能力，正式加入竞争激烈的视频生成赛道。
不过，视频生成模型领域虽然看起来火热，也面临着非常严峻的挑战。近日，百度CEO李彦宏称“百度不做Sora”的演讲被媒体曝光，李彦宏在内部讲话中称，Sora这种视频生成模型的投入周期太长，10年、20年都可能拿不到业务收益，无论多火爆，百度都不去做。
界面新闻从一位负责视频生成模型的技术人士处了解到，生成式AI技术正大幅降低视频生成的门槛，导致视频数据以20倍左右的速度增长，对计算成本和效率提出了严峻的挑战。以Sora模型为例，其训练和推理所需的算力需求分别达到了GPT-4的4.5倍和近400倍。
中国银河证券研究院的报告也显示，Sora对算力需求呈指数级增长。其根据Sora参数规模推演出的训练单次算力需求或可达到2.6×10^24Flops，相当于GPT-3175B的8.2倍。目前Sora还在初级阶段，伴随不断迭代调优，其训练数据集规模将进一步增大，未来算力需求也会大幅增加。
上述技术人士还表示，在编解码层和框架层，视频生成模型也面临着诸多挑战。一方面是效率的问题，另一方面是在计算需求日益增长的情况下，能否灵活处理越来越复杂的需求。
这些都对视频生成模型形成巨大考验，但其在商业化上的形势仍然不够明朗，一定程度上使训练和推理成本上的挑战更为严峻。
视频生成模型同时还面临着安全方面的挑战。OpenAI表示，为了防止被滥用，用Sora生成的视频会带有C2PA元数据，表明这些视频是AI生成的。在上传图像和视频之前，OpenAI还会要求用户同意使用协议，包括不得上传18岁以下未成年的照片、色情或暴力内容、受版权保护的内容。一旦被发现上传违禁内容，账号会被关停。
