学生萝莉不思“闭门觅句”，腾讯混元开源130亿参数视频模子

发布日期：2024-12-05 04:58 点击次数：162

自本年2月OpenAI的Sora初度公开展示以来，视频生成履历了从备受期待到遇到质疑的经由。在这苟简10个月里，Sora迟迟未怒放给公众使用，国内百川智能独创东谈主兼CEO王小川则基于AI的蹊径判断 “摁死”了公司跟进Sora的思法学生萝莉，另一些互联网大厂和大模子创业公司还在继续跟进推出视频生成模子，但对外的发声表态也渐趋安宁。

12月3日，腾讯混元大模子上线了视频生成智力，并开源了这个参数目130亿的视频生成大模子HunYuan-Vieo。据称该模子是业界参数最大的开源视频模子，可生成5秒视频。据混元团队公布的文生视频模子后果评估，混元视频生成模子总体评分41.3%，高于未公开称号的国内模子A和B以及外洋的GEN-3 alpha和Luma1.6。这项评估参照执续时辰、文本对皆、清楚质地、视觉质地几个维度，表示五个模子评分都不高，最低的Luma1.6评分仅24.8%。

接受第一财经等媒体采访时，腾讯混元多模态生成时间崇拜东谈主凯撒直言，文生视频还不处于很锻真金不怕火的阶段，各模子告捷率都不高，至少文生视频的时间进度在混元里面的评估中，还莫得到大范围买卖化的进度，而是在时间打磨阶段。

从开源生态看，凯撒合计，当今视频生成开源生态也不是很成风景，最大的问题是开源的视频生成底模（基底模子）跟闭源差距太大。当今视频生成所需的算力、数据铺张量和图像生成比拟是数目级的差距，业内不太思把我方花大老本作念出来的模子开源出来。在这种闭门觅句的情况下，最佳的模子许多东谈主也莫得效起来，于是混元开源了我方的视频生成模子。

记者用混元大模子视频生告捷能分辨生成“三只黑猫在雪中玩耍，留住脚印”“三只黑猫在雪中追赶学生萝莉，留住脚印”和“一只戴着黄色领巾的企鹅在故宫门口吃冰糖葫芦”的视频。第一个视频生成三只黑猫在雪中，莫得生成明显的脚印，丝袜内射但黑猫主体完满，脚踩在坑洼抵拒的雪地上时产生了普通的视野掩盖。第二个视频中，猫在雪地上踩出坑，有与物理环境的果然互动，但有两只黑猫会通成了一只。第三个视频场景正确且外相明晰，但冰糖葫芦会我方转移。记者此前尝试使用过一些主流的免费视频生成模子也发现，许多模子已能作念到画面精致果然，但清楚规矩或物理规矩还不行很好体现。

从文生视频的具体难点看，凯撒告诉记者，对比文生图模子一次出一张图，这个视频生成模子要生成129帧画面，每一帧都正确格外难。视频生成算力会跟着时辰延迟而呈平方级高涨，且时长越长，画面退化越严重，业界目下主流都是五六秒。若是类比文生图模子，当今视频生成的水平就像两年前SD（Stable Diffusion）还没面世时的水平。此外，视频模子无法充足果然地模拟宇宙的物理规矩，举例掉下的杯子不碎，要改变这少量，背后触及难度格外大的数据处理、清洗以及物理规矩引入责任，后续混元将给视频模子引入果然宇宙的学问。

此外，记者了解到，视频生成模子的时间旅途也还未皆备明晰。凯撒默示，业界此前未解答“Scaling Law（缩放定律）在视频界限存不存在”的问题，混元只可重新作念，把视频的Scaling Law走了一遍，考证图像和视频DiT（Diffusion with Transformer，两者会通）也存在Scaling Law，后续Scaling Law还会进一步往下走。

业内其他厂商也对视频生成模子的进展和难点建议了新判断。11月，生数科技发布Vidu 1.5版块，优化多主体一致性、高下文记忆方面阐扬。随青年数科技集合独创东谈主鲍凡称，对于Scaling Law是否“撞墙”，业内莫得标准谜底，存在Scaling Law从数学表面上“撞墙”的可能，业内也在寻找新门径。架构上，业内架构已在一边敛迹一边改换，此前业内有自转头和会通的架构之争，骨子后果表示Diffusion和Transformer会通架构更优，于是包括OpenAI等公司都在顺延领受这种结构，同期业内也探索在新门径，举例措置DiT处理高下文智力欠缺的问题。而Vidu1.5的推出已标明这种Diffusion和Transformer的架构并非最优，接下来架构蹊径可能进一轨范整。

举报第一财经告白谐和，请点击这里此内容为第一财经原创，文章权归第一财经所有。未经第一财经籍面授权，不得以任何格式加以使用，包括转载、摘编、复制或竖立镜像。第一财经保留根究侵权者法律背负的职权。如需赢得授权请探讨第一财经版权部：021-22002972或021-22002335；banquan@yicai.com。文章作家