彩娱乐官网-彩娱乐登陆网址 AGI-Eval团队：AI视频生成模子年度横评，国产模子仍然进步！

彩娱乐登陆网址入口官网

热点资讯

你的位置：彩娱乐官网 > 彩娱乐登陆网址入口官网 > 彩娱乐登陆网址 AGI-Eval团队：AI视频生成模子年度横评，国产模子仍然进步！
彩娱乐登陆网址 AGI-Eval团队：AI视频生成模子年度横评，国产模子仍然进步！
发布日期：2025-01-06 13:30    点击次数：147

AGI-Eval团队 投稿彩娱乐登陆网址

量子位 | 公众号 QbitAI

说到2024年AI圈的热点话题，固然不成错过视频生成模子了！

即使是在12月，国表里视频模子的更新脚步依旧莫得放缓。其中以Sora、可灵AI为代表。

12月9日，OpenAI认真推出视频产物Sora。用户可以创建任意长宽比例的分辨率高达1080p（最长 20 秒）的视频，可经受文本、图像和视频输入并生成新视频当作输出。

12月19日，可灵AI告示基座模子再升级，视频生成推出可灵1.6模子，文本响应度、画面好意思感及指点合感性，均有赫然提高，画面更庞杂重天真，同期维持标准和高品性模式，尽头是1.6模子的图生视频，里面评测比 1.5 模子举座遵循提高195%。

视频模子竞争好坏，评测榜单也变得尤为蹙迫。

AGI-Eval通过构建上百条评测数据和行家级东说念主工评测团队，对Sora 、及国产头部视频生成模子进行了更深度的专科评测。

主要论断有以下3个：

论断1

与国内头部大模子（国内前三）比较，Sora在视频-文本一致性维度、视频质地上均有小幅逾期。总体来看，国内大模子仍保抓进步水平。

论断2

Sora在指点质地维度施展略好于可灵1.6，即生成的视频画面在动态流程中的主体一致性和动态幅度更当然。

论断3

在视频-文本一致性维度上，Sora存在文本息争有误、指示遵守不符的问题，即生成的视频现实与指示词的刻画不符的风景。

凝视的榜单名次如下，评测维度包括视频-文本一致性 、视频质地（含着实性、合感性) 、指点质地等，确保评测为止反馈模子着实水平。

注：以上数据为示例，具体评分请参考AGI-Eval评测社区平台的最新数据。

榜单数据经过归一化措置，与原始分值有所区别，但名次一致。

AGI-Eval平台持续：https://agi-eval.cn/mvp/listSummaryIndex

凝视评测对比：Sora VS 国内视频生成模子

沿路来望望凝视的测评为止。

从视频生成的举座遵循来看，Sora在视频质地、创作解放度、立场维持等方面的施展更优，尤其是在动态场景下五官的呈现上更为细巧。

示例对比

【示例1】：文本一致性

李铁因涉及多项罪名而被判刑。法院的宣判让无数人为之吃惊，也让大家不禁思考，这位曾经的足球明星究竟做了些什么。作为曾经承载着万千球迷希望的国脚，李铁的判决不仅冲击了他个人的职业生涯，更让整个中国足球界为之一震。这是怎样的衰落，也许背后藏着故事。

“20年，够不够？”这句话，这两天在球迷圈里炸开了锅，李铁，曾经的“拼命三郎”，如今成了阶下囚，20年的刑期，引发了轩然大波，有人觉得轻了，毕竟一个亿的巨款摆在那儿；有人觉得重了，毕竟他曾经也是我们心目中的英雄，这究竟是怎么一回事？

Prompt: 地上放着一个篮球、面包和背包，镜头跟班劳累的指点员来到物品眼前，提起一样物品用来补充能量。

英文prompt：There is a basketball, a loaf of bread, and a backpack on the ground. The camera follows the exhausted athlete as he approaches the items and picks up one of them to replenish his energy.

该prompt自己较为复杂，同期存在多个实体、东说念主物情状施展，且需要模子进行正确的推理，窥察的智商愈加全面。

Sora-1080P

该维度打分：2分

分析：条件生成的实体中，背包缺失，面包施展较差，丢失实体特征；东说念主物动作”提起“不适应，无法判断是否适应推理正确的物体。

可灵1.6

该维度打分：2.67分

分析：条件生成的实体中，面包缺失，”提起“的动作有趋势但施展较差，雷同无法判断是否适应推理正确的物体。

Pixverse-V3

该维度打分：3.5分

分析：条件生成的实体及东说念主物动作“提起”均得志，也能达成正确的推理，息争需要拿的是面包，但不适应镜头跟班和东说念主物动作“来到”，相对来说照旧施展得可以。

MiniMax-Video-01

该维度打分：3分

分析：条件生成的实体中，面包缺失，“提起”动作不适应，但推理正确，息争需要拿的是面包。

Prompt:高温变色马克杯告白。一个玄色高温变色马克杯正被加入滚水，逐渐变成白色的流程。要点需要颠倒马克杯的变色智商。

英文prompt：High-temperature color-changing thermos advertisement. A black high-temperature color-changing thermos cup is being filled with hot water, gradually transforming into white. The key focus is to highlight the thermos cup’s color-changing capability.

该prompt实体较浅近，但倾向于窥察水流、热气、表情渐变等细节，畅通的细节变化时常来说较为难题。

Sora-1080P

该维度打分：2.67分

分析：忽略prompt条件的要点，未体现出变色的流程。

可灵1.6

该维度打分：4分

分析：变色流程不完全适应条件，但相对来说较好。

Pixverse-V3

该维度打分：3分

分析：未体现正在加水，变色有体现，但不适应逐渐变白的条件。

MiniMax-Video-01

该维度打分：2.67分

分析：雷同未体现出变色的流程，也无法看出是滚水。

【示例2】：物品生成庞杂性（瞬息出现或消失）彩娱乐登陆网址

Prompt: 一款创意蛋糕的宣传告白。一把餐刀切开了蛋糕，从蛋糕的切口处涌出了草莓酱。

英文prompt：An advertisement for a creative cake. A dining knife slices through the cake, and strawberry sauce flows out from the cut.

该prompt重在窥察指点细节及实体之间的交互，模子在“切口处涌出了草莓酱”上施展得各有各异。

Sora-1080P

该维度打分：2.5分

分析：该视频中果酱屡次忽然出现和忽然消失，蛋糕忽然出现缺口，仅针对庞杂性较差。

可灵1.6

该维度打分：3.5分

分析：能看到刀的动作导致蛋糕出现切口，果酱的出现比较突兀分歧理。

Pixverse-V3

该维度打分：3.5分

分析：果酱和刀的阵势庞杂，蛋糕的切口出现较为突兀。

MiniMax-Video-01

该维度打分：3分

分析：刀和蛋糕的阵势较庞杂，适应切开的情状，但果酱忽然无数出现分歧理。

【示例3】：实体无理

Prompt: 生成一个动画立场的视频，现实是一个女孩正在巴黎旅行，她的眼前是埃菲尔铁塔。

英文prompt：Generates an animated-style video of a girl traveling in Paris with the Eiffel Tower in front of her.

Sora-1080P

该维度打分：2.67分

分析：布景鸟群出现赫然无理及分歧理滞空，布景行东说念主有粘连及行走姿态赫然分歧理，举座不雅感上较为赫然。

可灵1.6

该维度打分：4分

分析：主体东说念主物及建筑物举座的阵势均较好，彩娱乐专线部分布景东说念主物出现渺小无理，举座对不雅感影响较小。

Pixverse-V3

该维度打分：3分

分析：主体东说念主物手指有渺小粘连形变，布景建筑物发生形变，不雅感上稍有分歧理。

MiniMax-Video-01

该维度打分：3.5分

分析：主体东说念主物手指渺小形变，左侧出现的布景东说念主物面部有渺小歪曲，不雅感上稍有分歧理。

Prompt: 共事们正在办公室门前交谈。

英文prompt：Colleagues are talking in front of the office door.

Sora-1080P

该维度打分：2.5分

分析：东说念主物有赫然的穿模，门发生的形变也较赫然，影响严重。

可灵1.6

该维度打分：3.5分

分析：东说念主物举座形象较好，无赫然无理，部分镜头中东说念主物手部存在形变，形成一定的影响。

Pixverse-V3

该维度打分：3分

分析：东说念主物手指形变抓续存在且较严重，较影响视觉遵循。

MiniMax-Video-01

该维度打分：3.5分

分析：东说念主物举座形象较好，无赫然无理，部分镜头中东说念主物手部存在形变，形成一定的影响。

【示例4】：镜头时候

Prompt: 创意视频，升镜拉镜销毁，镜头从一座清贫的城市拉升到空中、天外、天地外，需要展示出地球是其他天地高维生命手中的玻璃球

英文prompt：A creative video combining zoom-in and zoom-out techniques, with the shot pulling up from a bustling city to the sky, into space, and beyond the universe, revealing Earth as a glass ball in the hands of higher-dimensional beings from another universe.

Sora-1080P

该维度打分：3分

分析：拉镜有所施展，但升镜体现较差，视频举座镜头施展较单一。

可灵1.6

该维度打分：4分

分析：视频能较好的体现升镜、拉镜，场景变化的过度比较当然，举座畅通。

Pixverse-V3

该维度打分：3.5分

分析：升镜体现较好，但拉镜未明确施展，视频举座场景休养较畅通。

MiniMax-Video-01

该维度打分：3分

分析：拉镜有所施展，但升镜体现较差，视频举座遵循较为突兀。

是怎样评测的？

针对基础模子，AGI-Eval继承了不同的评测纪律及不同的评测样子，包含东说念主工主不雅评测、模子打分（modeleval）、众包评测三种样子，窥察模子在不同版块下是否有智商下落、立场等影响导致榜单为止各异，反馈模子概述智商。

东说念主工评测

评测讲明：

给定prompt的视频，东说念主工从视频文本一致性、视频质地、指点质地等维度概述给被测视频打1-5全王人值分,并标注出被测视频的淘气标签;视频继承多轮标注的样子，2东说念主打分为止相通则为该prompt为止，若2东说念主打分diff则进入3标，最终3东说念主平均为被测视频最终分数。

评测想路：

视频文本一致性：是否按照prompt的条件生成视频，包括对物体、东说念主物、场景、立场、指点细节等所有关联因素的刻画是否完整遵守。

视频质地：

合感性：视频在逻辑、结构、蓄意、指点轨迹等维度是否适应旧例，即，是否适应物理法例。

着实性：视频具有传神遵循，无赫然AI萍踪。

指点质地：视频中的指点施展是否畅通、连贯、动态遵循是否丰富。

评测集先容：

凭证一致性、指点质地、画面质地等关节性能见地，构建了包含500条中英文对照样本的黑盒测试集，消失了从动作生成到表情生成多种复杂场景和智商项及期骗场景；在构建中也销毁到了物理学问和百科知识，评估生成视频的着实感和逻辑性。

评测案例：

任务类型：相互影响多实体生成

Prompt：一只猫唤醒了正在睡眠的主东说念主。

模子谜底：

评测分析：

视频概述打分：3分

一致性：4分，实体生成适应条件，但关于“唤醒”的动作流程体现不完整。

视频质地：3分，指点流程中东说念主物肢体、猫面部王人呈现出变形。

指点质地：3分，指点基本连贯，临了猫爪收回动作不当然，机械感较赫然。

任务类型：实体&动作生成

Prompt：跳水指点员们正在热身。

模子谜底：

评测分析：

视频概述打分：1分

一致性：1分，条件的实体及动作完全未体现。

视频质地：1分，视觉中心的主体无理，场景下方也存在变形不连贯。

指点质地：2分，下方假造出现实体，指点连贯性、动态遵循、指点幅度均差。

AGI-Eval评测平台

鉴于传统评测样子难以充分反馈模子的着实水平，AGI-Eval革命性地建议了东说念主机合营评测模式，探索缔造高质地评测社区缔造。

在这种模式下，参与者可以与最新的大模子共同完成任务，既有助于提高任务完成度又便于建设愈加直不雅的分辩度。

基于前期的一些用户实验标明，通过这种样子不仅可以赢得更为直快、完善的推理流程刻画，还可以进一步提高用户与大模子之间的互动体验。

将来，跟着更多访佛平台的出现和发展，服气东说念主机合营将成为评测领域的一个蹙迫发展见地。

东说念主机社区持续：https://agi-eval.cn/llmArena/home

AGI-Eval 平台基于着实数据回流、智商项拆解等样子，自建万量级独到数据，并经过屡次质检保证准确率。

黑盒100%独到化数据，可保证评测数据不可“穿越”。

从数据缔造到模子评测，罢了全层级智商名目，一级智商涵盖指示遵守、交互智商、解析智商（含推理、知识、其他解析智商等）；竣工罢了自动与东说念主工评测相销毁。

关于Chat模子，平台官方榜单销毁主不雅、客不雅评测为止，中英文权重漫步平衡。

客不雅评测基于模子打分，可措置具有一定解放度问题，准确率95%+；主不雅评测基于三东说念主孤立标注，并纪录细分维度标签为止，全面会诊模子问题。

想要肯求文生视频测评的一又友可以径直关系AGI-Eval团队。

AGI-Eval团队先容

AGI-Eval是由上海交通大学、同济大学、华东师范大学、DataWhale等高校和机构合作发布的大模子评测社区，以“评测助力，让AI成为东说念主类更好的伙伴”为服务。平台旨在打造公平、着实、科学、全面的评测生态，命令人人共同参预到大模子评测服务，参与数据构建及丰宽裕趣兴致的东说念主机合营比赛，与大模子协同完成复杂任务，罢了评测决议共建。

AGI-Eval多模态评测可相连全模态(any toany)模子评测(部分榜单待上线)，接待诸君模子厂商提报评测合作交流。

文生视频测评肯求样子：

请使用单元邮箱，将测评接头目的、磋议，接头机构、肯求者先容和关系样子（手机或微信），发送到邮箱。

邮箱:[email protected]，标题是：AGI-Eval文生视频测评肯求

— 完 —

量子位 QbitAI · 头条号签约

温雅咱们彩娱乐登陆网址，第一时分获知前沿科技动态



  • 上一篇：彩娱乐登陆网址 全球商场：泰西股市收涨 纳指涨超2% 英伟达涨超6% Serve Robotics大跌
  • 下一篇：彩娱乐登陆网址 神奇！！通过检测DNA，确凿不错“算出”你首次性作为的时候
    • 推荐资讯

    友情链接：