【LLM多模态】文生视频评测基准VBench

【LLM多模态】文生视频评测基准VBench

引用

CSDN

1.

https://blog.csdn.net/qq_35812205/article/details/142267679

VBench是一个全面的视频生成模型基准测试套件，它将“视频生成质量”分解为多个定义明确的维度，以便于进行细致和客观的评估。VBench包括16个维度，如主体身份不一致性、运动平滑度、时间闪烁和空间关系等。它还提供了与人类感知一致的人类偏好注释数据集，以验证基准测试与人类感知的一致性。

一、相关背景

论文：VBench: Comprehensive Benchmark Suite for Video Generative Models
CVPR 2024

实时排名：https://huggingface.co/spaces/Vchitect/VBench_Leaderboard

这篇论文试图解决什么问题？

传统的视频生成质量评估指标，如Inception Score (IS)、Fréchet inception distance (FID)、Fréchet Video Distance (FVD) 和 CLIPSIM，与人类的判断并不完全一致。这意味着这些指标可能无法准确反映人类对生成视频质量的真实感受。理想的评估系统不仅应该能够准确反映人类对生成视频的感知，还应该能够揭示每个模型的具体优势和劣势，为未来的视频生成模型的数据、训练和架构选择提供指导。然而，现有的评估方法并没有为视频生成模型提供这样的全面评估。

为了解决这些问题，VBench通过以下方式提供了解决方案：

• 综合评估维度：VBench将视频生成质量分解为16个具体、分层和解耦的维度，每个维度都有专门的提示（prompts）和评估方法。
• 与人类感知的对齐：通过收集人类偏好注释来验证VBench评估与人类感知的一致性。
• 提供有价值的洞察：VBench能够从多个角度为视频生成社区提供详细的反馈，帮助评估现有模型的优势和劣势，并指导未来模型的改进。

总的来说，VBench旨在提供一个与人类感知更加一致、能够全面评估视频生成模型性能的基准测试套件，以推动视频生成技术的发展。

二、VBench评测基准

VBench论文中提出的16个评估维度分为两大类：视频质量（Video Quality）和视频条件一致性（Video-Condition Consistency）。具体维度如下：

（1）视频质量（Video Quality）

时间维度的质量（Temporal Quality）：

1. 主体一致性（Subject Consistency）：评估视频中主体（如人物、车辆等）的外观是否在不同帧中保持一致。
2. 背景一致性（Background Consistency）：评估视频背景场景在时间上的一致性。
3. 时间闪烁（Temporal Flickering）：评估视频中局部和高频细节的不完美时间一致性。
4. 运动平滑性（Motion Smoothness）：评估视频中生成的运动是否平滑，并遵循现实世界物理定律。
5. 动态度（Dynamic Degree）：评估视频中生成的动态程度，即是否包含大量运动。

帧质量（Frame-Wise Quality）：

1. 美学质量（Aesthetic Quality）：评估每个视频帧的艺术性和美观价值。
2. 成像质量（Imaging Quality）：评估生成帧中的失真（如过曝、噪声、模糊）。

（2）视频条件一致性（Video-Condition Consistency）

语义（Semantics）：

1. 对象类别（Object Class）：评估特定类别对象在视频中的生成成功率。
2. 多个对象（Multiple Objects）：评估视频中不同类别对象的组合能力。
3. 人类动作（Human Action）：评估视频中人物执行文本提示中特定动作的准确性。
4. 颜色（Color）：评估合成对象颜色与文本提示的一致性。
5. 空间关系（Spatial Relationship）：评估视频中对象间的空间关系是否遵循用户指令。比如a物体是否在b物体的左方（如果prompt这么要求）。
6. 场景（Scene）：评估合成视频与文本提示中描述的场景的一致性。如指令要求是ocean时不能生成river。

整体一致性（Overall Consistency）：

使用视频-文本一致性计算作为辅助指标，反映语义和风格的一致性。

风格（Style）：

外观风格（Appearance Style）：评估视频与用户指令要求的风格（如油画风格、黑白风格等）的一致性。

时间风格（Temporal Style）：评估视频的时间风格（如不同的摄像机运动）与文本提示的一致性。

注意：Temporal Style更多强调运镜/外观等的动态/视觉风格；Temporal Quality强调在时间维度上的连贯性、一致性（重点不在是否遵循用户指令）。

在上面的16个指标中，每个指标都设计对应100个左右的prompt，不同的类别也是（比如针对不同的视频类别有对应的prompt，如动物、建筑、食品、人类、生活方式、植物、风景和交通场景八个视频类别），保证全方面进行测试：

对主流模型在16个评估指标上进行评测：

三、相关实验

（1）在所有指标上评估（Per-Dimension Evaluation）

• Empirical Max
• Empirical Min
• WebVid-Avg

（2）验证VBench的人类对齐效果

VBench评测结果和人类对齐标注数据高度一致：

（3）在不同类别上评估

动物、建筑、食品、人类、生活方式、植物、风景和交通场景八个视频类别

论文做了哪些实验？

根据论文内容，作者们进行了一系列实验来验证VBench基准测试套件的有效性、与人类感知的一致性，以及提供对视频生成模型的深入洞察。以下是他们进行的主要实验：

1. 按维度评估：对每个评估维度，使用VBench评估方法套件计算得分，并展示结果。这包括与Empirical Max、Empirical Min和WebVid-Avg等参考基线的比较。
2. 验证VBench与人类感知的一致性：通过大规模人类注释来验证VBench评估方法是否能忠实反映人类感知。这涉及到计算每个模型在每个维度上的获胜比例，并与人类偏好注释进行比较。
3. 按类别评估：在八个不同的内容类别中评估文本到视频（T2V）模型的性能，通过生成基于类别的提示套件的视频并计算不同评估维度上的表现。
4. 视频生成与图像生成的比较：对文本到视频（T2V）模型和文本到图像（T2I）模型的帧级生成能力进行比较分析，以评估T2V模型在继承T2I模型帧级生成能力方面的成功程度，并调查现有T2I和T2V模型之间的帧级生成能力差距。
5. 多模型评估：采用LaVie、ModelScope、VideoCrafter和CogVideo等视频生成模型进行VBench评估，并计划将更多开源模型纳入评估。
6. 人类偏好注释：执行人类偏好标注，以验证VBench评估与人类感知的一致性，并展示人类偏好注释在未来任务中的潜在用途，例如微调生成和评估模型以提高与人类感知的一致性。
7. 实验结果的可视化：通过雷达图和其他可视化手段展示实验结果，以清晰地展示不同模型在各个评估维度上的性能。
8. 提供洞察和讨论：基于VBench评估结果，讨论观察到的现象和洞察，例如不同能力维度之间的权衡、特定内容类别中T2V模型的潜力、复杂类别的挑战等。

四、论文总结

这篇论文介绍了VBench，一个全面的视频生成模型基准测试套件。以下是论文的主要内容总结：

1. 问题识别：视频生成技术迅速发展，但现有评估方法无法全面反映人类对生成视频质量的感知，且缺乏对模型优势和劣势的深入洞察。
2. VBench套件介绍：提出了VBench，一个包含16个评估维度的分层和解耦的评估体系，每个维度都有专门的提示和评估方法。
3. 评估维度：VBench的评估维度分为两大类——视频质量和视频条件一致性，进一步细分为多个子维度，如主题一致性、背景一致性、时间闪烁、运动平滑度等。
4. 人类感知对齐：通过收集人类偏好注释来验证VBench评估与人类感知的一致性，并展示了评估结果与人类偏好的高度相关性。
5. 洞察提供：VBench能够提供多角度的反馈，帮助评估现有模型的性能，并为未来模型的训练、数据选择和架构设计提供指导。
6. 实验验证：对LaVie、ModelScope、VideoCrafter和CogVideo等视频生成模型进行了评估，并通过实验展示了VBench的有效性和与人类感知的一致性。
7. 内容类别评估：VBench还包括了按内容类别组织的提示套件，允许在不同类别中评估模型的性能。
8. 图像与视频生成模型比较：使用VBench评估了图像生成模型，并与视频生成模型进行了比较，探讨了两者之间的差异。

五、其他文生视频的benchmark

常见的文生视频评测集benchmark包括：

1. AIGCBench：这是一个全面且可扩展的基准测试，专为评估视频生成任务而设计，特别关注图像到视频（Image-to-Video, I2V）的生成。AIGCBench包括多个维度的评估指标，涵盖控制视频对齐、运动效果、时间一致性和视频质量等方面。它还包括一个多样化的真实世界视频-文本和图像-文本数据集，以及通过专有生成管道产生的新数据集。
2. VBench：VBench是一个全面的视频生成模型基准测试套件，它将“视频生成质量”分解为多个定义明确的维度，以便于进行细致和客观的评估。VBench包括16个维度，如主体身份不一致性、运动平滑度、时间闪烁和空间关系等。它还提供了与人类感知一致的人类偏好注释数据集，以验证基准测试与人类感知的一致性。
3. FETV：FETV是一个用于细粒度评估开放领域文本到视频生成的基准测试。它通过多方面分类文本来评估T2V模型，揭示了不同类别提示下模型的优缺点。FETV还扩展为一个测试平台，用于评估自动T2V指标的可靠性。