从零开始部署CogVideoX-2b：视频生成技术的革命性突破
从零开始部署CogVideoX-2b：视频生成技术的革命性突破
CogVideoX的出现，为视频制作领域带来了革命性的变化。它不仅通过3D变分自编码器技术将视频文件压缩至惊人的2%，还通过3D旋转位置编码技术增强了视频的时间流动性。本文将详细介绍如何从零开始安装和部署CogVideoX-2b，让读者能够快速上手这一前沿视频生成工具。
CogVideoX 介绍
CogVideoX的问世，标志着视频制作技术迈入了一个全新的时代。它不仅打破了传统视频制作在效率与质量之间的平衡难题，还通过其先进的3D变分自编码器技术，实现了视频数据的极致压缩，仅需原本的2%，大幅降低了资源消耗，同时保证了视频播放的流畅性。这种技术的应用，让视频创作变得更加自由和灵活，为创作者提供了一个广阔的创作空间，激发了更多的创新作品。
CogVideoX的3D旋转位置编码技术，增强了视频在时间轴上的流动性，让每一帧画面都充满活力，仿佛拥有了生命力。智谱AI的端到端视频理解模型，能够精准捕捉用户需求，生成与用户需求紧密相关的视频内容，这不仅改变了视频生成的规则，也为视频创作领域的未来发展开辟了新的可能性
至此视频制作迎来了革新者——CogVideoX，它以其突破性的3D自编码器技术，将视频文件压缩至惊人的2%大小，不仅极大降低了存储和带宽需求，还保证了播放的流畅性，为视频制作领域带来了一场效率革命。
创建实例
本次实践流程在GPU云服务器上进行部署和初步使用 CogVideoX，进入控制台，选择 GPU 云实例，点击创建实例。
探索CogVideoX，开启视频制作的新纪元。在FP-16精度下，这款工具至少需要18GB显存来驱动其强大的推理能力，而微调则需要高达40GB的显存来支持。为了充分发挥其潜力，推荐选择性能卓越的L40S显卡或最新的4090显卡。在存储方面，可以选择标准的100GB系统盘搭配50GB数据盘，确保视频项目顺畅运行。
镜像选择 PyTorch2.3.0、Ubuntu-22.04，CUDA12.1镜像。
创建登录实例，点击创建密钥对，输入个名称即可创建。
实例创建成功。
配置环境和依赖
平台已预置了调试好的代码库，可开箱即用，进入 JupyterLab 后，打开终端，首先拉取 CogVideo 代码的仓库。
wget http://file.s3/damodel-openfile/CogVideoX/CogVideo-main.tar
下载完成后解压缩 CogVideo-main.tar，完成后进入 CogVideo-main 文件夹，输入安装对应依赖。
依赖安装好后，可以在终端输入 python，进入python环境，输入代码进行测试：
import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video
没有报错就说明依赖安装成功！输入 quit() 可退出 python。
模型与配置文件
除了配置代码文件和项目依赖，还需要上传 CogVideoX 模型文件和对应的配置文件，平台已为您预置了 CogVideoX 模型，您可内网高速下载。
cd /root/workspace
wget http://file.s3/damodel-openfile/CogVideoX/CogVideoX-2b.tar
下载完成后解压缩 CogVideoX-2b.tar。
tar -xf CogVideoX-2b.tar
解压后的效果图：
运行
进入 CogVideo-main 文件夹，运行 test.py 文件。
cd /root/workspace/CogVideo-main
python test.py
在test.py的代码中，我们主要应用了diffusers库里的CogVideoXPipeline模型。这个模型加载了一个经过预训练的CogVideo模型，根据输入的具体文本提示（prompt），它能够生成相应的视频内容。
import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video
# prompt里写自定义想要生成的视频内容
prompt = "A panda, dressed in a small, red jacket and a tiny hat, sits on a wooden stool in a serene bamboo forest. The panda's fluffy paws strum a miniature acoustic guitar, producing soft, melodic tunes. Nearby, a few other pandas gather, watching curiously and some clapping in rhythm. Sunlight filters through the tall bamboo, casting a gentle glow on the scene. The panda's face is expressive, showing concentration and joy as it plays. The background includes a small, flowing stream and vibrant green foliage, enhancing the peaceful and magical atmosphere of this unique musical performance."
pipe = CogVideoXPipeline.from_pretrained(
"/root/workspace/CogVideoX-2b", # 这里填CogVideo模型存放的位置，此处是放在了数据盘中
torch_dtype=torch.float16
).to("cuda")
# 参数do_classifier_free_guidance设置为True可以启用无分类器指导，增强生成内容一致性和多样性
# num_videos_per_prompt控制每个prompt想要生成的视频数量
# max_sequence_length控制输入序列的最大长度
prompt_embeds, _ = pipe.encode_prompt(
prompt=prompt,
do_classifier_free_guidance=True,
num_videos_per_prompt=1,
max_sequence_length=226,
device="cuda",
dtype=torch.float16,
)
video = pipe(
num_inference_steps=50,
guidance_scale=6,
prompt_embeds=prompt_embeds,
).frames[0]
export_to_video(video, "output.mp4", fps=8)
运行成功后，可以在 CogVideo-main 文件夹中找到对应 prompt 生成的 output.mp4 视频。
模型官方也提供了webUIDemo，进入 CogVideo-main 文件夹，运行 gradio_demo.py 文件。
cd /root/workspace/CogVideo-main
python gradio_demo.py
通过平台提供的端口映射能力，把内网端口映射到公网，进入GPU 云实例页面，点击操作-更多-访问控制。
点击添加端口，添加 7870 端口。
添加成功后，通过访问链接即可访问到刚刚启动的 gradio 页面。
效果
A street artist, clad in a worn-out denim jacket and a colorful bandana, stands before a vast concrete wall in the heart, holding a can of spray paint, spray-painting a colorful bird on a mottled wall.
作为一个用户，无论是在观看体验，还是在个性化需求上，CogVideoX都能提供超越过去的全新体验。
这不仅因为其压缩后的视频质量有了显著的提升，更因为其独特的编码技术，使得视频的流畅度和连贯性得到了保证。
而对于创作者来说，CogVideoX为其提供了一个更为广阔的舞台，这个舞台不仅允许他们挥洒创新，实现自我，而且其独特的AI模型可以帮助他们更好地理解和满足观众的需求。当创新遇上技术，未来的可能性将会无限。