问小白 wenxiaobai
资讯
历史
科技
环境与自然
成长
游戏
财经
文学与艺术
美食
健康
家居
文化
情感
汽车
三农
军事
旅行
运动
教育
生活
星座命理

DeepSeek开源多模态模型Janus-Pro的ComfyUI使用教程

创作时间:
作者:
@小白创作中心

DeepSeek开源多模态模型Janus-Pro的ComfyUI使用教程

引用
CSDN
1.
https://deepseek.csdn.net/67b02bbdc8869b4726b5638c.html

DeepSeek于2025年1月27日开源了多模态模型Janus-Pro,该模型同时具备图像理解和生成的能力。本文将详细介绍如何在ComfyUI中使用Janus-Pro模型,包括安装方法、模型下载和工作流配置等步骤。

模型简介

Janus Pro 是 DeepSeek 于 2025年1月27日开源的多模态模型,同时具有图像理解和生成的能力。ComfyUI 的 Janus-Pro 节点是一个统一的多模态理解和生成框架。

安装方法

通过 ComfyUI Manager 安装(推荐)

  1. 安装 ComfyUI-Manager
  2. 在管理器中搜索 “Janus-Pro”
  3. 点击安装

手动安装

将此仓库克隆到你的 ComfyUI 的 custom_nodes 文件夹中:

cd ComfyUI/custom_nodes
git clone https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro

安装所需依赖:

对于Windows系统:

# 如果你使用ComfyUI便携版
cd ComfyUI-Janus-Pro
..\..\..\python_embeded\python.exe -m pip install -r requirements.txt

# 如果你使用自己的Python环境
cd ComfyUI-Janus-Pro
path\to\your\python.exe -m pip install -r requirements.txt

对于其他系统:

# 使用ComfyUI的Python环境
cd ComfyUI-Janus-Pro
../../python_embeded/bin/python -m pip install -r requirements.txt

# 或者使用你的环境
cd ComfyUI-Janus-Pro
python -m pip install -r requirements.txt

安装注意事项

如果你遇到安装问题可以从一下几个方面排查:

  • 确保已安装 git
  • 尝试更新 pip:
    python -m pip install --upgrade pip
    
  • 如果使用代理,确保 git 可以访问 GitHub
  • 确保使用的是与 ComfyUI 相同的 Python 环境

模型下载

  1. 在 ComfyUI 的 models 目录下创建 Janus-Pro 文件夹
  2. 从 Hugging Face 下载模型:
  1. 将模型解压到各自的文件夹中:
ComfyUI/models/Janus-Pro/Janus-Pro-1B/
ComfyUI/models/Janus-Pro/Janus-Pro-7B/

工作流使用说明

  1. 在序号1 选择 1B 或者 7B 模型
  2. 在序号2 上传你需要用于 Janus Pro 解读的图片
  3. 在序号3 可以调整用于图片描述的 Prompt,支持中文、英文、日语等多种语言输入
  4. 序号4 是一个展示 文本的节点,使用ComfyUI-Custom-Scripts 插件中的 Show Text 节点
  5. 在序号5 中输入用于图像生成的 prompt

总结

通过本文的介绍,读者可以快速掌握如何在ComfyUI中使用DeepSeek开源的Janus-Pro模型。这个模型提供了强大的多模态处理能力,无论是图像理解还是生成,都能满足用户的需求。希望这篇文章能帮助大家更好地利用这个优秀的开源工具。

© 2023 北京元石科技有限公司 ◎ 京公网安备 11010802042949号