资讯

历史

科技

环境与自然

成长

游戏

财经

文学与艺术

美食

健康

家居

文化

情感

汽车

三农

军事

旅行

运动

教育

生活

星座命理

零基础部署大模型：从入门到实战

创作时间:

作者:

@小白创作中心

零基础部署大模型：从入门到实战

引用

CSDN

https://blog.csdn.net/xxue345678/article/details/140434298

看了那么多chatGPT的文章，作为一名不精通算法的开发人员，也对大模型产生了浓厚的兴趣。但是，想要部署自己的大模型，不仅需要算法相关的经验，还需要大量的算力资源。本文将为你提供一个详细的指南，帮助你部署属于自己的大模型。

部署清华ChatGLM大模型

下载模型

由于模型较大（约13G），建议先将模型下载到本地。你可以从以下仓库下载模型：

模型文件仓库：
https://huggingface.co/THUDM/chatglm-6b

下载模型仓库需要安装Git LFS（Large File Storage），它用来拉取Git仓库中的大型文件，比如这次用到的模型bin文件。在Ubuntu下安装Git LFS，可以使用如下命令：

sudo apt-get update
sudo apt-get install git-lfs

完成后，克隆模型仓库：

git clone https://huggingface.co/THUDM/chatglm-6b

有可能网络波动会导致拉取卡住，可以手动停止掉，然后进入文件夹内：

git lfs pull

部署模型

完成模型下载后，下载模型运行代码：

git clone https://github.com/THUDM/ChatGLM-6B.git

进入文件夹，创建Python的虚拟环境：

virtualenv -p /usr/bin/python3.8 venv

激活Python虚拟环境：

source venv/bin/activate

如果遇到如下的报错，需要额外安装一下python3-dev：

Could not build wheels for pycocotools, which is required to install pyproject.toml-based projects
error: command ‘/usr/bin/x86_64-linux-gnu-gcc’ failed with exit code 1
sudo apt-get install python3-dev

由于我们本地提前下载好了模型，我们需要修改一下代码，使用本地模型的路径。将使用到的代码中，路径都从THUDM/chatglm-6b改为你的路径，比如我们的模型下载在/mnt/workspace/chatglm-6b，我们将两种部署模型的主代码文件都修改一下，都修改为如下图所示的路径：

cli_demo.py: 命令行交互界面
web_demo.py:Web图形交互界面

我们直接用官方提供的网页版Demo来跑模型，启动web_demo.py，开始模型部署，首先会将模型读入内存，占用约13个G。

完成后，内存会被释放，开始占用GPU显存13g。

最终，部署完成会得到服务公网和本地网址。

对话效果展示

回答还是比较快的，在我们V100显卡的机器上，提问后1-2秒内就会开始回答问题。

以下是一个完整的对话：

我：写一个Java单例模式代码

ChatGLM：以下是一个简单的Java单例模式代码示例：

public class Singleton {
    private static final Singleton INSTANCE = new Singleton();
    private Singleton() {}
    public static Singleton getInstance() {
        return INSTANCE;
    }
}

在这个示例中，Singleton 类是一个静态类，它有一个静态成员变量 INSTANCE，它初始化为一个单例对象。getInstance 方法返回这个单例对象的实例，可以像任何其他方法一样使用。

单例对象通常被用于确保一个类只有一个实例，并提供全局访问点。使用 getInstance 方法可以方便地获取单例对象，而无需担心多个线程同时访问同一个对象。

需要注意的是，在实际应用中，单例对象应该尽量避免被频繁创建和销毁，因为这样会增加内存开销和维护成本。因此，可以考虑使用懒加载(lazy loading)的方式来避免频繁创建单例对象。

我：可以换一个方式实现吗，比如懒汉式？

ChatGLM：当然可以，懒汉式单例模式的具体实现方式如下：

将 Singleton 类做成一个接口。
实现 Singleton 接口的类可以是多个，但它们都应该使用 getInstance 方法来获取单例对象，并返回一个指向该对象的引用。
实现 Singleton 接口的类中，可以有一个内部类来负责创建单例对象。
内部类应该实现 static 关键字，并使用 synchronized 关键字实现线程安全。
内部类应该覆盖 getInstance 方法，以实现懒加载。例如，可以创建一个静态变量来存储单例对象，并在需要时才创建该变量。
在需要使用单例对象的地方，可以调用内部类的方法，来获取单例对象。

以下是一个懒汉式单例模式的示例代码：

public interface Singleton {
    static Singleton INSTANCE;
}
public class ConcreteSingleton implements Singleton {
    private static Singleton INSTANCE = new ConcreteSingleton();
    @Override
    public Singleton getInstance() {
        return INSTANCE;
    }
}
public class LazySingleton implements Singleton {
    private static Singleton INSTANCE;
    private Singleton() {}
    public static Singleton getInstance() {
        synchronized (LazySingleton.class) {
            return INSTANCE;
        }
    }
}

在这个示例中，ConcreteSingleton 类使用 getInstance 方法来创建单例对象，并使用 synchronized 关键字实现线程安全。LazySingleton 类使用 synchronized 关键字实现懒加载，只有在需要时才创建单例对象。

需要注意的是，懒汉式单例模式仍然需要保证线程安全，因此在使用懒加载时，需要考虑线程安全问题。此外，懒汉式单例模式可能无法充分利用类的空间，因为它需要使用共享对象来实现懒加载，因此需要考虑如何提高类的性能和空间利用率。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。