DeepSeek技术社区:本地化部署与数据投喂指南
DeepSeek技术社区:本地化部署与数据投喂指南
本文将手把手教你如何本地化部署DeepSeek并投喂数据完成个性化专业定制,小白也能操作,不用命令行进行设置,完全可视化操作。
若想在本地自动投喂数据给DeepSeek,可按以下步骤操作:
一、准备工作
安装Ollama:Ollama是用于本地运行和管理大模型的工具。访问Ollama官网(https://ollama.com),选择适合自己操作系统的版本进行下载安装。官网下载Ollama速度较慢,建议通过其他途径获取安装包。
部署DeepSeek R1模型:安装好Ollama后,打开命令行界面,访问Ollama官网的“模型”选项,找到“DeepSeek R1”,根据电脑显存容量选择合适的模型版本,如1.5b版本等,然后复制对应的下载命令到命令行中执行,完成模型的下载和部署。
二、拉取nomic-embed-text模型
在命令行中输入:
ollama pull nomic-embed-text
拉取nomic-embed-text模型。这个模型在数据投喂过程中用于文本嵌入,是实现数据检索和理解的重要工具。
三、安装和配置AnythingLLM
- 下载安装:进入AnythingLLM官网(https://anythingllm.com/),下载对应操作系统的安装包。安装完成后跳过欢迎界面,直到显示创建工作区,此时为你的工作区随便取一个霸气的名字。
接下来进行界面显示设置:
在外观设置页,将显示语言改为"Chiness":
- 配置模型:
- 在刚才设置外观的界面上点击“人工智能提供商”选项,点击下一级的“LLM首选项”界面,LLM提供商选择Ollama,Ollama Model选择前面下载过的DeepSeek - R1系列模型,选择完毕后记得点击“Savechanges”保存设置,否则不生效。
- 继续点击“Embedder首选项”界面,嵌入引擎提供商选择Ollama,Ollama Embedding Mode选择“nomic-embed-text:latest”,然后点击“保存更改”。这个模型用于解析你投喂的数据。其他用默认设置即可。
- 工作区设置:
- 在工作区界面,点击你创建的工作区,才会显示出工作区设置设置按钮,这个按钮没有提示名字,点击它转到工作区设置界面,
- 在“聊天设置”界面,“工作区LLM提供者”选择“Ollama”,工作区聊天模型选择“deepseek - r1”和LLM首选项对应的模型,并滚动鼠标滚轮翻到最下方点击“Update workspace”保存设置。
- 在代理配置界面,同样设置,选择“Ollama”和“deepseek - r1”模型,点击“Update workspace agent”。
四、投喂数据
- 上传文件:在AnythingLLM的工作区界面,点击一个向上箭头的“上传”按钮,打开资料上传投喂界面:
点击上传文件或拖拽投放区,选择文件打开或直接从资源管理器拖动文件放到该区域也可完成上传。
选择需要上传的文件(AI说支持PDF、Txt、Word、Excel、PPT等常见文档格式,但为了方便,我先用Text格式的来测试投喂成果)先点击上传,
为便于以后管理,可以在文档区建立分类文件夹,将上传的文件移动进去
再在左侧选择已经上传的文件或资料文件夹,点击“Move to Workspace”。
- 保存嵌入:点击“Save and Embed”,等待数据文件上传并嵌入到DeepSeek的知识库中。这个过程中,AnythingLLM会自动处理数据,完成向DeepSeek的数据投喂。
投喂成功后,资料后面就会显示撤回和固定按钮,左侧文档区则已经不存在这些文件,如果要应用于其他工作区,你需要重新上传。
撤回的资料会备注“已缓存”图标。注意,撤回的资料将不在可用于查询。
五、验证投喂结果
投喂完成后,就可以向DeepSeek提问与投喂数据相关的内容,来验证其是否已经理解和记忆了这些信息。
同时,上传的文本文件必须使用UTF-8编码格式,否则识别不了:
同时,1.5b的资料总结能力相当糟糕,基本看不懂资料,资料中明确提示的内容它都不一定能归纳出来,不建议使用,有兴趣的可以自己尝试。
相比之下,32b基本工作正常,归纳资料逻辑清晰准确,但是我的机器跑32b还是稍微有那么一点点卡,等试试14b的能力看看。
下面是14b表现:
看来14b的资料总结能力也还过得去,14b在我机器上可以流畅运行,下面依然是14b的表现,看来比1.5b好的不是一点半点。
继续测试了下14b,看起来表现很不错,可以从上传的资料中总结出主人的酒品一般:
更多功能请自己探索。
此记!