今天是除夕,祝大家新年快乐!
Windows下使用Ollama部署DeepSeek-R1
DeepSeek R1 的成绩完全对标 OpenAI o1,与之前的 DeepSeek V3 相比大幅提升。家用电脑可以在本地部署R1的蒸馏版本(阉割版)。如果想要体验满血版 R1 ,只需要访问官网即可。
主要工具:Ollama,Chatbox,谷歌浏览器/edge
Ollama 是一款用于本地运行大语言模型的工具,支持对 LLM 模型进行管理、训练和推理。通过 Ollama,用户可以在本地机器上运行 GPT-4、BERT 等模型,并利用 Ollama 提供的 Web 界面或客户端 API 进行交互。此外,Ollama 还提供了便捷的 Python 和 Java API,让开发者能够轻松地将其集成到各类应用中。
chatbox可以提供ui,作为附加选项
Ollama:https://ollama.com/
Chatbox:https://chatboxai.app/zh
下载Ollama & 模型
Ollama安装
Ollama可以在官网下载,但是速度非常感人,700多MB在科学上网加持下都要好久
这里使用github镜像加速下载,Ollama github仓库为:https://github.com/ollama/ollama
在release中找到最新版 .exe 文件
下载速度可能还是很慢,可以使用 github加速站 https://github.akams.cn/
将下载链接粘贴到输入框,左侧选择节点后开始下载。如果某个节点很慢,可以多试几个。下载后安装即可。
安装好后打开命令行,输入 ollama
,出现如下输出则为安装成功。
更改 Ollama 位置
Ollama 本体和模型的默认位置都在C盘
Ollama 默认安装位置在用户文件夹下的 \AppData\Local\Programs\Ollama
里,如果想要迁移Ollama到其他位置,需要修改用户变量
打开用户变量中的 Path
进入这个路径,里面是Ollama本体
将所有文件复制到目标文件夹,比如要迁移到 E:\Ollama
将原本 Path
中Ollama路径替换为新路径
重启Ollama即可。
Ollama 默认模型下载位置在用户文件夹下的 .ollama/models
里,如果想要改模型默认位置,需要添加系统变量。
变量名:OLLAMA_MODELS
变量值:完整路径
设置好变量后重启生效
重启后再次打开命令行,输入 ollama
,如果输出正常则为迁移成功。
另一种验证迁移成功的方式:在任务管理器中彻底关闭ollama,然后命令行运行模型,在任务管理器中打开新的ollama进程位置,如果是期望位置则为迁移成功
下载模型
进入Ollama官网的上方Models,找到 deepseek-r1
deepseek-r1模型有蒸馏版本(1.5b-70b),以及满血版本671b。
b:指billion(十亿),1.5b即为有15亿参数。参数越多,运行消耗的资源越多。
以天选五pro为例,验证拉格朗日定理时,14b所消耗的资源如下:
32b消耗资源如下(明显卡顿,出字速度慢):
如果配置不高,可以考虑1.5b/7b 入门体验,配置尚可可以选择8b-32b,高端配置(大概服务器级别了吧?)可以选择70b甚至更高。当然,参数越多,效果也越好。
列表中b-GB对应关系是参数与磁盘大小的关系,而不是与占用内存大小的关系。
选择恰当的模型后,在选择框右侧会出现对应命令。在命令行输入后等待下载完成即可。以32b为例,对用的命令为:ollama run deepseek-r1:32b
注:下载可以ctrl+c
暂停,再次运行run可以继续下载。科学上网下载模型很快
出现最后一行提示词即为下载成功,但是在这个页面只能输入英文,想要输入中文需要退出重进
退出:ctrl+d
,或者输入 /bye
本地客户端Chatbox ui界面 (无法联网)
下载Chatbox,打开设置页面
如果选择OLLAMA API作为模型提供方,但是模型列表没有下载的模型,先在命令行中使用命令:ollama list
查看模型列表,如果没有模型,则需要 ollama run 模型
来下载。
如果有下载的模型但是列表没有,那么检查小托盘是否有ollama图标(ollama是否在运行),如果ollama没有在运行,则在命令行中使用run命令运行任意一个下载好的模型后,重新打开chatbox设置页面即可。
chatbox目前不支持deepseek联网查询
浏览器插件 Page Assist web-ui界面 (可以联网)
保证后台运行ollama
科学上网下载插件:https://chromewebstore.google.com/detail/page-assist-a-web-ui-for/jfgfiigpkhlkbnfnbobbkinehhfdhndo
进入插件界面,右上角齿轮进入设置。侧边栏第一个设置项中,前两个选项为语言设置,可以全设为中文;下方设置搜索引擎,目前测试搜狗能完成国内联网搜索(但是有广告)。
RAG设置里选择常用的模型。
完结撒花