Windows 部署

选择模型

查看自身电脑情况

由于自身电脑的情况，我就只能选择第一个，否则无法运行的

选中之后，复制右侧框框里面的安装命令到 cmd 中运行：ollama run deepseek-r1:1.5b

然后，你就可以在本地使用这个大模型

常用命令

ollama serve         #启动ollama
ollama create        #从模型文件创建模型
ollama show          #显示模型信息
ollama run           #运行模型
ollama pull          #从注册表中拉取模型
ollama push          #将模型推送到注册表
ollama list          #列出模型
ollama cp            #复制模型
ollama rm            #删除模型
ollama help          #获取有关任何命令的帮助信息

解决国内下载问题

访问：https://modelscope.cn/models

点击上方模型库，搜索框输入直接要的模型库，要求为 GGUF 文件格式（务必如此）。

就可以下载模型：

下载完成之后，还需要添加一个文件，保存为 txt 文件。

FROM ./DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf    
PARAMETER temperature 0.7                       
PARAMETER top_p 0.95
PARAMETER top_k 40
PARAMETER repeat_penalty 1.1
PARAMETER min_p 0.05
PARAMETER num_ctx 1024                 
PARAMETER num_thread 4                  
PARAMETER num_gpu 8                     


# 设置对话终止符
PARAMETER stop "<｜begin▁of▁sentence｜>"
PARAMETER stop "<｜end▁of▁sentence｜>"
PARAMETER stop "<｜User｜>"
PARAMETER stop "<｜Assistant｜>"


SYSTEM """
"""

TEMPLATE """{{- if .System }}{{ .System }}{{ end }} 
{{- range $i, $_ := .Messages }} 
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<｜User｜>{{ .Content }}
{{- else if eq .Role "assistant" }}<｜Assistant｜>{{ .Content }}{{- if not $last }}<｜end▁of▁sentence｜>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }} 
{{- end }}"""

总的如下：

在当前目录启动 cmd 窗口：

就可以启动这个模型并使用：

Windows 部署

常用命令

解决国内下载问题

推荐学习