289 字
1 分钟
本地大模型部署
2025-11-06

下载安装Ollama#

直通车:https://ollama.com/download/windows

安装之后,Ollama已经运行了,它是CMD命令工具,我们可以在命令行输入ollama来验证,是否安装成功

image-20251106011713969

image-20250312191834256

安装DeepSeek-r1模型#

image-20251106011716718

我们选择DeepSeek-r1

我这里选择的比较大,是70b

默认下在C盘,那么我们最好先改下环境变量,方便下到其他盘

更改环境变量#

  • 系统环境变量

    变量值填你想下载的目录

image-20251106011719563

  • 用户变量

image-20251106011722381

image-20251106011725343

更改完毕后重启ollama即可

正式下载#

ollama run deepseek-r1:70b

image-20251106011728921

丸辣步子迈大了,改下32b

ollama run deepseek-r1:32b

image-20251106011731670

我们启动也可以直接用这个指令

ollama run deepseek-r1:32b

又丸辣,带不动,再次降低为14b,下三次了xd

ollama run deepseek-r1:14b

image-20251106011735486

配置 UI#

我这里使用的是ChatBox

https://chatboxai.app/zh

官方参考配置https://chatboxai.app/zh/help-center/connect-chatbox-remote-ollama-service-guide

image-20251106011739372

选择Ollama API,配置如下

image-20251106011742349

[+]本人使用的大模型#

参考内容16g

ollama run deepseek-r1:14b
ollama run gemma3:12b
# 下面两个代码相关问题要好点
ollama run phi4
ollama run codellama:13b
ollama run deepseek-coder:6.7b
ollama run qwen2.5-coder:7b
  • VScode copilot可以使用本地大模型

    先启动大模型,跑起来,然后如下图,选择即可

image-20251106011804755

本地大模型部署
https://mizuki.mysqil.com/posts/本地大模型部署/
作者
sh4d0w
发布于
2025-11-06
许可协议
CC BY-NC-SA 4.0

部分信息可能已经过时