AMD显卡下Ollama本地部署大模型

一、下载ollama

下载地址：https://ollama.com/download

http://localhost:11434/

二、选择并下载模型

模型搜索地址：https://ollama.com/search

比如我要下载deepseek的deepseek-coder-v2-lite-instruct模型，在https://ollama.com/mannix/deepseek-coder-v2-lite-instruct中点击下面截图的命令执行即可

使用模型

三、ollama不支持【AMD Radeon RX 6750 GRE 12GB】显卡

利用社区工具解决：

• AMD 显卡解锁 Ollama 支持：没有 N 卡也能跑大模型
• Windows Ollama AMD GPU ROCm 以支持受限 GPU 显卡

• https://github.com/likelovewant/ollama-for-amd

四、可视化工具

上述是直接在终端中进行问答，为了日常方便，可以使用网页版来进行日常问答，这里推荐两个（类似的产品非常多，GitHub随便找）：

1. open-webui（官方GitHub仓库推荐的）
2. Chatbox

1. open-webui

官方地址：https://github.com/open-webui/open-webui

下载：

运行：open-webui serve

注册：一个管理员账号

具体使用：如下图，可以看到当大模型正在处理过程中，GPU在全力计算

2. Chatbox

Chatbox可以使用本地模型来进行对话，本地设置

测试一下问答

五、Cursor接入本地模型

编程比较好的大模型

https://ollama.com/library/qwen2.5-coder