客户中心
网站
简体中文
← 知识库

在 VPS 上使用 Ollama 运行小型语言模型

Ollama 可下载语言模型,并通过简单的本地 API 提供服务。CPU VPS 适合学习、轻量文本实验和私有原型,但服务能启动不代表大模型运行迅速。此处以 Qwen2.5 0.5B 作为小型、可重复的基础测试,并非将它推荐为所有任务的最佳模型。

目标环境: Ubuntu Server 24.04 LTS、x86-64、SSH 和 sudo 账户。文档审核日期:2026 年 11 月 15 日。命令尚未在 Ubuntu 上完成端到端测试。

开始之前

评估可从约 2 个 vCPU、4 GB 内存和 10 GB 可用磁盘开始。模型权重、上下文缓存和并发请求会消耗额外内存。请检查各模型许可证、语言质量和内存要求;更大的模型通常需要更多内存或 GPU。

这些资源数值仅为小规模评估的规划估算,不是性能保证或套餐规格。VPS/VDS 不代表包含 GPU。下单前请检查可用内存、存储和其他资源。

全新 Ubuntu 可使用以下软件包。如果 Docker 已从其他仓库安装,请保留并先检查兼容性,不要混用 Docker CE 和 docker.io 软件包。使用 Compose v2;缺少软件包时,请检查是否启用 Ubuntu Universe。

sudo apt update
sudo apt install -y docker.io docker-compose-v2 curl openssl
sudo systemctl enable --now docker
sudo docker compose version

所有示例仅将端口发布到服务器的 127.0.0.1。请从本机通过 SSH 隧道访问,无需域名。不要将这些端口开放到互联网。容器内部监听 0.0.0.0 不会改变宿主机端口仅绑定回环地址的事实。

以下项目均为全新安装。不要对现有部署重新执行密钥生成步骤。

1. 定义模型服务

创建项目,然后保存 compose.yaml。模型存储是持久化的。本例不请求 GPU 设备,明确使用 CPU。

umask 077
mkdir -p ~/ai-ollama
cd ~/ai-ollama
services:
  ollama:
    image: ollama/ollama:latest
    restart: unless-stopped
    ports:
      - "127.0.0.1:11434:11434"
    environment:
      OLLAMA_NUM_PARALLEL: "1"
      OLLAMA_CONTEXT_LENGTH: "2048"
    volumes:
      - models:/root/.ollama
volumes:
  models:

2. 下载并查询小型模型

拉取镜像并不等于下载模型。请在 VPS 上运行以下命令,首次生成时加载权重可能需要时间。成功的 JSON 响应包含生成的 message 和 done: true。

sudo docker compose up -d
sudo docker compose exec ollama ollama pull qwen2.5:0.5b
curl --fail-with-body --max-time 180 http://127.0.0.1:11434/api/chat   -H 'Content-Type: application/json'   -d '{"model":"qwen2.5:0.5b","messages":[{"role":"user","content":"Explain what a VPS is in two sentences."}],"stream":false,"options":{"num_ctx":2048,"num_predict":100}}'
sudo docker compose exec ollama ollama ps

3. 从本机访问

笔记本上的应用请通过 SSH 隧道连接 http://127.0.0.1:11434。Ollama 本地 API 不是具备公共认证的网关;界面的登录保护无法保护单独暴露的模型端口。

ssh -N -L 127.0.0.1:11434:127.0.0.1:11434 YOUR_USER@YOUR_SERVER_IP

4. 扩容前先测量

请求期间使用 sudo docker stats --no-stream。容器被终止时,请检查宿主机内存不足事件,减小模型或上下文,并增加内存;交换空间无法替代足够的内存。最初只保留一个并发请求。下载的本地模型在本服务器上推理;选择云模型或外部集成会改变提示词发送位置。请记录准确模型名、摘要及自定义 Modelfile。

更新与恢复

升级前停止应用以制作一致性备份,将数据和密钥保留在 VPS 之外,并在独立实例测试恢复。示例中的浮动镜像标签用于初期评估;长期使用前请固定已审核的版本或摘要。可通过 sudo docker image inspect IMAGE_NAME --format '{{json .RepoDigests}}' 记录当前摘要。不要在未检查兼容性时无人值守升级,也不要用 down -v 删除持久卷。

启动失败时,请检查 sudo docker compose ps、近期日志、剩余磁盘和内存。不要分享包含密钥、提示词或个人数据的日志。目录权限出错时,应核对预期 UID/GID 与所有权,不要授予 777。共享访问前请配置 HTTPS、认证和请求限制。

相关部署