模型部署:本地验证与推理服务
部署前先确认目标:在自己的电脑上验证功能,还是为多个用户提供稳定推理服务。模型许可、硬件、上下文长度和并发需求不同,部署方案也会不同。
从本地实验到应用入口
模型服务可返回文本,不代表 Agent 已可用。还要验证工具调用、结构化输出、长输入和异常返回是否符合应用的预期。
用 Ollama 做本地功能验证
先根据本机资源选择并下载模型,用 ollama list 确认模型名。下面提示输入本机已有的名称,不假定某个模型在所有机器上可用。
ollama list
# 以下 read 写法适用于 macOS 默认 zsh
read -r "MODEL?输入本机已下载的模型名:"
export MODEL
python3 - <<'PY'
import json, os, urllib.request
payload = {
"model": os.environ["MODEL"],
"messages": [{"role": "user", "content": "用一句话解释工具调用。"}],
"stream": False,
}
request = urllib.request.Request(
"http://127.0.0.1:11434/api/chat",
data=json.dumps(payload).encode(),
headers={"Content-Type": "application/json"},
)
with urllib.request.urlopen(request, timeout=120) as response:
result = json.load(response)
print(result["message"]["content"])
PY
Ollama 原生聊天接口是 /api/chat,OpenAI 兼容接口则使用 /v1 路径,字段与能力不能仅靠地址替换来推定。原生 API · Chat 接口
用 vLLM 提供推理服务
vLLM 提供在线推理与 OpenAI 兼容接口。准备与目标硬件兼容的运行环境后,先用本地已下载、受支持的模型路径启动最小服务,再接网关和应用。在线服务官方文档
# 先替换成已下载且受支持的模型路径
MODEL_PATH=/absolute/path/to/model
vllm serve "$MODEL_PATH" --host 127.0.0.1 --port 8000
# 另一个终端检查服务返回的模型列表
curl --fail http://127.0.0.1:8000/v1/models
工具调用可能还需要相应模型模板和解析器;配置项随版本变化,应按目标模型的官方服务示例核对。基础聊天能成功,不能证明全部兼容能力都已通过验证。
容量从测量开始
权重的粗略存储估算是“参数量 × 每参数字节数”,不包含运行时开销。KV Cache、上下文长度、并发、量化与计算图等都会改变实际显存或内存需求。
| 测试组合 | 记录内容 | 要回答的问题 |
|---|---|---|
| 短输入、短输出、单请求 | 首段输出耗时、总耗时 | 基础链路是否通畅 |
| 长输入、短输出 | 内存、预填充耗时 | 上下文长度影响多大 |
| 短输入、长输出 | 输出速率、资源占用 | 生成阶段是否满足需求 |
| 逐级增加并发 | P95、错误率、队列等待 | 服务何时进入过载 |
应用上线前的功能清单
确认模型标识和版本、超时、取消、限流、流式断连、输出校验以及服务不可用时的反馈。面向外部的入口应按业务要求配置身份和访问范围,不直接把本地实验服务暴露为公共接口。
这页提供部署路径与请求示例,没有替你的机器验证 GPU 容量。可继续用 Agent 循环实验 检查工具协议,再建立 质量与延迟基线。