跳到主要内容

模型部署:本地验证与推理服务

部署前先确认目标:在自己的电脑上验证功能,还是为多个用户提供稳定推理服务。模型许可、硬件、上下文长度和并发需求不同,部署方案也会不同。

从本地实验到应用入口​

模型服务可返回文本,不代表 Agent 已可用。还要验证工具调用、结构化输出、长输入和异常返回是否符合应用的预期。

用 Ollama 做本地功能验证​

先根据本机资源选择并下载模型,用 ollama list 确认模型名。下面提示输入本机已有的名称,不假定某个模型在所有机器上可用。

ollama list
# 以下 read 写法适用于 macOS 默认 zsh
read -r "MODEL?输入本机已下载的模型名:"
export MODEL
python3 - <<'PY'
import json, os, urllib.request
payload = {
"model": os.environ["MODEL"],
"messages": [{"role": "user", "content": "用一句话解释工具调用。"}],
"stream": False,
}
request = urllib.request.Request(
"http://127.0.0.1:11434/api/chat",
data=json.dumps(payload).encode(),
headers={"Content-Type": "application/json"},
)
with urllib.request.urlopen(request, timeout=120) as response:
result = json.load(response)
print(result["message"]["content"])
PY

Ollama 原生聊天接口是 /api/chat,OpenAI 兼容接口则使用 /v1 路径,字段与能力不能仅靠地址替换来推定。原生 API · Chat 接口

用 vLLM 提供推理服务​

vLLM 提供在线推理与 OpenAI 兼容接口。准备与目标硬件兼容的运行环境后,先用本地已下载、受支持的模型路径启动最小服务,再接网关和应用。在线服务官方文档

# 先替换成已下载且受支持的模型路径
MODEL_PATH=/absolute/path/to/model
vllm serve "$MODEL_PATH" --host 127.0.0.1 --port 8000

# 另一个终端检查服务返回的模型列表
curl --fail http://127.0.0.1:8000/v1/models

工具调用可能还需要相应模型模板和解析器;配置项随版本变化,应按目标模型的官方服务示例核对。基础聊天能成功,不能证明全部兼容能力都已通过验证。

容量从测量开始​

权重的粗略存储估算是“参数量 × 每参数字节数”,不包含运行时开销。KV Cache、上下文长度、并发、量化与计算图等都会改变实际显存或内存需求。

测试组合记录内容要回答的问题
短输入、短输出、单请求首段输出耗时、总耗时基础链路是否通畅
长输入、短输出内存、预填充耗时上下文长度影响多大
短输入、长输出输出速率、资源占用生成阶段是否满足需求
逐级增加并发P95、错误率、队列等待服务何时进入过载

应用上线前的功能清单​

确认模型标识和版本、超时、取消、限流、流式断连、输出校验以及服务不可用时的反馈。面向外部的入口应按业务要求配置身份和访问范围,不直接把本地实验服务暴露为公共接口。

这页提供部署路径与请求示例,没有替你的机器验证 GPU 容量。可继续用 Agent 循环实验 检查工具协议,再建立 质量与延迟基线。