跳到主要内容

实验:让本地模型读取工具再回答

这个实验用 Python 标准库连接本机 Ollama。模型可以请求一个只读工具 read_note,程序校验参数并返回教学笔记,模型再依据结果回答。目标是看清“模型生成调用”和“程序真实执行”的边界。

先看数据与限制​

笔记只有 Agent、MCP 和 RAG 三条,均是写在代码里的教学材料,不是外部知识库。程序最多进行 4 轮模型请求,每轮最多执行 3 个工具调用;只能读取允许的笔记 ID。

接口字段按 Ollama 工具调用文档 组织,使用原生 /api/chat,不是 OpenAI Responses API。

实现工具循环​

  1. 用字典保存三条笔记,键设为 agent、mcp 和 rag。
  2. 向 /api/chat 提供 read_note 的工具定义,参数为 note_id。读取 message.tool_calls,每次调用前检查工具名、参数和笔记 ID。
  3. 将助手发出的调用追加到消息历史,再把执行结果作为 tool 消息回传。模型给出最终文本或达到循环预算时退出。

先用固定的模型响应做离线检查,覆盖允许的工具、非法参数、结果回传和循环预算。

接入本机已有模型​

确认 Ollama 已运行,从 ollama list 中选择支持工具调用的本地模型。用「MCP 解决什么问题?」发起实验请求。

程序访问固定的 http://127.0.0.1:11434/api/chat,不需要外部 API Key。未启动服务、模型不存在或不支持工具时,应先按错误检查模型服务,不要把它误判为 Python 循环失效。

观察程序真正做了什么​

位置内容用途
标准错误输出步数、工具名、执行结果观察调用轨迹
标准输出终止状态、步数、模型回答检查本轮结果
teaching-note:mcp 等 ID工具提供的证据标识人工核对引用

正常问题应看到读取相应笔记的调用,回答引用该笔记。再问“今天的某项实时数据是多少”,预期说明资料不足;如果模型编造答案或没有调用工具,这就是一个应保存的失败样本。

验收与当前边界​

  • 运行时拒绝未知工具、未知笔记和额外参数。
  • 达到步数或单轮工具预算后返回明确状态。
  • 没有工具调用的最终文本标记为 model_answer,不自动声称已通过事实验收。
  • 当前引用由人工核对,没有持久检查点、自动事实判定或外部写操作。

完善实验时,先加入引用检查与失败样本,再考虑 持久记忆 和 多 Agent。