Function Calling 与工具
本章 20 道题 · 完整目录
Q41:Function Calling 中 Constrained Decoding(约束解码)是如何工作的?
详解
Constrained Decoding 核心思想:在模型生成 token 的每一步,实时限制可选的 token 集合,确保输出严格符合预定的格式(如 JSON Schema)。不是生成后再验证,而是在生成过程中就“只能走对的路”。
工作原理——以 JSON Schema 为例:
schema = {
"type": "object",
"properties": {
"name": {"type": "string"},
"age": {"type": "integer", "minimum": 0, "maximum": 150}
},
"required": ["name", "age"]
}
# Constrained Decoding 过程:
# Step 1: 必须生成 "{" → 唯一合法 token
# Step 2: 可以生成 "name" 或 "age" → 合法 token: ['"name"', '"age"']
# Step 3: 假设生成 "name",下一步必须是 "\":\"" → 唯一合法 token
# Step 4: 字符串值,可以生成任意字符 → 但必须在遇到 "," 时停止
# Step 5: 假设遇到 ',"age":' → 必须是整数 → 只能生成数字 token
两种技术实现:
- CFG(Context-Free Grammar):将 JSON Schema 编译为 CFG,每步解码时根据当前语法状态确定合法 token。OpenAI 的 strict: true 据推测使用类似机制——在服务端将 Schema 编译为语法约束,模型侧完全透明,调用方只需传参即可获得 100% 合规输出。
- Logit Masking / Token-level FSM:由 outlines、guidance、lm-format-enforcer 等库使用。将 JSON Schema 编译为确定性有限状态机(FSM),每一步解码时根据当前 FSM 状态计算出下一个合法 token 集合,将非法 token 的 logit 设为 -inf(即 mask 掉)。这种方法在客户端执行,不依赖 API 支持,适用于自部署模型。
# === 方案 A:CFG(服务端,OpenAI strict: true)===
import openai
response = openai.chat.completions.create(
model="gpt-4o",
response_format={
"type": "json_schema",
"json_schema": {
"name": "user_profile",
"strict": True, # 服务端编译 CFG
"schema": {
"type": "object",
"properties": {
"name": {"type": "string"},
"age": {"type": "integer", "minimum": 0, "maximum": 150}
},
"required": ["name", "age"]
}
}
}
)
# === 方案 B:Logit Masking / FSM(客户端,outlines 库)===
from outlines import models, generate
from pydantic import BaseModel
class UserProfile(BaseModel):
name: str
age: int
model = models.transformers("mistralai/Mistral-7B-v0.1")
generator = generate.json(model, UserProfile) # 编译 Schema → FSM
result = generator("Extract user info: John is 28 years old.")
# 每步解码时,非法 token logit 被设为 -inf,输出自动符合 UserProfile
两种方案对比:
| 维度 | CFG (Context-Free Grammar) | Logit Masking / FSM |
|---|---|---|
| 实现复杂度 | 高(需编译为语法解析器) | 中(需维护状态机) |
| 灵活性 | 高(支持嵌套结构) | 中(适合固定 Schema) |
| 性能 | 每步需语法解析 | 快(查表即可) |
| 代表实现 | OpenAI strict: true | outlines, guidance |
实践建议:使用 OpenAI/Anthropic API 时,优先用 strict: true(零成本合规);自部署开源模型时,用 outlines/guidance 的 Logit Masking 方案。
答题要点:用步骤示例说明每步如何限制 token,对比 CFG(服务端)和 Logit Masking / FSM(客户端)两种实现路径。
Q42:如何设计一个高可用的工具注册中心(Tool Registry)?
详解
六大核心组件:
| 组件 | 职责 | 实现方式 |
|---|---|---|
| Schema Store | 存储每个工具的 JSON Schema + 自然语言描述 | PostgreSQL + Redis 缓存 |
| Discovery Service | Agent 启动时动态拉取可用工具列表 | REST API + 定期刷新 |
| Health Monitor | 定期检查工具可用性,自动下线不可用工具 | 每分钟 Ping,连续失败 3 次则下线 |
| Version Manager | 工具版本控制,支持向后兼容、灰度发布 | Semver + 多版本共存 |
| Access Control | 基于角色的工具访问权限 | RBAC(策略引擎 OPA/Casbin) |
| Audit Log | 记录所有工具注册、修改、调用 | Write-Ahead Log + 哈希链 |
MCP Server 作为 Tool Registry 的实现:Anthropic 推出的 MCP Protocol 标准化了 Agent-工具接口,一套协议接所有工具,支持动态发现和安全沙箱。
答题要点:用架构图展示六大组件,说清楚每个组件的职责。
Q43:工具调用失败后,Agent 应该重试还是报错?重试策略如何设计?
详解
决策流程——根据错误类型决定:
| HTTP 状态码 | 错误类型 | 是否重试 | 处理策略 |
|---|---|---|---|
| 408/504(超时) | 可重试 | 是 | 指数退避,最多 5 次 |
| 429(限流) | 可重试 | 是 | 指数退避 + jitter,最多 5 次 |
| 503(服务不可用) | 可重试 | 是 | 指数退避,最多 3 次 |
| 400(参数错误) | 不可重试 | 否 | 反馈给 LLM 修正参数 |
| 401/403(认证/权限) | 不可重试 | 否 | 升级人工处理 |
| 404(资源不存在) | 不可重试 | 否 | 反馈给 LLM 换资源 |
| 500(内部错误) | 不确定 | 重试 1 次 | 1 次后仍失败则上报 |
指数退避代码:
def exponential_backoff_retry(func, max_retries=3, base_delay=1.0):
for attempt in range(max_retries):
try:
return func()
except RetryableError:
if attempt == max_retries - 1:
raise
delay = base_delay * (2 ** attempt) + random.uniform(0, 1)
time.sleep(delay)
答题要点:展示决策流程图(根据错误类型分类处理),说清楚指数退避算法,强调重试次数上限的必要性。
Q44:MCP(Model Context Protocol)是什么?解决了什么问题?
详解
MCP 定义:Anthropic 推出的开放协议——AI Agent 和外部工具之间的“USB-C 接口”。标准化了 Agent 如何发现、调用和交互外部工具。
核心架构:
MCP Client(Agent侧) ←──── MCP Protocol ────→ MCP Server(工具侧)
1. list_tools() 注册工具描述
2. call_tool(name, args) 执行工具
3. read_resource(uri) 访问资源
解决的核心问题:
| 问题(MCP 之前) | MCP 解决方案 |
|---|---|
| 每个工具需要单独的集成代码 | 一套协议接所有工具 |
| 工具描述格式不统一 | 统一的 JSON Schema 描述 |
| Agent 无法动态发现新工具 | list_tools() 动态发现 |
| 安全审计分散 | 统一的安全沙箱和审计 |
答题要点:用“USB-C 接口”类比说明 MCP 的定位,展示架构图和代码示例。
Q45:MCP Server 的设计最佳实践有哪些?
详解
六大最佳实践:
- 细粒度工具:每个工具只做一件事。好的设计:
get_user_by_id、list_user_orders。坏的设计:user_operations(做太多事,Agent 难以选择)。 - 清晰的描述:准确、简洁、包含使用场景。好的描述:“根据关键词搜索商品,返回商品列表。适用于用户想找特定商品时使用。”。坏的描述:“搜索功能”。
- 防御性编程:所有参数做合法性校验,拒绝异常值。
- 幂等设计:使用幂等键,同一操作多次执行结果一致。
- 错误信息友好:返回结构化错误(error_code + message + field),便于 Agent 理解和处理。
- 资源隔离:敏感操作要求额外认证,每个工具有调用频率限制。
答题要点:说出至少 4 个最佳实践,每个都用好/坏对比展示。
Q46:A2A(Agent-to-Agent)协议与 MCP 的区别是什么?它们如何配合使用?
详解
核心区别:
| 维度 | MCP | A2A |
|---|---|---|
| 连接方向 | 垂直连接(Agent ↔ 工具/数据源) | 水平连接(Agent ↔ Agent) |
| 解决的问题 | Agent 如何调用外部 API | Agent 如何委托任务给其他 Agent |
| 通信对象 | 工具(无状态函数) | Agent(有状态、有决策能力的实体) |
配合使用:Agent 内部用 MCP 查询数据库和调用 API(垂直),外部用 A2A 将子任务委托给其他团队的 Agent(水平)。
答题要点:用对比表格说清楚 MCP(垂直/工具)vs A2A(水平/Agent)的区别,用架构图展示如何配合使用。
Q47:A2A 协议中的 Agent Card 是什么?为什么重要?
详解
Agent Card 定义:托管在 /.well-known/agent-card.json 的 JSON 文档,是 Agent 的“身份证”——描述身份、能力、认证要求和协议能力。
重要性:
| 价值 | 说明 |
|---|---|
| 动态发现 | Client Agent 无需硬编码即可找到可用 Agent |
| 能力匹配 | 根据任务需求筛选最合适的 Agent |
| 数字签名 | 支持 JWS 验证,确保未被篡改 |
| 协议协商 | 双方确认支持的 A2A 版本和能力 |
答题要点:展示 Agent Card 的完整 JSON 示例,说清楚四大价值。
Q48:Programmatic Tool Calling 是什么?它如何减少 Token 消耗?
详解
核心思想:让模型生成 Python 脚本在沙箱中编排多个工具调用,而不是每步都通过 LLM 决策。将多步工具调用压缩为一次 LLM 调用。
Token 节省原理:
# 传统方式:3 次 LLM 调用 ≈ 1500 tokens
# Call 1: 搜索用户订单 → LLM 思考 → 调用 search
# Call 2: 查询物流 → LLM 思考 → 调用 logistics
# Call 3: 发送邮件 → LLM 思考 → 调用 email
# Programmatic 方式:1 次 LLM 调用 ≈ 800 tokens
script = """
orders = search_orders(user_id="123")
for order in orders:
logistics = query_logistics(order_id=order.id)
send_email(to=user.email, subject="物流更新", body=logistics.status)
"""
# 在沙箱中执行脚本(无 LLM 调用)
# 节省约 47%
适用场景:批量数据处理、已知流程的自动化、数据管道。
答题要点:用对比表格说明 Token 节省原理,展示代码示例。
Q49:Tool Search 如何解决大规模工具(1000+)的上下文爆炸问题?
详解
问题:1000+ 工具 × 平均 100 tokens/工具 = 100,000 tokens,远超上下文窗口实用上限。
解决方案——Tool Search:
def retrieve_relevant_tools(query, all_tools, top_k=10):
# 将所有工具描述转为 Embedding 存入向量库
query_embedding = embedding_model.encode([query])
distances, indices = vector_index.search(query_embedding, top_k)
return [all_tools[i] for i in indices[0]]
# 每次请求只传递最相关的 10 个工具
relevant_tools = retrieve_relevant_tools(user_query, all_tools, top_k=10)
response = llm.chat(messages, tools=relevant_tools)
效果对比:不使用 Tool Search → ~100,000 tokens/$1.0/次;使用 Tool Search → ~1,000 tokens/$0.01/次。
答题要点:说清楚上下文爆炸的量化问题,展示 Tool Search 的代码实现。
Q50:如何设计一个安全的 Agent 工具调用沙箱?
详解
六大安全要求:
| 要求 | 威胁 | 防护措施 |
|---|---|---|
| 网络隔离 | 访问内网服务(SSRF) | URL 白名单 + 禁止内网 IP |
| 资源限制 | 超大页面导致内存溢出 | CPU/内存/磁盘配额限制 |
| 禁用危险操作 | 文件删除、系统命令 | 禁止 rm/exec/subprocess |
| 超时机制 | 无限循环 | 最大执行 30 秒自动终止 |
| 输入输出审计 | 数据泄露 | 记录所有参数和结果 |
| 无持久状态 | 数据泄露到下次执行 | 每次执行后清理环境 |
沙箱实现(Docker + seccomp):
container = client.containers.run(
image, command=["python", "-c", code],
network_mode="none", # 网络隔离
mem_limit="512m", # 内存限制
cpu_quota=100000, # CPU 限制
pids_limit=10, # 进程数限制
read_only=True, # 只读文件系统
security_opt=["seccomp=restricted.json"], # 系统调用过滤
)
答题要点:用架构图展示沙箱层次,说清楚六大安全要求,展示 Docker 实现代码。
Q51:Agent 调用数据库查询工具时,如何防止 SQL 注入?
详解
五层防护策略:
- 参数化查询:
db.execute("SELECT * FROM users WHERE name = %s", (name,))。即使name = "'; DROP TABLE users; --"也不会执行危险操作。 - 权限最小化:Agent 使用的数据库账号只有 SELECT 权限,无 DELETE/DROP。
- 查询白名单:只允许预定义的查询模板,
ALLOWED_QUERIES = {"get_user_by_id": "SELECT id, name FROM users WHERE id = %s"}。 - 结果脱敏:自动过滤敏感字段(手机号、身份证号)。
- 审计日志:记录所有查询语句和执行者。
答题要点:展示 SQL 注入攻击示例说明危害,说出至少 3 个防护策略并展示代码。
Q52:Agent 调用 Web Search 工具时,如何评估搜索结果的可信度?
详解
五步评估法:
- 来源权重:权威来源(政府网站 0.95、学术期刊 0.90、权威媒体 0.80)> 自媒体(0.30)。
- 交叉验证:同一事实是否被 3+ 独立来源证实。
- 时效性:新闻超过一周算过期,技术信息超过一年可能过时,历史信息不过时。
- 偏见检测:检测来源是否存在已知偏见,内容情感极度过高(|sentiment| > 0.8)可能存在偏见。
- 一致性检查:检测结果之间是否存在矛盾(矛盾时降低置信度或请求人工判断)。
答题要点:说出至少 4 个评估维度,每个维度展示代码实现。
Q53:如何实现 Agent 工具调用的幂等性(Idempotency)?
详解
四大实现方式:
- 幂等键(Idempotency Key):每次工具调用附带唯一 key,服务端检测到重复 key 直接返回上次结果。
- 状态检查:执行前先查状态(如“订单是否已创建”),已存在则跳过。
- 操作日志:记录所有已执行操作,重复请求时查日志。
- 天然幂等操作:优先使用 GET(查询)、PUT(全量更新)、DELETE(删除一次和多次结果相同:用户不存在)。
答题要点:说清楚为什么需要幂等性(Agent 重试场景),展示至少 2 种实现方式的代码。
Q54:Agent 的 Web Browsing 工具如何设计?有哪些安全考量?
详解
六大安全考量:
| 安全项 | 威胁 | 防护措施 |
|---|---|---|
| SSRF 防护 | 访问内网服务 | URL 白名单 + 禁止内网 IP |
| 恶意脚本 | JS 挖矿、攻击代码 | 禁用 JavaScript 执行 |
| 数据泄露 | Cookie/Token 被窃取 | 隔离会话,不共享认证信息 |
| 资源耗尽 | 超大页面导致内存溢出 | 下载大小限制(10MB) |
| 隐藏注入 | display:none 中的提示注入指令 | 提取前去除隐藏元素 |
| 钓鱼识别 | 仿冒网站 | 域名白名单 + HTTPS 强制 |
答题要点:用流程图展示浏览工具的完整流程,用表格列出安全威胁和防护措施。
Q55:如何设计 Agent 的 Code Execution 工具?
详解
设计要点:
- 语言支持:主语言 Python,可扩展 JavaScript/SQL。
- 依赖管理:预装常用库(numpy, pandas),非常用库需申请安装(安全审核后)。
- 沙箱执行:Docker 容器隔离,超时 30 秒,内存 512MB,网络隔离。
- 输出限制:stdout 最大 10KB,错误信息脱敏(隐藏文件路径)。
- 清理:执行后删除临时文件,销毁容器。
答题要点:用流程图展示完整架构,强调沙箱执行和静态分析是安全的核心。
Q56:Agent 的工具调用链路如何实现分布式追踪(Distributed Tracing)?
详解
分布式追踪架构:
用户请求 (Trace-ID: abc-123)
│
▼
Agent Service
│ Span: Agent-Planning (100ms)
├──────────┬──────────┬──────────┐
▼ ▼ ▼ ▼
LLM Call Tool A Tool B Tool C
(500ms) (50ms) (20ms) (200ms)
实现(OpenTelemetry + Jaeger):
with tracer.start_as_current_span("agent-execution") as span:
span.set_attribute("user_id", user.id)
with tracer.start_as_current_span("llm-call") as llm_span:
llm_span.set_attribute("model", "gpt-4")
llm_span.set_attribute("tokens_used", response.usage.total_tokens)
for tool_call in response.tool_calls:
with tracer.start_as_current_span(f"tool-{tool_call.name}"):
# 记录工具调用详情
追踪数据价值:延迟分析(哪个环节慢)、错误定位、成本分析、优化依据。
答题要点:展示追踪架构图(Trace → Spans → Parent-Child 关系),展示 OpenTelemetry 代码实现。
Q57:Function Calling 中的 Partial Function Calling 是什么?有什么应用场景?
详解
Partial Function Calling 核心思想:允许模型在信息不完整时调用工具,缺失参数由工具端通过交互补充。实现了 Agent 和工具间的“多轮协商”。
应用场景:用户说“帮我订个机票”→ Agent 调用 book_flight() 但缺少目的地和日期→ 工具端返回 {"status": "need_more_info", "missing": ["destination", "date"]} → Agent 向用户追问→ 补充后继续调用。
与 A2A 的 input-required 状态关联:A2A 协议中 Server Agent 可以返回 input-required 状态,Client Agent 收到后向用户追问,补充信息后继续任务。
答题要点:用订票场景展示 Partial Calling 的交互流程,说明与 A2A 协议的关联。
Q58:如何优化 Function Calling 的延迟(Latency)?
详解
六大优化策略:
| 策略 | 描述 | 预期效果 |
|---|---|---|
| 模型路由 | 简单调用走轻量模型(Haiku),复杂推理走大模型 | 减少 50%+ LLM 延迟 |
| 工具缓存 | 缓存工具描述和 Schema | 减少上下文 tokens |
| 并行工具调用 | 单次请求并行调用多个独立工具 | 减少串行等待 |
| Streaming | 流式输出 tool_calls,解析到可执行时立即执行 | 降低感知延迟 |
| 预热连接 | 与工具服务端保持长连接 | 避免 TCP 握手开销 |
| 边缘部署 | Agent 部署在靠近工具服务的区域 | 减少网络延迟 |
答题要点:说出至少 4 个优化策略,展示模型路由和 Streaming 的代码实现。
Q59:Agent 的工具调用如何实现版本兼容和灰度发布?
详解
版本管理方案:
工具注册中心
├── get_weather@v1.0.0 (旧版本)
├── get_weather@v1.1.0 (当前版本)
└── get_weather@v2.0.0 (新版本 - 灰度中)
五大策略:① Schema 版本控制({tool_name}@{semver});② 多版本共存(Agent 可指定版本调用);③ 灰度发布(按用户 ID 哈希 5% 流量走新版本);④ Deprecation 通知(旧版本提前 N 个月标记废弃);⑤ 自动适配层(版本差异由适配层处理)。
答题要点:展示版本管理架构,说出至少 3 个策略,展示灰度发布的代码实现。
Q60:如何设计一个支持 100+ 团队共享的企业级工具注册中心?
详解
六大设计要点:
- 命名空间隔离:每个团队独立命名空间,工具 ID 格式
{team}.{service}.{tool}(如team-a.payment.refund)。 - 权限模型:Team Owner 管理本团队工具,Org Admin 管理跨团队共享。
- 审核流程:新工具注册需安全审核(防止恶意工具注入)。
- 使用统计:记录每个工具的调用频率、成功率、延迟,识别“僵尸工具”。
- 文档中心:从 Schema 自动生成工具文档(描述、参数说明、示例、错误码)。
- SLA 保障:关键工具要求 99.9% 可用性,P95 延迟 < 200ms。
答题要点:用架构图展示设计,说出至少 4 个设计要点。