跳到主要内容

Function Calling 与工具

本章 20 道题 · 完整目录

Q41:Function Calling 中 Constrained Decoding(约束解码)是如何工作的?​

详解​

Constrained Decoding 核心思想:在模型生成 token 的每一步,实时限制可选的 token 集合,确保输出严格符合预定的格式(如 JSON Schema)。不是生成后再验证,而是在生成过程中就“只能走对的路”。

工作原理——以 JSON Schema 为例:

schema = {
"type": "object",
"properties": {
"name": {"type": "string"},
"age": {"type": "integer", "minimum": 0, "maximum": 150}
},
"required": ["name", "age"]
}

# Constrained Decoding 过程:
# Step 1: 必须生成 "{" → 唯一合法 token
# Step 2: 可以生成 "name" 或 "age" → 合法 token: ['"name"', '"age"']
# Step 3: 假设生成 "name",下一步必须是 "\":\"" → 唯一合法 token
# Step 4: 字符串值,可以生成任意字符 → 但必须在遇到 "," 时停止
# Step 5: 假设遇到 ',"age":' → 必须是整数 → 只能生成数字 token

两种技术实现:

  1. CFG(Context-Free Grammar):将 JSON Schema 编译为 CFG,每步解码时根据当前语法状态确定合法 token。OpenAI 的 strict: true 据推测使用类似机制——在服务端将 Schema 编译为语法约束,模型侧完全透明,调用方只需传参即可获得 100% 合规输出。
  2. Logit Masking / Token-level FSM:由 outlines、guidance、lm-format-enforcer 等库使用。将 JSON Schema 编译为确定性有限状态机(FSM),每一步解码时根据当前 FSM 状态计算出下一个合法 token 集合,将非法 token 的 logit 设为 -inf(即 mask 掉)。这种方法在客户端执行,不依赖 API 支持,适用于自部署模型。
# === 方案 A:CFG(服务端,OpenAI strict: true)===
import openai
response = openai.chat.completions.create(
model="gpt-4o",
response_format={
"type": "json_schema",
"json_schema": {
"name": "user_profile",
"strict": True, # 服务端编译 CFG
"schema": {
"type": "object",
"properties": {
"name": {"type": "string"},
"age": {"type": "integer", "minimum": 0, "maximum": 150}
},
"required": ["name", "age"]
}
}
}
)

# === 方案 B:Logit Masking / FSM(客户端,outlines 库)===
from outlines import models, generate
from pydantic import BaseModel

class UserProfile(BaseModel):
name: str
age: int

model = models.transformers("mistralai/Mistral-7B-v0.1")
generator = generate.json(model, UserProfile) # 编译 Schema → FSM
result = generator("Extract user info: John is 28 years old.")
# 每步解码时,非法 token logit 被设为 -inf,输出自动符合 UserProfile

两种方案对比:

维度CFG (Context-Free Grammar)Logit Masking / FSM
实现复杂度高(需编译为语法解析器)中(需维护状态机)
灵活性高(支持嵌套结构)中(适合固定 Schema)
性能每步需语法解析快(查表即可)
代表实现OpenAI strict: trueoutlines, guidance

实践建议:使用 OpenAI/Anthropic API 时,优先用 strict: true(零成本合规);自部署开源模型时,用 outlines/guidance 的 Logit Masking 方案。

答题要点:用步骤示例说明每步如何限制 token,对比 CFG(服务端)和 Logit Masking / FSM(客户端)两种实现路径。

Q42:如何设计一个高可用的工具注册中心(Tool Registry)?​

详解​

六大核心组件:

组件职责实现方式
Schema Store存储每个工具的 JSON Schema + 自然语言描述PostgreSQL + Redis 缓存
Discovery ServiceAgent 启动时动态拉取可用工具列表REST API + 定期刷新
Health Monitor定期检查工具可用性,自动下线不可用工具每分钟 Ping,连续失败 3 次则下线
Version Manager工具版本控制,支持向后兼容、灰度发布Semver + 多版本共存
Access Control基于角色的工具访问权限RBAC(策略引擎 OPA/Casbin)
Audit Log记录所有工具注册、修改、调用Write-Ahead Log + 哈希链

MCP Server 作为 Tool Registry 的实现:Anthropic 推出的 MCP Protocol 标准化了 Agent-工具接口,一套协议接所有工具,支持动态发现和安全沙箱。

答题要点:用架构图展示六大组件,说清楚每个组件的职责。

Q43:工具调用失败后,Agent 应该重试还是报错?重试策略如何设计?​

详解​

决策流程——根据错误类型决定:

HTTP 状态码错误类型是否重试处理策略
408/504(超时)可重试是指数退避,最多 5 次
429(限流)可重试是指数退避 + jitter,最多 5 次
503(服务不可用)可重试是指数退避,最多 3 次
400(参数错误)不可重试否反馈给 LLM 修正参数
401/403(认证/权限)不可重试否升级人工处理
404(资源不存在)不可重试否反馈给 LLM 换资源
500(内部错误)不确定重试 1 次1 次后仍失败则上报

指数退避代码:

def exponential_backoff_retry(func, max_retries=3, base_delay=1.0):
for attempt in range(max_retries):
try:
return func()
except RetryableError:
if attempt == max_retries - 1:
raise
delay = base_delay * (2 ** attempt) + random.uniform(0, 1)
time.sleep(delay)

答题要点:展示决策流程图(根据错误类型分类处理),说清楚指数退避算法,强调重试次数上限的必要性。

Q44:MCP(Model Context Protocol)是什么?解决了什么问题?​

详解​

MCP 定义:Anthropic 推出的开放协议——AI Agent 和外部工具之间的“USB-C 接口”。标准化了 Agent 如何发现、调用和交互外部工具。

核心架构:

MCP Client(Agent侧) ←──── MCP Protocol ────→ MCP Server(工具侧)
1. list_tools() 注册工具描述
2. call_tool(name, args) 执行工具
3. read_resource(uri) 访问资源

解决的核心问题:

问题(MCP 之前)MCP 解决方案
每个工具需要单独的集成代码一套协议接所有工具
工具描述格式不统一统一的 JSON Schema 描述
Agent 无法动态发现新工具list_tools() 动态发现
安全审计分散统一的安全沙箱和审计

答题要点:用“USB-C 接口”类比说明 MCP 的定位,展示架构图和代码示例。

Q45:MCP Server 的设计最佳实践有哪些?​

详解​

六大最佳实践:

  1. 细粒度工具:每个工具只做一件事。好的设计:get_user_by_id、list_user_orders。坏的设计:user_operations(做太多事,Agent 难以选择)。
  2. 清晰的描述:准确、简洁、包含使用场景。好的描述:“根据关键词搜索商品,返回商品列表。适用于用户想找特定商品时使用。”。坏的描述:“搜索功能”。
  3. 防御性编程:所有参数做合法性校验,拒绝异常值。
  4. 幂等设计:使用幂等键,同一操作多次执行结果一致。
  5. 错误信息友好:返回结构化错误(error_code + message + field),便于 Agent 理解和处理。
  6. 资源隔离:敏感操作要求额外认证,每个工具有调用频率限制。

答题要点:说出至少 4 个最佳实践,每个都用好/坏对比展示。

Q46:A2A(Agent-to-Agent)协议与 MCP 的区别是什么?它们如何配合使用?​

详解​

核心区别:

维度MCPA2A
连接方向垂直连接(Agent ↔ 工具/数据源)水平连接(Agent ↔ Agent)
解决的问题Agent 如何调用外部 APIAgent 如何委托任务给其他 Agent
通信对象工具(无状态函数)Agent(有状态、有决策能力的实体)

配合使用:Agent 内部用 MCP 查询数据库和调用 API(垂直),外部用 A2A 将子任务委托给其他团队的 Agent(水平)。

答题要点:用对比表格说清楚 MCP(垂直/工具)vs A2A(水平/Agent)的区别,用架构图展示如何配合使用。

Q47:A2A 协议中的 Agent Card 是什么?为什么重要?​

详解​

Agent Card 定义:托管在 /.well-known/agent-card.json 的 JSON 文档,是 Agent 的“身份证”——描述身份、能力、认证要求和协议能力。

重要性:

价值说明
动态发现Client Agent 无需硬编码即可找到可用 Agent
能力匹配根据任务需求筛选最合适的 Agent
数字签名支持 JWS 验证,确保未被篡改
协议协商双方确认支持的 A2A 版本和能力

答题要点:展示 Agent Card 的完整 JSON 示例,说清楚四大价值。

Q48:Programmatic Tool Calling 是什么?它如何减少 Token 消耗?​

详解​

核心思想:让模型生成 Python 脚本在沙箱中编排多个工具调用,而不是每步都通过 LLM 决策。将多步工具调用压缩为一次 LLM 调用。

Token 节省原理:

# 传统方式:3 次 LLM 调用 ≈ 1500 tokens
# Call 1: 搜索用户订单 → LLM 思考 → 调用 search
# Call 2: 查询物流 → LLM 思考 → 调用 logistics
# Call 3: 发送邮件 → LLM 思考 → 调用 email

# Programmatic 方式:1 次 LLM 调用 ≈ 800 tokens
script = """
orders = search_orders(user_id="123")
for order in orders:
logistics = query_logistics(order_id=order.id)
send_email(to=user.email, subject="物流更新", body=logistics.status)
"""
# 在沙箱中执行脚本(无 LLM 调用)
# 节省约 47%

适用场景:批量数据处理、已知流程的自动化、数据管道。

答题要点:用对比表格说明 Token 节省原理,展示代码示例。

Q49:Tool Search 如何解决大规模工具(1000+)的上下文爆炸问题?​

详解​

问题:1000+ 工具 × 平均 100 tokens/工具 = 100,000 tokens,远超上下文窗口实用上限。

解决方案——Tool Search:

def retrieve_relevant_tools(query, all_tools, top_k=10):
# 将所有工具描述转为 Embedding 存入向量库
query_embedding = embedding_model.encode([query])
distances, indices = vector_index.search(query_embedding, top_k)
return [all_tools[i] for i in indices[0]]

# 每次请求只传递最相关的 10 个工具
relevant_tools = retrieve_relevant_tools(user_query, all_tools, top_k=10)
response = llm.chat(messages, tools=relevant_tools)

效果对比:不使用 Tool Search → ~100,000 tokens/$1.0/次;使用 Tool Search → ~1,000 tokens/$0.01/次。

答题要点:说清楚上下文爆炸的量化问题,展示 Tool Search 的代码实现。

Q50:如何设计一个安全的 Agent 工具调用沙箱?​

详解​

六大安全要求:

要求威胁防护措施
网络隔离访问内网服务(SSRF)URL 白名单 + 禁止内网 IP
资源限制超大页面导致内存溢出CPU/内存/磁盘配额限制
禁用危险操作文件删除、系统命令禁止 rm/exec/subprocess
超时机制无限循环最大执行 30 秒自动终止
输入输出审计数据泄露记录所有参数和结果
无持久状态数据泄露到下次执行每次执行后清理环境

沙箱实现(Docker + seccomp):

container = client.containers.run(
image, command=["python", "-c", code],
network_mode="none", # 网络隔离
mem_limit="512m", # 内存限制
cpu_quota=100000, # CPU 限制
pids_limit=10, # 进程数限制
read_only=True, # 只读文件系统
security_opt=["seccomp=restricted.json"], # 系统调用过滤
)

答题要点:用架构图展示沙箱层次,说清楚六大安全要求,展示 Docker 实现代码。

Q51:Agent 调用数据库查询工具时,如何防止 SQL 注入?​

详解​

五层防护策略:

  1. 参数化查询:db.execute("SELECT * FROM users WHERE name = %s", (name,))。即使 name = "'; DROP TABLE users; --" 也不会执行危险操作。
  2. 权限最小化:Agent 使用的数据库账号只有 SELECT 权限,无 DELETE/DROP。
  3. 查询白名单:只允许预定义的查询模板,ALLOWED_QUERIES = {"get_user_by_id": "SELECT id, name FROM users WHERE id = %s"}。
  4. 结果脱敏:自动过滤敏感字段(手机号、身份证号)。
  5. 审计日志:记录所有查询语句和执行者。

答题要点:展示 SQL 注入攻击示例说明危害,说出至少 3 个防护策略并展示代码。

Q52:Agent 调用 Web Search 工具时,如何评估搜索结果的可信度?​

详解​

五步评估法:

  1. 来源权重:权威来源(政府网站 0.95、学术期刊 0.90、权威媒体 0.80)> 自媒体(0.30)。
  2. 交叉验证:同一事实是否被 3+ 独立来源证实。
  3. 时效性:新闻超过一周算过期,技术信息超过一年可能过时,历史信息不过时。
  4. 偏见检测:检测来源是否存在已知偏见,内容情感极度过高(|sentiment| > 0.8)可能存在偏见。
  5. 一致性检查:检测结果之间是否存在矛盾(矛盾时降低置信度或请求人工判断)。

答题要点:说出至少 4 个评估维度,每个维度展示代码实现。

Q53:如何实现 Agent 工具调用的幂等性(Idempotency)?​

详解​

四大实现方式:

  1. 幂等键(Idempotency Key):每次工具调用附带唯一 key,服务端检测到重复 key 直接返回上次结果。
  2. 状态检查:执行前先查状态(如“订单是否已创建”),已存在则跳过。
  3. 操作日志:记录所有已执行操作,重复请求时查日志。
  4. 天然幂等操作:优先使用 GET(查询)、PUT(全量更新)、DELETE(删除一次和多次结果相同:用户不存在)。

答题要点:说清楚为什么需要幂等性(Agent 重试场景),展示至少 2 种实现方式的代码。

Q54:Agent 的 Web Browsing 工具如何设计?有哪些安全考量?​

详解​

六大安全考量:

安全项威胁防护措施
SSRF 防护访问内网服务URL 白名单 + 禁止内网 IP
恶意脚本JS 挖矿、攻击代码禁用 JavaScript 执行
数据泄露Cookie/Token 被窃取隔离会话,不共享认证信息
资源耗尽超大页面导致内存溢出下载大小限制(10MB)
隐藏注入display:none 中的提示注入指令提取前去除隐藏元素
钓鱼识别仿冒网站域名白名单 + HTTPS 强制

答题要点:用流程图展示浏览工具的完整流程,用表格列出安全威胁和防护措施。

Q55:如何设计 Agent 的 Code Execution 工具?​

详解​

设计要点:

  1. 语言支持:主语言 Python,可扩展 JavaScript/SQL。
  2. 依赖管理:预装常用库(numpy, pandas),非常用库需申请安装(安全审核后)。
  3. 沙箱执行:Docker 容器隔离,超时 30 秒,内存 512MB,网络隔离。
  4. 输出限制:stdout 最大 10KB,错误信息脱敏(隐藏文件路径)。
  5. 清理:执行后删除临时文件,销毁容器。

答题要点:用流程图展示完整架构,强调沙箱执行和静态分析是安全的核心。

Q56:Agent 的工具调用链路如何实现分布式追踪(Distributed Tracing)?​

详解​

分布式追踪架构:

用户请求 (Trace-ID: abc-123)
│
▼
Agent Service
│ Span: Agent-Planning (100ms)
├──────────┬──────────┬──────────┐
▼ ▼ ▼ ▼
LLM Call Tool A Tool B Tool C
(500ms) (50ms) (20ms) (200ms)

实现(OpenTelemetry + Jaeger):

with tracer.start_as_current_span("agent-execution") as span:
span.set_attribute("user_id", user.id)
with tracer.start_as_current_span("llm-call") as llm_span:
llm_span.set_attribute("model", "gpt-4")
llm_span.set_attribute("tokens_used", response.usage.total_tokens)
for tool_call in response.tool_calls:
with tracer.start_as_current_span(f"tool-{tool_call.name}"):
# 记录工具调用详情

追踪数据价值:延迟分析(哪个环节慢)、错误定位、成本分析、优化依据。

答题要点:展示追踪架构图(Trace → Spans → Parent-Child 关系),展示 OpenTelemetry 代码实现。

Q57:Function Calling 中的 Partial Function Calling 是什么?有什么应用场景?​

详解​

Partial Function Calling 核心思想:允许模型在信息不完整时调用工具,缺失参数由工具端通过交互补充。实现了 Agent 和工具间的“多轮协商”。

应用场景:用户说“帮我订个机票”→ Agent 调用 book_flight() 但缺少目的地和日期→ 工具端返回 {"status": "need_more_info", "missing": ["destination", "date"]} → Agent 向用户追问→ 补充后继续调用。

与 A2A 的 input-required 状态关联:A2A 协议中 Server Agent 可以返回 input-required 状态,Client Agent 收到后向用户追问,补充信息后继续任务。

答题要点:用订票场景展示 Partial Calling 的交互流程,说明与 A2A 协议的关联。

Q58:如何优化 Function Calling 的延迟(Latency)?​

详解​

六大优化策略:

策略描述预期效果
模型路由简单调用走轻量模型(Haiku),复杂推理走大模型减少 50%+ LLM 延迟
工具缓存缓存工具描述和 Schema减少上下文 tokens
并行工具调用单次请求并行调用多个独立工具减少串行等待
Streaming流式输出 tool_calls,解析到可执行时立即执行降低感知延迟
预热连接与工具服务端保持长连接避免 TCP 握手开销
边缘部署Agent 部署在靠近工具服务的区域减少网络延迟

答题要点:说出至少 4 个优化策略,展示模型路由和 Streaming 的代码实现。

Q59:Agent 的工具调用如何实现版本兼容和灰度发布?​

详解​

版本管理方案:

工具注册中心
├── get_weather@v1.0.0 (旧版本)
├── get_weather@v1.1.0 (当前版本)
└── get_weather@v2.0.0 (新版本 - 灰度中)

五大策略:① Schema 版本控制({tool_name}@{semver});② 多版本共存(Agent 可指定版本调用);③ 灰度发布(按用户 ID 哈希 5% 流量走新版本);④ Deprecation 通知(旧版本提前 N 个月标记废弃);⑤ 自动适配层(版本差异由适配层处理)。

答题要点:展示版本管理架构,说出至少 3 个策略,展示灰度发布的代码实现。

Q60:如何设计一个支持 100+ 团队共享的企业级工具注册中心?​

详解​

六大设计要点:

  1. 命名空间隔离:每个团队独立命名空间,工具 ID 格式 {team}.{service}.{tool}(如 team-a.payment.refund)。
  2. 权限模型:Team Owner 管理本团队工具,Org Admin 管理跨团队共享。
  3. 审核流程:新工具注册需安全审核(防止恶意工具注入)。
  4. 使用统计:记录每个工具的调用频率、成功率、延迟,识别“僵尸工具”。
  5. 文档中心:从 Schema 自动生成工具文档(描述、参数说明、示例、错误码)。
  6. SLA 保障:关键工具要求 99.9% 可用性,P95 延迟 < 200ms。

答题要点:用架构图展示设计,说出至少 4 个设计要点。