系统设计与工程
本章 20 道题 · 完整目录
Q161:设计一个高并发 AI Agent 服务(QPS 1000+),考虑扩展性、可靠性
详解
系统架构:
用户请求
│
▼
┌──────────────┐
│ API Gateway │ ──→ 限流、认证
└──────────────┘
│
▼
┌──────────────┐ ┌──────────────┐
│ Agent Worker │ ───→ │ LLM 服务 │(负载均衡)
│ (无状态) │ └──────────────┘
└──────────────┘ ┌──────────────┐
│ │ 工具服务 │(缓存+限流)
│ └──────────────┘
│
▼
┌──────────────┐
│ Redis │(会话状态/缓存)
│ 数据库 │(持久化/审计)
└──────────────┘
扩展性设计: 无状态 Worker(水平扩展)、消息队列解耦(Kafka)、LLM 服务池化、工具服务缓存。
可靠性设计: 优雅降级(LLM 故障用缓存)、熔断器(工具故障)、幂等设计(重试安全)、超时控制。
答题要点:画出架构图,重点说明“无状态水平扩展”和“消息队列解耦”。
Q162:Agent 应用中,如何处理 LLM 服务的限流(Rate Limit)?
详解
四层限流策略:
| 层级 | 策略 |
|---|---|
| 客户端退避 | 收到 429 后指数退避重试 |
| 请求排队 | 超过配额时排队等待 |
| 配额池化 | 全局共享配额,动态分配 |
| 优先级调度 | 高优请求优先获得配额 |
答题要点:说出至少 3 个限流策略,说明客户端退避和排队。
Q163:Agent 服务的水平扩展(Horizontal Scaling)如何实现?
详解
水平扩展设计:
| 组件 | 扩展方式 |
|---|---|
| Agent Worker | 无状态,加实例即可扩展 |
| 会话状态 | 存 Redis(外部化,不依赖实例) |
| 工具调用 | 无状态,水平扩展 |
| LLM 调用 | 负载均衡到多个 LLM 端点 |
关键前提:Agent Worker 必须无状态(状态存外部 Redis),才能水平扩展。
答题要点:说明无状态 Worker 是水平扩展前提,状态外部化到 Redis。
Q164:Agent 应用的数据库选型如何考虑?
详解
分场景选型:
| 数据类型 | 推荐 | 原因 |
|---|---|---|
| 会话状态 | Redis | 低延迟、TTL |
| 业务数据 | PostgreSQL | 事务、可靠 |
| 向量(记忆) | Milvus/Pinecone | 向量检索 |
| 轨迹/审计 | 时序/对象存储 | 大量写入 |
| 工具注册 | PostgreSQL+Redis缓存 | 一致性+性能 |
答题要点:说出各类型数据的推荐方案,说明选型理由(延迟/一致性/容量)。
Q165:Agent 应用的缓存策略如何设计?
详解
多层缓存:
| 缓存层 | 内容 | 失效策略 |
|---|---|---|
| L1 内存 | 热数据(频繁查询结果) | TTL + LRU |
| L2 Redis | 会话状态、共享数据 | TTL |
| L3 应用缓存 | 工具 Schema、Prompt 模板 | 版本变更失效 |
答题要点:展示多层缓存架构,说明各层内容和失效策略。
Q166:Agent 应用的异步处理如何设计?
详解
异步处理场景与方案:
| 场景 | 异步方案 |
|---|---|
| 长任务 | 提交任务→返回任务ID→轮询/回调 |
| 记忆写入 | 异步 Worker 从会话提取写入 LTM |
| 日志/审计 | 异步写入(不阻塞主流程) |
| 通知 | 异步发送(邮件/消息) |
技术:消息队列(Kafka/RabbitMQ)、任务队列(Celery/Bull)、事件驱动架构。
答题要点:说出至少 2 个异步场景,说明技术选型(消息队列+任务队列)。
Q167:Agent 应用的错误监控和告警如何设计?
详解
监控告警设计:
| 层级 | 指标 | 告警 |
|---|---|---|
| 基础设施 | LLM/工具/数据库可用性 | 不可用告警 |
| 服务 | 延迟、错误率、吞吐 | P95超阈值/错误率超阈值 |
| Agent | 任务成功率、工具成功率 | 成功率下降 |
| 业务 | 用户满意度、关键业务指标 | 业务异常 |
答题要点:展示四层监控告警,说明各层指标和告警条件。
Q168:如何对 Agent 应用做压测(Load Testing)?
详解
压测设计:
| 步骤 | 说明 |
|---|---|
| 1. 场景定义 | 典型用户流量(正常+峰值) |
| 2. 模拟请求 | 用压测工具(k6/Locust)模拟 |
| 3. 指标采集 | 延迟、吞吐、错误率、Token 消耗 |
| 4. 瓶颈定位 | 找出瓶颈(LLM 调用/工具/数据库) |
| 5. 容量规划 | 根据压测结果规划资源 |
答题要点:展示压测五步流程,说明核心指标和瓶颈定位。
Q169:Agent 应用的版本发布策略如何设计?
详解
发布策略:
| 策略 | 说明 |
|---|---|
| 蓝绿部署 | 新旧版本并行,一键切换 |
| 金丝雀发布 | 小流量灰度(5%)→ 逐步放量 |
| 回滚机制 | 异常时快速回滚 |
| 版本兼容 | Prompt/工具 Schema 版本管理 |
答题要点:说出至少 3 个发布策略,重点说明金丝雀发布和回滚。
Q170:如何优化 Agent 应用的启动速度(冷启动)?
详解
冷启动优化:
| 方案 | 说明 |
|---|---|
| 预加载 | 启动时预加载模型、工具 Schema、Prompt 模板 |
| 懒加载 | 非关键资源延迟加载 |
| 连接池 | 预建数据库/LLM 连接池 |
| 模型预热 | 预热模型(避免首 token 慢) |
| 缓存 | 常用数据预置缓存 |
答题要点:说出至少 3 个冷启动优化,说明预加载和连接池。
Q171:Agent 应用的配置管理(Config Management)如何设计?
详解
配置管理设计:
| 配置类型 | 管理方式 |
|---|---|
| 模型配置 | 配置中心(模型、温度、版本) |
| Prompt 版本 | 版本管理(v1.0、v2.0) |
| 工具配置 | 工具注册中心(Schema、灰度) |
| 环境配置 | 分环境(dev/staging/prod) |
| 动态配置 | 配置中心热更新(不改代码) |
工具:Apollo、Nacos、Consul、自建配置中心。
答题要点:说出至少 3 类配置及其管理方式,说明动态热更新。
Q172:Agent 的依赖管理(Dependency Management)如何设计?
详解
依赖管理要点:
| 依赖 | 管理方式 |
|---|---|
| LLM 依赖 | 多模型冗余(主备切换) |
| 工具依赖 | 工具可用性监控,故障切换 |
| 第三方库 | 版本锁定 + 安全扫描 |
| 数据依赖 | 数据源版本管理、血缘追踪 |
答题要点:说出至少 3 个依赖管理,重点说明多模型冗余(主备切换)。
Q173:Agent 应用如何保证数据一致性?
详解
一致性设计:
| 场景 | 方案 |
|---|---|
| 会话状态 | Redis 单一权威来源 |
| 跨 Agent 共享 | 中央存储 + 锁/乐观锁 |
| 记忆写入 | 异步 Worker + 幂等键 |
| 审计日志 | 顺序写 + 校验 |
答题要点:说出至少 3 个一致性方案,说明“单一权威来源”原则。
Q174:Agent 应用的安全架构如何设计?
详解
分层安全架构:
| 层 | 措施 |
|---|---|
| 网络层 | TLS 加密、防火墙、VPC 隔离 |
| 应用层 | 认证(OAuth/JWT)、限流、输入验证 |
| Agent 层 | 权限控制、工具白名单、参数校验 |
| 数据层 | 加密存储、敏感数据脱敏 |
| 审计层 | 全量审计、不可篡改日志 |
答题要点:展示五层安全架构,说明各层关键措施。
Q175:Agent 应用的国际化(多语言)如何设计?
详解
国际化设计:
| 层面 | 方案 |
|---|---|
| 模型选型 | 多语言模型(如 GPT-4o/Gemini)或各语言专用模型 |
| Prompt 翻译 | Prompt 模板多语言版本 |
| 时区/格式 | 日期、货币、地址按 locale 处理 |
| 检索 | 多语言 Embedding 模型 |
| 工具 | 工具描述多语言化 |
答题要点:说出至少 3 个国际化层面,说明多语言 Embedding 和 Prompt 模板多语言。
Q176:Agent 应用的数据备份和恢复如何设计?
详解
备份恢复设计:
| 数据 | 备份策略 |
|---|---|
| 数据库 | 定期全量 + 增量备份 |
| 向量库 | 定期快照 + 增量 |
| 日志/审计 | 对象存储冗余 |
| 配置 | 版本控制 + 快照 |
恢复演练:定期演练恢复流程,验证备份可用。
答题要点:说出至少 3 类数据的备份策略,强调恢复演练。
Q177:Agent 应用的 CI/CD 如何设计?
详解
Agent CI/CD 流水线:
| 阶段 | 内容 |
|---|---|
| 1. 代码提交 | 触发流水线 |
| 2. 单元测试 | Prompt/工具/编排逻辑测试 |
| 3. 集成测试 | Agent 完整流程测试 |
| 4. 离线评估 | 用测试集评估质量 |
| 5. 安全扫描 | 依赖/代码安全扫描 |
| 6. 灰度发布 | 小流量验证 |
| 7. 全量发布 | 逐步放量 |
答题要点:展示 CI/CD 七步流水线,说明离线评估作为质量门禁。
Q178:Agent 应用的日志系统如何设计?
详解
日志系统设计:
| 方面 | 设计 |
|---|---|
| 结构化 | JSON 格式(含 trace_id、agent_id、时间戳) |
| 分级 | DEBUG/INFO/WARN/ERROR 分级 |
| 集中收集 | ELK/Loki 集中存储检索 |
| 脱敏 | 敏感字段(手机号/token)自动脱敏 |
| 保留 | 按合规要求保留时长 |
答题要点:说出至少 3 个日志设计要点,重点说明结构化(含 trace_id)和脱敏。
Q179:如何评估 Agent 系统的整体成本(TCO)?
详解
成本构成与优化:
| 成本项 | 优化 |
|---|---|
| LLM 调用 | 模型分级、缓存、减少无效调用 |
| 工具调用 | 结果缓存、减少重复调用 |
| 基础设施 | 弹性伸缩(低谷缩容) |
| 开发维护 | 模块化、自动化测试 |
答题要点:说出至少 3 个成本构成,说明模型分级和缓存两大优化。
Q180:Agent 应用的容灾(Disaster Recovery)如何设计?
详解
容灾设计:
| 级别 | 策略 |
|---|---|
| 服务级 | 多副本、故障切换 |
| 数据级 | 跨区域备份 |
| 区域级 | 多区域部署、DNS 切换 |
| 恢复演练 | 定期演练 RTO/RPO |
关键指标:RTO(恢复时间目标,如 5 分钟)、RPO(数据丢失容忍,如 1 分钟)。
答题要点:展示多级容灾策略,说明 RTO/RPO 两个关键指标。