跳到主要内容

系统设计与工程

本章 20 道题 · 完整目录

Q161:设计一个高并发 AI Agent 服务(QPS 1000+),考虑扩展性、可靠性​

详解​

系统架构:

用户请求
│
▼
┌──────────────┐
│ API Gateway │ ──→ 限流、认证
└──────────────┘
│
▼
┌──────────────┐ ┌──────────────┐
│ Agent Worker │ ───→ │ LLM 服务 │(负载均衡)
│ (无状态) │ └──────────────┘
└──────────────┘ ┌──────────────┐
│ │ 工具服务 │(缓存+限流)
│ └──────────────┘
│
▼
┌──────────────┐
│ Redis │(会话状态/缓存)
│ 数据库 │(持久化/审计)
└──────────────┘

扩展性设计: 无状态 Worker(水平扩展)、消息队列解耦(Kafka)、LLM 服务池化、工具服务缓存。

可靠性设计: 优雅降级(LLM 故障用缓存)、熔断器(工具故障)、幂等设计(重试安全)、超时控制。

答题要点:画出架构图,重点说明“无状态水平扩展”和“消息队列解耦”。

Q162:Agent 应用中,如何处理 LLM 服务的限流(Rate Limit)?​

详解​

四层限流策略:

层级策略
客户端退避收到 429 后指数退避重试
请求排队超过配额时排队等待
配额池化全局共享配额,动态分配
优先级调度高优请求优先获得配额

答题要点:说出至少 3 个限流策略,说明客户端退避和排队。

Q163:Agent 服务的水平扩展(Horizontal Scaling)如何实现?​

详解​

水平扩展设计:

组件扩展方式
Agent Worker无状态,加实例即可扩展
会话状态存 Redis(外部化,不依赖实例)
工具调用无状态,水平扩展
LLM 调用负载均衡到多个 LLM 端点

关键前提:Agent Worker 必须无状态(状态存外部 Redis),才能水平扩展。

答题要点:说明无状态 Worker 是水平扩展前提,状态外部化到 Redis。

Q164:Agent 应用的数据库选型如何考虑?​

详解​

分场景选型:

数据类型推荐原因
会话状态Redis低延迟、TTL
业务数据PostgreSQL事务、可靠
向量(记忆)Milvus/Pinecone向量检索
轨迹/审计时序/对象存储大量写入
工具注册PostgreSQL+Redis缓存一致性+性能

答题要点:说出各类型数据的推荐方案,说明选型理由(延迟/一致性/容量)。

Q165:Agent 应用的缓存策略如何设计?​

详解​

多层缓存:

缓存层内容失效策略
L1 内存热数据(频繁查询结果)TTL + LRU
L2 Redis会话状态、共享数据TTL
L3 应用缓存工具 Schema、Prompt 模板版本变更失效

答题要点:展示多层缓存架构,说明各层内容和失效策略。

Q166:Agent 应用的异步处理如何设计?​

详解​

异步处理场景与方案:

场景异步方案
长任务提交任务→返回任务ID→轮询/回调
记忆写入异步 Worker 从会话提取写入 LTM
日志/审计异步写入(不阻塞主流程)
通知异步发送(邮件/消息)

技术:消息队列(Kafka/RabbitMQ)、任务队列(Celery/Bull)、事件驱动架构。

答题要点:说出至少 2 个异步场景,说明技术选型(消息队列+任务队列)。

Q167:Agent 应用的错误监控和告警如何设计?​

详解​

监控告警设计:

层级指标告警
基础设施LLM/工具/数据库可用性不可用告警
服务延迟、错误率、吞吐P95超阈值/错误率超阈值
Agent任务成功率、工具成功率成功率下降
业务用户满意度、关键业务指标业务异常

答题要点:展示四层监控告警,说明各层指标和告警条件。

Q168:如何对 Agent 应用做压测(Load Testing)?​

详解​

压测设计:

步骤说明
1. 场景定义典型用户流量(正常+峰值)
2. 模拟请求用压测工具(k6/Locust)模拟
3. 指标采集延迟、吞吐、错误率、Token 消耗
4. 瓶颈定位找出瓶颈(LLM 调用/工具/数据库)
5. 容量规划根据压测结果规划资源

答题要点:展示压测五步流程,说明核心指标和瓶颈定位。

Q169:Agent 应用的版本发布策略如何设计?​

详解​

发布策略:

策略说明
蓝绿部署新旧版本并行,一键切换
金丝雀发布小流量灰度(5%)→ 逐步放量
回滚机制异常时快速回滚
版本兼容Prompt/工具 Schema 版本管理

答题要点:说出至少 3 个发布策略,重点说明金丝雀发布和回滚。

Q170:如何优化 Agent 应用的启动速度(冷启动)?​

详解​

冷启动优化:

方案说明
预加载启动时预加载模型、工具 Schema、Prompt 模板
懒加载非关键资源延迟加载
连接池预建数据库/LLM 连接池
模型预热预热模型(避免首 token 慢)
缓存常用数据预置缓存

答题要点:说出至少 3 个冷启动优化,说明预加载和连接池。

Q171:Agent 应用的配置管理(Config Management)如何设计?​

详解​

配置管理设计:

配置类型管理方式
模型配置配置中心(模型、温度、版本)
Prompt 版本版本管理(v1.0、v2.0)
工具配置工具注册中心(Schema、灰度)
环境配置分环境(dev/staging/prod)
动态配置配置中心热更新(不改代码)

工具:Apollo、Nacos、Consul、自建配置中心。

答题要点:说出至少 3 类配置及其管理方式,说明动态热更新。

Q172:Agent 的依赖管理(Dependency Management)如何设计?​

详解​

依赖管理要点:

依赖管理方式
LLM 依赖多模型冗余(主备切换)
工具依赖工具可用性监控,故障切换
第三方库版本锁定 + 安全扫描
数据依赖数据源版本管理、血缘追踪

答题要点:说出至少 3 个依赖管理,重点说明多模型冗余(主备切换)。

Q173:Agent 应用如何保证数据一致性?​

详解​

一致性设计:

场景方案
会话状态Redis 单一权威来源
跨 Agent 共享中央存储 + 锁/乐观锁
记忆写入异步 Worker + 幂等键
审计日志顺序写 + 校验

答题要点:说出至少 3 个一致性方案,说明“单一权威来源”原则。

Q174:Agent 应用的安全架构如何设计?​

详解​

分层安全架构:

层措施
网络层TLS 加密、防火墙、VPC 隔离
应用层认证(OAuth/JWT)、限流、输入验证
Agent 层权限控制、工具白名单、参数校验
数据层加密存储、敏感数据脱敏
审计层全量审计、不可篡改日志

答题要点:展示五层安全架构,说明各层关键措施。

Q175:Agent 应用的国际化(多语言)如何设计?​

详解​

国际化设计:

层面方案
模型选型多语言模型(如 GPT-4o/Gemini)或各语言专用模型
Prompt 翻译Prompt 模板多语言版本
时区/格式日期、货币、地址按 locale 处理
检索多语言 Embedding 模型
工具工具描述多语言化

答题要点:说出至少 3 个国际化层面,说明多语言 Embedding 和 Prompt 模板多语言。

Q176:Agent 应用的数据备份和恢复如何设计?​

详解​

备份恢复设计:

数据备份策略
数据库定期全量 + 增量备份
向量库定期快照 + 增量
日志/审计对象存储冗余
配置版本控制 + 快照

恢复演练:定期演练恢复流程,验证备份可用。

答题要点:说出至少 3 类数据的备份策略,强调恢复演练。

Q177:Agent 应用的 CI/CD 如何设计?​

详解​

Agent CI/CD 流水线:

阶段内容
1. 代码提交触发流水线
2. 单元测试Prompt/工具/编排逻辑测试
3. 集成测试Agent 完整流程测试
4. 离线评估用测试集评估质量
5. 安全扫描依赖/代码安全扫描
6. 灰度发布小流量验证
7. 全量发布逐步放量

答题要点:展示 CI/CD 七步流水线,说明离线评估作为质量门禁。

Q178:Agent 应用的日志系统如何设计?​

详解​

日志系统设计:

方面设计
结构化JSON 格式(含 trace_id、agent_id、时间戳)
分级DEBUG/INFO/WARN/ERROR 分级
集中收集ELK/Loki 集中存储检索
脱敏敏感字段(手机号/token)自动脱敏
保留按合规要求保留时长

答题要点:说出至少 3 个日志设计要点,重点说明结构化(含 trace_id)和脱敏。

Q179:如何评估 Agent 系统的整体成本(TCO)?​

详解​

成本构成与优化:

成本项优化
LLM 调用模型分级、缓存、减少无效调用
工具调用结果缓存、减少重复调用
基础设施弹性伸缩(低谷缩容)
开发维护模块化、自动化测试

答题要点:说出至少 3 个成本构成,说明模型分级和缓存两大优化。

Q180:Agent 应用的容灾(Disaster Recovery)如何设计?​

详解​

容灾设计:

级别策略
服务级多副本、故障切换
数据级跨区域备份
区域级多区域部署、DNS 切换
恢复演练定期演练 RTO/RPO

关键指标:RTO(恢复时间目标,如 5 分钟)、RPO(数据丢失容忍,如 1 分钟)。

答题要点:展示多级容灾策略,说明 RTO/RPO 两个关键指标。