AI Agent · 深度¶
AI Agent 板块的深度题：平台系统设计、量化归因、评估迭代体系、双活降级、经验新鲜度判断。每题含参考答案与面试官追问/红旗。
Q1: 请设计一个企业级智能交互 Agent 开放平台，要求覆盖混合推理 + Multi-Agent + MCP。¶
深度 | AI-Agent | 📖 相关讲解
考察点：系统设计能力，能否把范式、架构、协议串成一个完整可落地的平台。
参考答案
整体分层（对应彭超"企业级智能交互 Agent 开放平台"案例）：
| 层 | 职责 | 关键设计 |
|---|---|---|
| 接入层 | 多场景入口（客服/回访/外呼） | 统一网关、会话管理、鉴权 |
| 编排层 | 混合推理 + Multi-Agent | 意图分类器路由 ReAct/Plan-and-Execute；规划者-执行者-审核者三角色 |
| 工具层 | Function Calling + MCP | 动态工具注册（注解扫描）；MCP Server 收口企业 10+ 系统接口 |
| 检索层 | 混合 RAG | BM25+向量+Rerank+Query Rewriting，RRF 融合 |
| 模型层 | 微调 + 双活部署 | LoRA+SFT 数据飞轮；私有化 vLLM + 云端 API 双活热备 |
| 可观测/安全 | Trace + 审核 + 降级 | 全链路 Trace；规则引擎审核；多级降级 |
关键决策点：
- 混合推理：意图分类器把简单查询路由到 ReAct（保 P95 < 800ms），复杂任务路由到 Plan-and-Execute（规划者拆解→执行者执行→审核者规则校验，不通过回退重规划/转人工）。
- Multi-Agent + MCP：复杂业务（如金融尽调）按领域拆子 Agent；工具层用 MCP Server 封装内部系统，Agent 接入成本骤降，能力协商支持热插拔。
- 高可用：私有化 vLLM + 云端 API 双活热备 + 多级降级（模型热切→规则引擎→固定话术+人工），保 99.99%。
- 闭环：用户反馈 + AI 审计 + CoT 归因 串成负样本挖掘管道，驱动 Prompt/SFT 持续迭代。
面试官追问 / 红旗
- 追问：意图分类器挂了整个平台怎么办？（分类器要降级到默认范式，且本身可熔断）
- 追问：这个平台从 0 到 1，你先做哪一块、为什么？（取舍与优先级判断）
- 红旗：罗列一堆名词（Multi-Agent/MCP/LoRA/Rerank）却讲不清它们如何组合、各自解决什么——典型关键词堆砌；或答不出审核/降级等"敢上线"的兜底设计。
Q2: "幻觉率 -30%、Token 成本 -45%、P95<800ms"这三个指标，分别归因到哪些手段？统计口径怎么说清？¶
深度 | AI-Agent | 📖 相关讲解
考察点：量化数据的归因分解与口径严谨性，识别"有数字无来源"。
参考答案
归因分解：
| 指标 | 主要归因手段 |
|---|---|
| 幻觉率 -30% | 混合检索+Rerank 提升证据质量；审核者事实性校验拦截无证据回答；LoRA+SFT 数据飞轮用纠正样本降低领域幻觉 |
| Token 成本 -45% | Prompt 精简（去冗余示例/合并上下文）；上下文裁剪（只留相关片段）；简单/复杂 query 分流（简单走小模型）；结果缓存复用 |
| P95 < 800ms | 简单查询走 ReAct（少步骤）；工具独立超时防慢工具；私有化推理低延迟；分流转小模型 |
统计口径（关键，否则数字站不住）：
- 幻觉率：需定义"幻觉"判定标准（人工标注？模型判分？规则匹配？）、评测集规模、优化前后对比基准。如彭超用标注测试集做优化前后对比。
- Token -45%：分母是优化前同口径 Token 消耗（同任务集、同模型），分子是优化后。
- P95：必须说清是哪个接口/链路的 P95、采样窗口、优化前后对比。
核心是：每个数字都能回答"怎么测的、和谁比、归因到哪几项"。
面试官追问 / 红旗
- 追问：幻觉率 -30% 里，检索、审核、微调各贡献多少？能拆吗？（归因颗粒度）
- 追问：Token -45% 会不会以牺牲效果为代价？（成本-质量权衡）
- 红旗：给得出数字却答不出统计口径/对比基准；或把三个指标都笼统归到"用了大模型"——暴露数字不可信，是报告点名的"量化是真实性试金石"反例。
Q3: "用户反馈 + AI 审计 + CoT 归因"如何串成一个评估迭代体系？¶
深度 | AI-Agent | 📖 相关讲解
考察点：评估与迭代闭环的设计，是否理解三路信号如何协同。
参考答案
这是一个"信号采集 → 归因定位 → 定向修复 → 评测验证"的闭环：
-
信号采集（三路并行）：
-
用户反馈：点踩/纠错/低评分——直接负信号，覆盖面广但噪声大；
- AI 审计：规则 + 模型自动审计产出（事实性/合规性）——主动发现、覆盖用户没反馈到的问题；
-
CoT 归因：把每个错误沿思维链回溯，定位是检索/规划/执行/审核哪一步引入。
-
归因定位：三路信号汇成负样本池，CoT 归因是关键——它决定"改哪里"。归因到 Prompt/工具描述层就改提示；归因到知识/行为层就补 SFT 数据。
-
定向修复：按归因分流——Prompt 补丁（即时生效、低成本） vs SFT 数据积累（周期性微调、高成本）。
-
评测验证：修复后用标注评测集（如 Hit Rate、幻觉率）回归验证，确认指标提升再发布。
协同价值：用户反馈给"有什么问题"，AI 审计扩"发现更多问题"，CoT 归因答"问题出在哪步"——三者缺一则闭环不完整。这是幻觉率 -30%、Token -45% 等指标持续改善的底层机制。
面试官追问 / 红旗
- 追问：用户反馈和 AI 审计冲突（用户说对、审计说错）怎么处理？（置信度/人工抽检）
- 追问：CoT 归因本身错了怎么办？（归因也是模型能力，需抽检校准）
- 红旗：把三路信号说成"都收集起来重新训练"，讲不清归因如何决定改 Prompt 还是补数据；或无评测验证环节（改完不回归测就上线）——闭环不完整。
Q4: 私有化 vLLM + 云端 API 双活热备、多级降级，如何保证 99.99% 可用性？¶
深度 | AI-Agent | 📖 相关讲解
考察点：高可用架构设计，是否理解双活与多级降级的配合。
参考答案
双活热备：
- 主路：私有化 vLLM（高吞吐、低延迟、数据不出域、成本可控）；
- 备路：云端 API（弹性扩容、模型能力强、作为 vLLM 故障时的热备）；
- 热备机制：常态主路承担流量，健康检查 + 流量探活；主路异常/超时/限流时，自动切到云端 API，恢复后切回——切换对调用方透明。
多级降级链（保可用性兜底，对应彭超案例）：
| 降级层级 | 触发条件 | 动作 |
|---|---|---|
| 模型热切 | vLLM 异常/超时 | 切云端 API |
| 小模型分流 | 云 API 也压力高/延迟高 | 简单 query 转小模型 |
| 规则引擎 | 推理层整体不可用 | 走规则/模板兜底回答 |
| 固定话术 + 人工 | 规则也不适用 | 固定话术 + 转人工坐席 |
99.99% 的支撑：每层都有独立超时、熔断、健康检查；降级要自动化、无人工干预；全链路 Trace 监控各层可用率，按 SLO 报警。核心思想——单点都可能挂，但通过双活 + 多级降级，让用户始终拿到某种可用响应，系统级可用率才能达到 99.99%。
面试官追问 / 红旗
- 追问：双活切换会不会丢上下文？（会话状态需持久化/共享，切换时恢复）
- 追问：99.99% 是怎么算的？月度允许停机多久？（约 4.3 分钟/月，口径要清楚）
- 红旗：只说"上了 vLLM 和云 API"而无热切/降级机制；或把 99.99% 当口号——答不出统计口径和兜底链，是"简历有数无落地"的典型。
Q5: 2026 年 Agent 前沿基线应包含哪些要素？缺哪些算"经验已落后"？（对应唐勇案例）¶
深度 | AI-Agent | 📖 相关讲解
考察点：对技术栈迭代速度的认知，能否用"新鲜度"判断候选人/项目经验。
参考答案
报告 §5.4 给出清晰的划线（唐勇 Agent L4-L5 仍因"经验已落后"被淘汰）：
🏆 2026 前沿基线要素（缺即落后）：
| 要素 | 说明 |
|---|---|
| LangGraph（或同等代码编排） | 显式状态图、原生支持循环/分支的编排，非仅"链" |
| Multi-Agent | 分角色协作（规划者-执行者-审核者等） |
| MCP | 工具/系统接入的标准化协议，非单应用 Function Calling |
| 混合检索 + Rerank | BM25+向量+Rerank+Query Rewriting，非现成框架裸调 |
| 模型微调 | LoRA/SFT + 数据飞轮，非只调 Prompt |
| 可观测/量化 | 全链路 Trace + 召回率/成功率/幻觉率等可归因指标 |
⚠️ "已落后"特征（简历红旗）：
- 停留在"调 API 生成文案""Dify 拖拽编排"，无框架原理；
- 无 MCP、无 Multi-Agent、无微调；
- RAG 只有现成框架调用，无混合检索/Rerank/Query 改写；
- 关键词堆砌（列大量术语无项目支撑）；
- 无任何量化指标。
判断方法：Agent 技术栈每 3–6 个月迭代一轮，面试应追问框架版本、范式（ReAct/Plan-and-Execute）、协议（MCP）、最近一年实践，识别"做过 Agent≠做的是当下主流的 Agent"。唐勇案例正是经验停在 Dify 编排 + 基础 RAG 而被判落后。
面试官追问 / 红旗
- 追问：你自己最近一年在 Agent 上做了什么新尝试？（自我新鲜度检验）
- 追问：Dify 到底能不能用？什么场景可以？（工具无原罪，问题是"只会拖拽不懂原理"）
- 红旗（判断候选人时）：简历列了 LangGraph/MCP/LoRA/Rerank 却讲不清原理与项目落地；或框架版本停留在 1–2 年前范式；或所有 RAG 都是"调现成框架"无优化——均属"经验已落后"信号。