A · 专业解题与实现
AI 工程
评估、检索、代理与模型应用的工程实现和边界。
分类边界
收录: 收录把模型接入产品的检索、提示、工具调用、代理与推理服务实现。
相邻分类判断: 若核心是评估责任、治理、风险审批或人工监督，优先归对应的质量防护、交付或责任能力。
这项能力可能会在不同阶段标准中以不同深度出现。 查看阶段要求
47 道问题
按需要了解的证据选择分组。分组依据现有题型，不代表难度或必经顺序。每批最多八题。
判断与方案44
比较目标、约束、方案与取舍依据。
第 1–8 题
- AI 助手可以代表用户创建工单、退款或修改账户。它发起退款时发生超时，系统不知道退款是否已经完成；自动重试可能造成重复退款。你会怎样确认操作结果、控制重试，并确保操作仍在用户授权范围内？
- 两个评审者对同一批 AI 输出的好坏经常意见相反，你会怎样判断这是标注分歧、评价标准含糊，还是模型本身不稳定？
- 你做了一个客服问答原型。怎样设计一组评估样本，来决定它只能作为辅助检索，还是可以直接对外回复？
- 一个算法模型和它依赖的特征，真正的成本包括哪些？训练、推理、特征计算与存储、数据标注和维护分别怎么算，怎样判断某个特征值不值得保留？
- 文档助手在多数场景下可以自动提交，但不同错误的后果差异很大。增加人工复核后，错误减少了，待审核任务却持续积压。你会怎样决定哪些任务自动处理、哪些交给人工，并让审核量不超过团队处理能力？
- 一个生成式功能的回答质量不错，但高峰时延和单次成本都超过产品约定。你会如何判断问题出在模型、上下文、检索还是调用链？
- 更换基础模型后，核心任务平均分数提高了，但少数重要客户的结果明显变差。你会如何决定是否发布、分批发布或回退？
- 公司要做一个内部知识问答助手，而文档权限会随人员变动。你会怎样让它既答得有依据，又不泄露不该看到的内容？
当前目标在这里暂无匹配题。 ·
第 9–16 题
- 知识问答助手的用户满意度下降，但离线检索指标没有变化。你会从哪些环节拆查这次退化？
- 让 AI 帮你审核一段配置，或生成一段代码，你怎样决定它能不能上线？
- 一份内部文档被撤回或改为限权后，检索索引、缓存和已生成的引用可能仍保留旧内容。你会怎样设计更新与验证机制？
- 线上回答出现了错误引用，但当时的提示词、模型版本和检索结果都没有完整记录。你会补哪些观测信息，才能既排查问题又控制敏感数据暴露？
- 新模型把总体准确率从 91% 提高到 94%，但错误仍集中在少数会影响客户权益的场景。团队希望按总体分数发布。你会如何定义发布判断？
- 知识问答助手引用了内部文档，但文档所属团队已更新流程，新版本还没有进入检索范围。你会怎样确定内容更新时限、更新流程，以及更新完成前该怎样回答？
- 一个多步骤 Agent 在开始时读取了项目权限，执行到第三步时用户被移出项目，但任务仍持有已签发的工具令牌。你会如何设计权限检查和取消语义？
- 更换嵌入模型后，新旧向量不可直接比较，但重建全量向量需要数天。你会怎样设计迁移和查询切换？
当前目标在这里暂无匹配题。 ·
第 17–24 题
- 团队发现模型可能在公开语料或微调数据中见过部分内部评测题。你会如何判断离线成绩还能说明什么，并重建可信评测？
- 团队混合使用用户反馈、人工标注和合成样本做微调，之后收到部分来源数据需要删除的请求。你会如何追踪数据影响并判断需要重训到什么范围？
- 新模型离线评测提升，但少数高价值用户的回答质量可能下降。你会怎样安排小范围发布、观察结果，并判断何时扩大使用？
- 产品依赖外部模型接口，供应商可能限制调用频率或调整可用模型。你会如何设计切换规则和非核心功能的临时关闭方式，让切换后的质量变化可以被发现？
- 离线评估持续提升，线上却出现特定用户群退化。你会检查哪些数据泄漏、切片覆盖和部署差异？
- 一个 AI 助手在少数请求上会反复调用搜索、数据库和外部 API，最终耗时和费用远高于平均值。你会如何设计单次任务的预算、停止条件、避免重复操作的保护和审计记录？
- AI 助手会从多个业务系统检索文档，而用户在不同系统中拥有不同权限。你会如何确保检索、缓存、摘要和引用都遵循原文权限，并处理权限撤销？
- AI 功能依赖的模型服务耗时波动很大，导致用户请求超过整体时限。你会如何为检索、模型调用和后处理分配时间，并设计超时后的核心功能保障方案？
当前目标在这里暂无匹配题。 ·
第 25–32 题
- 用户提交长时间运行的 AI 分析后关闭页面，稍后又从另一设备查看进度；任务可能触发多个工具并产生部分结果。你会如何设计任务状态、取消、重试和结果可见性？
- 分析助手可以把自然语言转换为 SQL 查询业务库，用户提出的请求可能诱导它读取敏感列或执行昂贵查询。你会如何设计只读权限、查询校验、资源限制和结果脱敏？
- 一个模型开始返回结构化 JSON，移动端、服务端和分析任务按不同节奏升级；新字段可能缺省或改变枚举值。你会如何定义输出接口约定、校验失败处理和版本兼容？
- AI 助手会读取用户上传的文档，其中可能包含要求模型忽略既有规则并调用外部工具的文本。你会如何区分数据与指令，限制工具权限并验证防护效果？
- 模型已经向用户流式输出部分内容，随后连接中断或安全校验失败；客户端可能误以为答案完整。你会如何设计完成标记、撤回或补充提示和重试行为？
- 新模型的总体任务成功率持平，但不同语言、设备和使用经验的用户表现差异扩大。你会如何划分评估群体、控制样本量风险并决定是否继续扩量？
- 知识库中两份仍有效的政策给出不同要求，检索分数也接近。助手不能自行选择对用户最方便的一条。你会设计什么回答和升级路径？
- 新助手让用户给出的满意度评分提高，但实际任务完成率和重复咨询没有变化。你会如何判断这是否是真实改进？
当前目标在这里暂无匹配题。 ·
第 33–40 题
- 模型响应可能回显客户身份信息，线上排障又依赖请求与结果日志。你会如何设计采集、脱敏、访问和保留策略？
- 团队每周根据同一套固定评测集修改提示词和模型配置，分数持续上升，但新用户反馈没有改善。你会怎样重建评估可信度？
- 某模型在主要市场通过评测，在新地区因语言、术语和服务规则不同而表现不稳定。你会如何设定发布范围和后续门槛？
- 为降低推理成本，团队按问题文本缓存答案。但用户权限、知识库版本和地区规则可能不同。你会如何确定缓存键与失效机制？
- 评测集题目数量增加了，但很多题来自同一模板的轻微改写，模型分数因此显得稳定。你会怎样审查样本质量？
- 用户的自然语言请求缺少金额上限和目标账户，Agent 可以直接调用会转账或修改账户的工具。你会如何决定澄清、只给建议或要求确认？
- 模板只改了格式和示例，但影响了模型输出长度与工具调用频率。团队想跳过完整回归。你会如何建立风险分级？
- 新的安全策略减少了误拒答，同时让少数边界案例出现敏感信息泄露。产品团队希望保留总体满意度提升。你会如何评估？
当前目标在这里暂无匹配题。 ·
实现与验证2
检视方案如何执行、验证和纠偏。
经历与复盘1
用过去的事实检视贡献、结果与学习。
第 1–1 题
当前目标在这里暂无匹配题。 ·
当前目标在这项能力中暂无匹配题。 ·