如果人工智能编造信息怎么办？业务流程中的准确性

人工智能可能在报价中加入不存在的产品功能，读错日期，或者自信地给出缺乏依据的解释。文字越流畅，错误有时越难被发现。设计企业工具时，问题不只是模型有多强，还要决定由哪个环节阻止错误回答发送给客户或写入系统。

这种风险确实存在。NIST 的生成式人工智能风险资料在“confabulation”中讨论了自信呈现错误内容的情况。对企业而言，后果可能是错误价格、不正确的库存信息或没有依据的承诺。下文是用于评估流程的假设场景，并非对某位客户实际事故的描述。

把语言生成与记录读取分开

让客户邮件更清晰，与确定产品当前价格，是两种不同的任务。前者可以使用语言辅助，后者应读取经过批准的价格记录。按照产品代码从记录系统获取价格，而不是让模型凭记忆回答。模型可以组织说明，但应保留数字来自哪里的依据。

计算也应遵循同样的原则。折扣、数量和合计可以由规则明确的软件计算。让人工智能解释整张表，不应取代已知的计算规则。应同时展示产品代码、币种、单位和日期。看似正确的数字，如果对应了错误产品或旧版本，仍然是错误结果。

来源资料能降低风险，但不能代替验证

向工具提供相关企业文档或记录会有帮助。但系统可能没有找到正确文档，选中了旧版本，或在回答中超出了证据范围。仅显示一个链接并不足够。审核人员应能查看实际引用的段落，并判断它是否支持相关陈述。

尽可能随输出保留来源名称、版本和生效日期。如果两份文档互相冲突，应标记冲突，而不是让模型猜哪份正确。来源优先级应由负责人确定。文档更新后，还要检查搜索结果中是否残留旧内容。来源管理不是上传一次文件就结束的工作。

“不知道”必须对应实际处理状态

要求模型承认不确定性是一个开始，但不是充分的控制。应用应把信息缺失识别为独立状态。例如，必填产品代码缺失、来源不可用或价格相互矛盾，都可以使结果进入“需要审核”状态，并阻止下一步发送。

否则，屏幕上可能显示警告，自动化却仍把文档发了出去。应让警告真正控制后续操作权限，明确由谁补全信息，以及核验后的记录如何再次处理。面向客户的场景可参阅人工智能助手回答错误时怎么办；本文关注整个工作流程的准确性。

根据后果选择控制措施

内部会议摘要中的一句话，与发送给客户的报价，后果并不相同。控制措施应反映这种差异。必填字段、预期日期格式和产品代码是否存在于清单中，可以自动检查。需要解释判断或涉及特殊承诺的情况，则可能需要获授权人员审核。

• 明确哪些字段必须与来源完全一致。
• 将计算和一致性检查与文本生成分开执行。
• 把需要审核的记录放入单独队列，并写明原因。
• 发送前记录由谁批准了哪些字段。
• 操作后核实实际保存或发送的结果。

让第二个模型检查，可以提供额外信号，却不能保证独立验证。两个模型可能依赖同一份不完整文档。对于计算、身份匹配和已有数值，直接与现有记录比较通常更直接。审核人员需要看到相关来源和差异，而不只是最终文字。

上线前测试错误情况

只用一个整洁的例子试运行并不充分。应准备无法读取的 PDF、缺失行、同名产品、旧价目表和互相矛盾的文档等受控案例。目标不是每次都生成答案；有时正确结果是停止处理并报告具体缺口。验收标准应包含这种区别。

试用记录应包括输入、使用的来源、输出、检查发现和最终操作状态。这样在发现错误后更容易确定受影响的记录。修正后，不仅要重跑正常案例，也要重跑此前失败的案例。使用适当的测试数据，不要向真实客户发送测试消息或创建正式业务记录。

注意：准确性与数据安全是不同的问题

流程能正确回答，不代表任何数据都适合交给它。应排除不必要的个人信息，并评估数据发往哪里、谁能访问以及保存多久。URİKEM 当前的做法见数据安全部分。应一起设计验证、访问和保留规则。

先选择一项重复工作，画出应该阻止错误的环节：没有来源就停止，存在冲突就交给审核，检查通过后才进入获授权的步骤。这并不承诺零错误，而是让错误可见、限制影响，并支持修正时避免意外重复操作。

常见问题

要求模型只使用来源资料就足够了吗？

不够。必须核对来源是否真正支持回答，并明确在资料缺失、过时或相互矛盾时如何停止处理。

让另一个人工智能检查就能消除错误吗？

不能。第二个模型也可能出错，或依赖同一份不完整的资料。应尽可能依据原始记录和明确规则校验关键字段，必要时由获授权人员审核。

发生错误后必须全部重新开始吗？

如果每一步的结果分别记录，就可以识别受影响的记录，只修正必要部分。重新运行不能造成再次发送或重复创建记录。