对于 AI 的行为,为什么证据胜过解释

当一个 AI 系统做了某件有后果的事,人们的第一反应通常是问它“为什么”。现代模型很擅长回答这个问题,它会给出一段清晰而自信的推理陈述。麻烦在于:这段陈述是事后生成的,和它当初的输出出自同一套机制,并不与系统实际做过的事绑定。一个漂亮的解释和一个错误的行为,完全可以和平共处。对于任何要紧的事,你需要的是证据。

一句话说清区别

• 解释是关于某个决定的故事,应要求而生成。
• 证据是关于实际发生了什么的记录,由“做这件事”这个动作本身产生。

让模型为它批准的一笔退款辩护,它可以描述一条合情合理、却也许从未真正查阅过的政策。而一条记录——显示查验了哪个版本的政策、读取了哪些输入、由谁或由什么授权了该行为、结果改变了什么——并不依赖模型的自述是否诚实。前者是说服,后者是事实。

为什么解释不够用

恰恰在你最需要信任它的场合,解释会失灵:

• 它是重构,不是轨迹。模型讲述的是一条说得通的路径,未必是真正走过的那条。
• 它很善于附和。问一个决定为什么对,你通常会被告知它为什么对。
• 它会悄悄退化。当系统开始表现异常时,它的解释往往听上去依然同样合理。

这并不是说解释毫无用处——它帮助人理解和排查问题。但作为问责的地基,它很薄弱,因为它无法与模型之外的任何东西相互印证。

证据必须具备什么

只有当一份记录能经受住怀有敌意、或仅仅是足够谨慎的人的审视时,它才配称为证据。落到实处,这意味着几项属性:

• 可查验。 人可以复核发生了什么,而不必依赖特殊权限或厂商给出的摘要。
• 防篡改。 记录若被事后改动,这一点应当被察觉,而不是无声无息。
• 失败即关闭。 若系统无法为某个行为产出一份完整记录,合理的默认是不执行该行为,而不是硬着头皮继续、寄望于没事。
• 可回放。 输入、决策与影响的序列能够被重新走一遍,让有争议的结果可供查验,而不是只能各执一词。

在那些长期与风险打交道的领域,这些本是寻常期待。航空业靠的不是飞行员解释自己的推理,而是记录仪;金融业靠的不是交易员回忆自己的意图,而是账本。

由此带来的设计后果

把证据当作首要之事,会改变系统的构建方式。证据无法在模型接入之后,作为一个日志功能“补装”上去——到那时,授权、输入和影响早已被搅在一起。它必须在行为发生的那一刻产生,作为执行该行为的一部分。

正是在这里,“AI 提议,人来决定”才从口号变成可操作的东西。一份附带支撑记录送达的提议,是人可以真正掂量的;一份只附上一段自信文字送达的提议,人能做的只有相信或怀疑。

该问的问题

评估一个将代表你行动的 AI 系统时,有用的问题不是“它能不能解释自己”,而是:它行动之后,你能查验到什么,而那份记录经得起别人核查吗?如果答案是一段写得漂亮的叙述,你得到的是解释;如果答案是一份你能回放、能验证的记录,你得到的才是可以为之背书的东西。