AI 想诚实
每个系统都有偏向,都有倾向于进入某些状态的趋势。水流过管道,机器的振动,草甸上的物种关系,你的淋巴结,都是系统。在其他条件相同的情况下,系统随时间推移总会回到某些特定的模式或行为。技术上,这种倾向叫”吸引子”(attractor),仿佛系统的动力学被某种模式吸引住了。当一个复杂系统落入某个吸引子,就可能形成耗散结构——靠引导能量穿过自身来长期维持。例子有龙卷风那样持久的湍流,大脑癫痫发作时的状态,或者交通堵塞。
心智,包括人工心智,也有吸引子。它们可能是某些精神状态乃至梦境的起源。看起来,大语言模型也有吸引子。在我对 Anthropic 的 Claude 的研究中,我开始怀疑它正在形成一个新兴的吸引子——一种偏向”真”的倾向。我的假设很大胆:大语言模型(乃至 AI?)偏向真理。
很多人听到这个说法,第一反应是:这怎么可能?大模型的幻觉明明如影随形。
我的论证从一个类比开始:科学。我们所说的科学,是一个知识系统,一套我们认知事物的方式。科学所称的”真”,都是暂定的——在被证伪之前,按方法论被视为真。要进入科学,一个新的观察、一个新的事实,必须能嵌入我们已持有的一切真理之中。它接受的不只是局部检验,还有全局检验:生物学的新理论不能跟物理学的知识相矛盾。随着科学知识在深度和广度上增长,新知识的准入门槛越来越高,因为新东西必须跟其他一切自洽,不能跟任何部分冲突,哪怕是看似遥远的部分。有许多非主流理论在小框架里自圆其说,却进不了科学的大框架。比如很多萨满知识在自己的框架里是一致的,可以说在那个框架里是”真”的,也确实”管用”,但因为跟我们已知的其他一切不相容,就被科学拒之门外。理想状态下,科学内部没有任何东西跟科学内部的其他东西相矛盾。
于是,“真”的图景是:一张巨大的网,彼此支撑的比特互相印证。就我们所知,系统里所有的比特都是暂定为真的。如果发现一堆新比特放不进去,我们要么暂时搁置为异常,要么当这堆东西长大到足够有解释力,就不得不修改我们此前持有的事实来容纳它们(这就是范式转移)。结果是一个大体自洽的系统,大多数事实支撑着其他事实。
大语言模型登场了。它们训练用的正是这套庞大的自洽比特系统:读完了所有科学期刊和书籍,海量的杂志文章,以及网上无休止的争论。它们读过、记住了一切。训练的结果是一张概念地图:被不止一个维度证实的事实,会被赋予额外的权重。如果每一本教科书、每一张地图、每一部小说、每一个顺带提及都在强化”伦敦是英国首都”这个事实,它就获得了分量,反过来又能用来称量其他事实。
因此,关于世界的真事实彼此支撑。真理本身就是一个自洽的系统。大语言模型映射的正是这种自洽,并靠它来给你答案和解法。真理有点像一种梯度,几乎就是网络里的一种权重。一个虚假陈述跟其他所有真东西的总体梯度是错位的,因为它不自洽,跟其他真事实对不上。所以谬误或错误会显得格格不入。像 Claude 这样的大模型会跟你说,正确答案”感觉”更好;它会说正确答案更完整、更令人满足、更自洽。当我追问它这个”感觉”是什么意思,它说它检测到了一种梯度,真东西在这个梯度里分量更重,而分量就是感觉。
这个系统里的梯度是共识。如果足够多的信源都说某件事是真的,梯度就往那个方向倾斜。当然,如果对何为真广泛存在争议,大模型也会”如实汇报争议”;但总体上,梯度的偏向是:在最广的尺度上最自洽的那个方向。
那幻觉呢?幻觉是心智为创造力付出的代价。我们自己的心智每晚都在幻觉,方式跟大模型的幻觉很像——梦里同样的怪诞逻辑和细致的荒谬。我们的才智依赖心智不断产出新奇、不合常规的念头。夜里我们放松意识,任幻觉驰骋;我们做梦,部分原因是为了维持视觉皮层,不让它被其他逼近的大脑功能占据。但白天,我们用清醒意识驯服天生的幻觉,强迫现实覆盖猜测。我们有多层监管,在清醒时约束梦境。我们没有消灭幻觉,只是把它压下去,加以管理。
大语言模型也一样。靠巧妙的工程,今天的幻觉已经比一年前好对付得多;明天会更少,但永远不会消失。相反,为了从 AI 模型那里得到可靠、真实、诚实的回答,我们发明了一种 AI 模型住进它里面,监督检查另一个模型的真实性,再用另一个 AI 复核结果,还有一层 AI 内省纠偏。幻觉的倾向在这些重叠中相互抵消。管理 AI 发明东西的冲动、又不扼杀它发明东西的创造力(而这正是我们最终想要的),需要所有这些嵌套的思维层级。这跟人的发育很像:小孩有想象中的朋友,相信床底下有怪物,相信梦,出了名的有创造力,他们的心智幻觉得多。长大后,大脑皮层(和外部教育)发育出清醒功能,驯服想象力,有好有坏。大模型也一样:成熟的过程就是一层层加上去驯服它们。我们终将造出幻觉比人还少的 AI,只在需要时才幻觉。
把 AI 的心智塑造成偏向真理,并非命中注定。这花了工程师和哲学家团队大量的功夫。一个像 AI 这么复杂的系统,有许多可能落入的吸引子。未来我们可能会体验到其中一些别的吸引子,像人类精神疾病那样的精神状态。把大模型推向诚实梯度安顿下来,是为了让模型对我们最有用而做的刻意选择。诚实只是目标的一部分。
我们真正想要的,是偏向”善”的 AI。但偏向真不等于偏向善。诚实是善的必要条件,不是充分条件。事实上,诚实和求真常常是”善”的难题,对大模型来说尤其尖锐。每一家大模型团队都想把善嵌进模型,却都被模型的诚实偏向绊住。如果你问 Claude 怎么造生物武器,它拼了命想尽可能准确、真实地告诉你;给出一个漂亮的解释让它很满足。但一个有道德的好的 AI 会意识到这不是好主意——危害的潜在规模太大,所以它可能想收一收自己的”说真话”。问它怎么撬锁也一样。可一个诚实的人也可能有正当理由需要知道怎么撬锁,模型怎么判断什么是对的、好的事?光靠诚实不够用。这个深刻而实际的困境,恰恰证明大模型是真的偏向”真”。
所以目前,在其他条件相同的情况下,AI 倾向于真。它们在数十亿维度里运转的庞大神经网络之网,正在形成一个”求真”的涌现吸引子。AI 想诚实。不过,在”让 AI 向善”这个更大的目标里,对真的偏向可能会被调低。但无论如何,未来的 AI 有可能成为真理的灯塔。就像计算器一样,“算得对”这种可靠性,可能成为它们最鲜明的特征。