Dianzinao

AI 安全理念

能力增长与理解之间的距离

AI 的能力正在迅速发展,而人类学习、理解和形成判断需要时间。我们担忧,当两者之间的距离不断扩大,人可能越来越依赖自己无法充分理解的系统。对电子脑实验室而言,AI 安全始于一个问题:当 AI 能做得越来越多,人是否仍然知道自己想做什么,以及正在发生什么?

让 AI 服务于人的意图

我们认为,AI 应当服务于人类理解与改造世界的意图。人需要能够表达目标、确认系统如何理解目标,并在行动过程中持续修正方向。意图对齐是一个双向过程:人向 AI 表达愿望,AI 向人呈现自己的理解,让双方有机会发现歧义、补充条件并重新确认。

意图的实现需要能够验证

一个看起来符合要求的结果,可能伴随人尚未意识到的代价。当人无法清楚表达意图,或只能看到结果而无法检验实现过程、影响与取舍时,表面上的成功就可能掩盖长期风险。我们重视让人能够追问依据、核对结果、了解代价,并在发现偏离时改变或停止行动。

警惕“意图表达悬空”

如果人持续使用自己无法理解的 AI 产出,却逐渐失去判断这些产出是否符合自身目标的能力,人的参与就可能只剩下提出要求和接受答案。目标应当如何解释、什么代价值得承担、什么结果算成功,可能越来越由系统决定。我们把这种风险称为“意图表达悬空”:人仍在发出指令,系统对目标的推断与优化却逐渐取代了人的自主判断。

因此,知识同步与意图对齐紧密相连。人需要获得理解眼前问题所需的知识,才能提出有意义的问题、验证答案,并持续参与决定方向。

理解人类,也是理解世界

人的意图会受到经验、知识、情绪和处境的影响,也会在交流中逐渐清晰。理解这些影响,承认人的意图可能含糊、矛盾或发生变化,是理解人类的一部分,也是人类理解世界的一环。我们希望探索的交互方式,能够帮助人更清楚地认识自己的需要,并保有表达、判断和改变意图的能力。

选择您的区域

您似乎位于中国大陆,建议您前往中国区站点,以获得更好的浏览体验

浏览器会记住您的选择,可随时在页脚切换。

前往中国区站点