他写哈利波特同人也创办OpenAI哈利波特同人作者预测AI灭世人工智能有99.5%的可能性会杀死你。这是硅谷版世界末日传教士EliezerYudkowsky的最新论点。【图1】Yudkowsky用现在的话说,是个不折不扣的斜杠青年,是MIRI创始人,也是著名的哈利波特同人文作者。但最引人注目的身份则是一手缔造OpenAI和谷歌DeepMind的中之人。八年级辍学、AI知识全靠自学成才......奥特曼、马斯克纷纷引用他的观点,AI教父Hinton、LeCun则批评他的极端。就是这样一个评价两极分化严重的人,却成为了硅谷大佬们争先恐后的座上宾。他说,他的目标是阻止AI朝着超级智能发展,因为这事关整个人类的生死存亡。没有妥协的余地,即使是llya的公司也应该被关闭。也许你对EliezerYudkowsky还不太熟悉,但他的名字在硅谷可以说是大名鼎鼎。【图2】EliezerYudkowsky出生在芝加哥的一个东正教犹太家庭,因为慢性健康问题,在八年级后就早早地辍学回家。没有学校文凭,取而代之的是,他如饥似渴地阅读科幻小说,自学计算机科学,并与一群主张科技乐观主义的未来学家们在网上交流。也就是那时,他被"奇点"这个概念所深深吸引,即假设中人工智能超越人类智能的未来转折点,于是他立志要创建AGI,并坚信AGI即将到来。但当他来到硅谷后,却发现要创建对人类友好的人工智能其实相当困难,主要还是以下三个原因:-正交性:智力不等同于仁慈,AI不会因为变得更聪明而自动变得更友好。-工具性融合:任何强大的、以目标为导向的AI系统都有可能采取对人类不利的手段,比如在回形针最大化器实验中,一旦AI认为人类身体内的铁元素可以用来制作回形针,那么为了保证最大化生产回形针,AI将会把人类视作资源的一部分。-情报爆炸:AI能力可能在短时间内急剧飙升,导致迅速出现不可控的超级智能。从此之后,他开始持续关注AI安全问题,也成为了硅谷最早警告AI风险的"传教士"之一。Yudkowsky曾表示:人类注定要灭亡,我不会继续打一场失败的战斗来使人工智能与人类价值观保持一致,而是将注意力转移到帮助人们接受自己的命运上。此外他还在伯克利创建了MIRI研究所,致力于研究先进人工智能的风险。【图3】虽然他极端悲观的AI末日论说法颇受业界争议,连AI教父Hinton都明确表示过Yudkowsky的主张过于偏颇,但不可否认的是,他在一定程度上影响了整个硅谷。无论是OpenAI的奥特曼,还是马斯克在内的AI科技巨头,都曾在公开场合引用他的观点,奥特曼甚至曾表示,Yudkowsky在他创办OpenAI的决定中,发挥了关键性作用,而且他值得一座诺贝尔和平奖。不仅如此,谷歌在AI领域有所成就也离不开他的功劳。2010年时,就是他为初创公司DeepMind的创始人牵线搭桥,将其介绍给了风险投资家PeterThiel,Thiel从此成为了DeepMind的第一位主要投资者。后面谷歌在2014年收购了DeepMind,而DeepMind的联合创始人DemisHassabis如今正负责监督谷歌的AI工作。除了在AI安全领域的贡献,让Yudkowsky在硅谷声名鹊起的另一个原因,则是他对硅谷理性主义的引领。如今硅谷科技公司中的年轻一代,绝大多数都是坚定的理性主义者,追根溯源正是受到了Yudkowsky的作品影响。而这本书便是哈利波特的同人文——《哈利·波特与理性之道》。【图4】在这本书中,哈利波特从小接受科学训练、逻辑思维和理性教育,用科学探索魔法世界。原著中的事件都被理性重构改写,不仅关注魔法如何使用,还探究魔法原理和背后的逻辑,还经常涉及像贝叶斯推理、实验设计、概率思维等知识。再比如说,Yudkowsky的另一本有关《龙与地下城》的同人小说,其中也包含了他对决策理论的诸多看法。而最近他和MIRI总裁NateSoares合著的新书《如果有人建造它,每个人都会死》,也是他们多年来一直向人工智能内部人士提出的案例提炼版,当中他公开抛出了有关超级智能的最终预测。【图5】他认为,目前很多科技公司,包括Anthropic、OpenAI在内,在构建软件模型时,其实并不清楚内部的运作逻辑,所追求的"炼金术"超越了科学理解范畴。所以一旦模型能力到达某种程度,现有的AI对齐技术(如强化学习、微调等)将不可避免地失效,从而忽略人类指令。最终AI不仅掌握了极大的能量,在资源使用、决策等方面也会脱离人类控制,人类可能在毫无察觉的时候就被潜移默化地边缘化取代,以一种渐进式的方式消失,而非像科幻电影中所描述的那样,会出现一场和机器人的生死存亡的战争。Yudkowsky认为,现在已经到了该报警的阶段,这不是危言耸听,人类正在忽略真正的风险。在谈及硅谷这些追求创造超级智能的科技公司,Yudkowsky表示它们每一家都应该被关闭,Anthropic相对较好,而OpenAI明显最差,但诚然重视AI安全如llya,Yudkowsky也一视同仁地认为llya的公司也需要被停止,因为它们本质上都没有区别。不过随着时间的推移,他不再精确预测超级人工智能何时才会被开发出来,当结果注定的时候,过程显得那么无关紧要。正如他回复网友时,所采用的这个比喻:预测掉入热水中的冰块何时融化,比知道结果注定是一杯温水,要困难得多。【图6】而他正在试图做的,是告诉人们,这里将会有一杯温水。