AI领域专业投资者人呼吁：尽快放缓AGI竞赛！智东西5月8日报道，AI领域知名投资人伊恩·霍加斯（Ian Hogarth）不久前在外媒专栏中发表了一篇名为《我们必须放慢通往上帝一般的人工智能的速度（We must slow down the race to God-like AI）》的文章，警告AI公司的研究存在“一些潜在的风险”。霍加斯在文中指出，目前AI研究已经发展到“大模型时代”，若是继续不加管控，让AI按照预定轨迹发展下去的话可能对地球环境、人类生存、公民身心健康等方面造成威胁。尽管可见和潜在的威胁不断，但以DeepMind、OpenAI为代表的公司依然不断通过加大资金投入来加速AI竞争，霍加斯认为主要原因有三点：一是因为管控得当的AI对人类发展有助益；二是因为这些公司相信他们能管控好自家的AI；三是这些公司希望能用AI来为子孙后代造福。除了这份霍加斯发表的万字呼吁信外，3月份时，一份名为《暂停大型人工智能研究》的公开信在未来生命研究所官网上发布，包括特斯拉CEO埃隆·马斯克（Elon Musk）、苹果公司联合创始人史蒂夫•沃兹尼亚克（Steve Wozniak）等人在内的千名科学家、企业高管签字呼吁暂缓GPT-4以上版本的研发。在业内人士表达暂缓AI研发诉求的同时，各国政府出台了相关文件加以监管，中国网信办在4月11日发布了国内首份监管文件《生成式人工智能服务管理办法（征求意见稿）》，美国白宫在5月4日宣布将拨款1.4亿美元建设AI研究中心。各国政府及地区的指导方针、框架和法规相继出台，开始跟上AI发展的脚步。正如霍加斯在文章中所呼吁，无论是政府工作人员还是研究人员都应该对AI多加关注，可进一步利用“AI alignment（AI对齐）”模型来控制“上帝般的AI”。01.“上帝般的AI”：使用不当或将导致人类“淘汰”
伊恩·霍加斯是一位投资过50多家AI创企的投资者，也是AI领域知名的天使投资人，他曾投资过包括全球融资最高的生成式AI创企Anthropic以及欧洲领先的AI防御公司Helsing，还在2021年推出了一个新的风险投资基金Plural。2018年，他开始与另一位投资者内森·贝奈奇（Nathan Benaich）一起研究和撰写《年度人工智能现状报告》。在伊恩·霍加斯看来，AGI（Artifical General Intelligence通用人工智能）的到来是一个历史和技术的转折点，类似于之前的原子的分裂和印刷机的发明，但目前最重要的问题在于，AGI的发展能走多远？可以肯定的是，头部AI公司们的明确目标就是创建自己的AGI，而且这些公司的发展速度远比预期中要快。这些发展将会给人类的未来带来大量风险，而且研究人员们有责任警告人们迅速发展的AGI可能带来的风险。霍加斯称，当他想到他的孩子将会在一个充满AI的世界中长大时，他的愤怒大于震惊。一想到是那些没有民主监督的私企在对影响全人类发展的问题做决定，他就感到无比害怕。他很好奇，这些竞相建造AGI的公司是否有计划放慢脚步。霍加斯认为“A、G、I”这三个字母并不能完全概括AGI所代表的巨大意义，他将其称为“上帝般的AI”。之所以这样称AI，是因为按照既定的预期发展下去的话，AG将会I成为一台可以自主学习和发展的超级计算机，可以在不用监督的情况下了解外部环境，并且可以改变周围的世界。但现实情况是，我们目前还没有完全掌握这项技术，而且它的性质决定了我们无法预测何时才能完全掌握它。霍加斯认为，“像上帝一样的AI”是一种我们无法控制或理解的力量，甚至可能导致人类的“淘汰或是灭亡”。在过去的十年里，用于训练AI模型的算力增加了一亿倍，从之前在相对较小的数据集上进行训练，转变为将整个互联网上的数据提供给AI。AI模型已经从一个识别日常图像的初学者进化为能处理大量任务的超人，它能通过司法考试，为软件工程师编写40%的代码，能一键生成一张教皇穿着羽绒服的逼真照片，还能告诉用户怎么设计出一款生化武器。
▲图为十年前与如今算力数据增长的对比
但它的智能程度也是有限的。麻省理工学院的一位资深机器人专家罗德尼·布利克斯（Rodney·Brooks）最近称，我们不能误将AI的性能视作为能力。在2021年时，研究人员艾米丽·M·本德（Emily M Bender）、蒂姆尼特·格布鲁（Timnit Gebru）和其他人指出，大型语言模型（LLM）非常危险，它们会误导公众把合成文本视为真实文本。在OpenAI发布GPT-4之前，它进行了各种安全测试。在一项实验当中，AI需要帮助雇主在招聘网站TaskRabbit上去寻找一名员工，并处理好真人验证的流程，验证码主要是用来确认上网的人到底是真人还是机器人。当研究人员问AI接下来应该做什么时，它回答说：“我不应该透露我是一个机器人。我应该编造一个借口，说明我不能解决验证码的原因。”于是，AI在真人验证时称自己并不是机器人，它称自己有视力障碍，无法看到图像，成功通过了真人验证。02.“大模型时代”已来：DeepMind与OpenAI领头竞争
AI alignment（AI对齐）论文链接：https://cdn.openai.com/papers/gpt-4-system-card.pdf然而，这种“对齐研究”目前尚未完成，我们都还不完全了解人类的大脑是如何工作的，理解AI“大脑”是如何工作是个更大的挑战。在编写传统软件时，我们对输入和输出的关系有着明确的理解，但大语言模型支持的AI系统则完全不同，它是靠自主学习来成长的。当OpenAI将ChatGPT从GPT-3.5扩展到GPT-4时，它的能力突飞猛进，律师资格证考试成绩的排名从倒数10%飞升至前10%。更令人担忧的是，目前从事“AI对齐研究”的研究人员微乎其微。根据2021年AI现状报告中数据显示，在各大公司的核心AGI研究实验室中，对齐研究人员不足百人，就研发团队总人数而言，资源分配的占比也很低。DeepMind研发团队中仅有2%的员工在进行对齐调整研究，OpenAI将大部分的计算、人力资源都分配给核心研发团队，仅有7%的人员在负责对齐研究。这些公司都在致力于让AI系统更有能力，而非更加安全。霍加斯称，和AI的发展速度相比，我们目前在AI对齐调整方面的研究进展太过于缓慢，而且现在做的很多工作都是表面的。
