OpenAI遭遇安全团队动荡,AI策略研究员Gretchen Krueger(格姐)离职并发出安全警告
OpenAI遭遇安全团队动荡,AI策略研究员Gretchen Krueger(格姐)离职并发出安全警告
OpenAI近期经历了一系列安全团队成员的离职风波,其中备受瞩目的AI策略研究员Gretchen Krueger(简称格姐)也加入了这一行列。自2019年加入OpenAI以来,格姐深度参与了GPT-4和DALL·E2等项目的开发,并在2020年主导了公司首个全公司范围的“红队”测试。然而,现在她已离开公司,并在社交媒体上表达了对于OpenAI在安全、决策流程、问责制、透明度、文档以及策略执行等方面的深切担忧。
格姐强调,OpenAI应采取措施减轻技术对社会不平等、权利和环境的影响,并警惕科技公司通过制造分裂来剥夺那些寻求追究责任的人的权力。她的这一观点引起了广泛共鸣,进一步凸显了当前AI领域在安全与伦理方面所面临的挑战。
格姐的离职只是OpenAI安全团队内部动荡的冰山一角。在此之前,首席科学家Ilya Sutskever和超级对齐负责人Jan Leike也相继宣布离职。这些变动不仅引发了外界对OpenAI安全问题决策过程的质疑,也凸显了AI公司在治理结构和内部稳定性方面所面临的挑战。
OpenAI的安全团队主要分为三大块:超级对齐团队,专注于控制潜在的超级智能;Safety Systems团队,致力于减少现有模型和产品的滥用;以及Preparedness团队,负责绘制前沿模型的新兴风险。然而,尽管拥有这些专业团队,但风险评估的最终决策权仍掌握在领导层手中。同时,董事会成员来自不同领域的专家和高管,拥有推翻决策的权利。
格姐的离职和公开言论,以及OpenAI安全团队的其他变动,已经引起了社区对AI安全性和公司治理的广泛关注。这些问题不仅影响着OpenAI的未来,也关系到整个AI行业的健康发展和社会的长远利益。人们期待OpenAI能够正视这些问题,并采取切实有效的措施加以解决。