OpenAI 设立 1000 万美元基金,支持超人类 AI 风险研究

OpenAI 宣布与 Eric Schmidt 合作,启动了一项 1000 万美元的新资助计划,以支持技术研究,确保超人类人工智能(superhuman AI)系统的一致性和安全性。

“我们相信超级智能可能在未来十年内到来。这些人工智能系统将拥有巨大的能力 —— 它们可能带来巨大的好处,但也可能带来巨大的风险。”

该公司表示,当前确保 AI 系统安全的手段主要是依赖于人工监督的对齐技术(例如 RLHF)。但超人类AI系统将能够执行人类无法完全理解的复杂且富有创造性的行为。例如,如果一个超人模型生成一百万行极其复杂的代码,人类将无法可靠地评估这些代码执行起来是安全还是危险,现有的技术可能不再够用。

“这就引出了一个根本性的挑战:人类如何引导和信任比自己聪明得多的人工智能系统?这是世界上尚未解决的最重要的技术问题之一。但我们认为,只要齐心协力,这个问题是可以解决的。现存许多有希望的方法和令人兴奋的方向,以及许多唾手可得的成果。”

作为其 Superalignment 项目的一部分,OpenAI 推出的这一资助计划旨在:

根据 OpenAI 的说法,申请这一资助资金的研究人员不要求有对齐工作的经验,他们已准备好为尚未在这方面做过任何工作的研究人员提供支持。申请将持续开放至 2 月 18 日,申请人将在申请截止日期后四个星期内收到回复。

申请表单

未经允许不得转载:岩猫星空网 » OpenAI 设立 1000 万美元基金,支持超人类 AI 风险研究