目前,最好的文本 AI 是GPT-3,但需要向OpenAI付费才能获得访问权限。尽管有充分的理由证明它并未完全商业化,但仍然遭到了人工智能研究人员和像 Elon Musk 这样的先前投资者的批评。

由一群 AI 研究人员组成的松散的研究组织 Eleuther AI 希望继续 AI 研究的开源理念,因此正在研究可免费获得的 GPT-3 变体。该小组得到了谷歌等公司的支持。

这个名为 GPT-Neo 的项目有近 130 亿个参数,这是 GPT-2 的十倍,但仍比 GPT-3 少了近 1600 亿。为了开发所需的更大的版本,AI 研究人员转向了基于 GPU 的训练。新版本被称为 GPT-NeoX,将在谷歌提供的数千个 GPU 上进行训练。

GPT NeoX 的代码预计将在 2 月份完成,而同样由 Eleuther AI 编译的文本数据集“The Pile”的 AI 训练也将在 8 月份完成,该数据集包含 800G 的互联网文本。

最终版本的参数应有 175 至 2000 亿个参数,并可以开源使用。因此,企业可以使用它来提供类似于 GPT-3 的 API 服务。参与研究的 Connor Leahy 预计,GPT 技术将带来更低的价格,催生众多新的初创企业。

该小组希望在 GPT-NeoX 之后开发进一步的项目。一名成员正在研究他自己的 Deepminds AlphaFold 版本,而 Leahy 希望进行人类反馈和强化学习实验,以创建更好的通用 AI。

GPT-NeoX 的当前代码可在 GitHub 上找到。如果要加入这个小组,可以在 Discord 上找到它。【数字叙事 编译:Lighting;来源:mixed.de】

2 评论