目前，最好的文本 AI 是GPT-3，但需要向OpenAI付费才能获得访问权限。尽管有充分的理由证明它并未完全商业化，但仍然遭到了人工智能研究人员和像 Elon Musk 这样的先前投资者的批评。
由一群 AI 研究人员组成的松散的研究组织 Eleuther AI 希望继续 AI 研究的开源理念，因此正在研究可免费获得的 GPT-3 变体。该小组得到了谷歌等公司的支持。
这个名为 GPT-Neo 的项目有近 130 亿个参数，这是 GPT-2 的十倍，但仍比 GPT-3 少了近 1600 亿。为了开发所需的更大的版本，AI 研究人员转向了基于 GPU 的训练。新版本被称为 GPT-NeoX，将在谷歌提供的数千个 GPU 上进行训练。
GPT NeoX 的代码预计将在 2 月份完成，而同样由 Eleuther AI 编译的文本数据集“The Pile”的 AI 训练也将在 8 月份完成，该数据集包含 800G 的互联网文本。
最终版本的参数应有 175 至 2000 亿个参数，并可以开源使用。因此，企业可以使用它来提供类似于 GPT-3 的 API 服务。参与研究的 Connor Leahy 预计，GPT 技术将带来更低的价格，催生众多新的初创企业。
该小组希望在 GPT-NeoX 之后开发进一步的项目。一名成员正在研究他自己的 Deepminds AlphaFold 版本，而 Leahy 希望进行人类反馈和强化学习实验，以创建更好的通用 AI。
GPT-NeoX 的当前代码可在 GitHub 上找到。如果要加入这个小组，可以在 Discord 上找到它。【数字叙事 编译：Lighting；来源：mixed.de】
[…] AI 的更快的发展。Eleuther AI刚刚推出开源的文本 AI 模型 GPT-Neo 和 GPT-NeoX […]
[…] AI 是一群组织松散的 AI 研究人员，他们致力于 GPT-3 的开源变体GPT-NeoX的开发，GPT-NeoX 的参数大小为 175 到 2000 亿，将接受 800 GB […]