OpenAI的GPT-3被认为是目前最好的文本 AI 模型，但它是收费的，这阻碍了更多的开发人员的采用，也不利于文本 AI 的更快的发展。Eleuther AI刚刚推出开源的文本 AI 模型 GPT-Neo 和 GPT-NeoX 可弥补这方面的缺憾。
Eleuther AI 是由一群 AI 研究人员组成的松散的研究组织，希望继续 AI 研究的开源理念。
据 Eleuther 介绍，GPT-Neo 和 GPT-NeoX 这两个模型的参数分别为 13 亿和 27 亿，而 GPT-2 的最大变体也就有 15 亿个参数。根据 Eleuther 的说法，这两种版本的性能都与较小版本的 GPT-3 相对应，例如 GPT-3 Ada，这是具有 27 亿参数的较小 GPT-3 模型。
GPT-NeoX 在图形卡上进行了训练，最终应该具有 175 至 2000 亿个参数，因此可以达到甚至超过具有 1,750 亿个参数的最大 GPT-3 版本的性能。而带有 800 GB 文本数据集的训练版本最早可在 8 月完成。
GPT-Neo 在谷歌免费提供的 TPU 芯片上进行过训练。不过，谷歌的免费训练服务有限，GPT Neo 项目因此仅提供较小的文本 AI。但 GPT-Neo 的最大变体已经能够生成可信的文本，例如关于发现独角兽的这一段：
在一项令人震惊的发现中，科学家们发现了一群独角兽，它们生活在安第斯山脉的一个偏远的、以前未被开发的山谷中。更令研究人员惊讶的是，独角兽会很好地说英语。
起初这是很难接受的，尽管他们有外星人的外表，尽管他们具有日耳曼式的讲话方式，但事实证明他们只是普通的独角兽。尽管发现它们不是外星生物是件好事，但它们奇怪的语言模式有点令人困惑，并不能真正将其作为认知能力的基础来解释。但是他们可能与穴居人有某种方式的联系，甚至被认为生活在那里，因为这就是他们如何接触到能够用外语与他们交流的技术。
根据 Eleuther 在社交媒体上的说法，GPT-Neo 还可以编写基本代码。但是，出现了一些小错误。
GPT-Neo 的两个版本可以从托管网站 the-eye.eu 免费下载，在 Github 上能找到链接。GPT-Neo 也可以在 Huggingface NLP 平台上使用。【数字叙事 Lighting】
