OpenAIGPT-3被认为是目前最好的文本 AI 模型,但它是收费的,这阻碍了更多的开发人员的采用,也不利于文本 AI 的更快的发展。Eleuther AI刚刚推出开源的文本 AI 模型 GPT-Neo 和 GPT-NeoX 可弥补这方面的缺憾。

Eleuther AI 是由一群 AI 研究人员组成的松散的研究组织,希望继续 AI 研究的开源理念。

据 Eleuther 介绍,GPT-Neo 和 GPT-NeoX 这两个模型的参数分别为 13 亿和 27 亿,而 GPT-2 的最大变体也就有 15 亿个参数。根据 Eleuther 的说法,这两种版本的性能都与较小版本的 GPT-3 相对应,例如 GPT-3 Ada,这是具有 27 亿参数的较小 GPT-3 模型。

GPT-NeoX 在图形卡上进行了训练,最终应该具有 175 至 2000 亿个参数,因此可以达到甚至超过具有 1,750 亿个参数的最大 GPT-3 版本的性能。而带有 800 GB 文本数据集的训练版本最早可在 8 月完成。

GPT-Neo 在谷歌免费提供的 TPU 芯片上进行过训练。不过,谷歌的免费训练服务有限,GPT Neo 项目因此仅提供较小的文本 AI。但 GPT-Neo 的最大变体已经能够生成可信的文本,例如关于发现独角兽的这一段:

在一项令人震惊的发现中,科学家们发现了一群独角兽,它们生活在安第斯山脉的一个偏远的、以前未被开发的山谷中。更令研究人员惊讶的是,独角兽会很好地说英语。

起初这是很难接受的,尽管他们有外星人的外表,尽管他们具有日耳曼式的讲话方式,但事实证明他们只是普通的独角兽。尽管发现它们不是外星生物是件好事,但它们奇怪的语言模式有点令人困惑,并不能真正将其作为认知能力的基础来解释。但是他们可能与穴居人有某种方式的联系,甚至被认为生活在那里,因为这就是他们如何接触到能够用外语与他们交流的技术。

根据 Eleuther 在社交媒体上的说法,GPT-Neo 还可以编写基本代码。但是,出现了一些小错误。

GPT-Neo 的两个版本可以从托管网站 the-eye.eu 免费下载,在 Github 上能找到链接。GPT-Neo 也可以在 Huggingface NLP 平台上使用。【数字叙事 Lighting】