Meta 的 AI 部门发布了一个经过广泛训练的语言模型来推进人工智能研究，特别是针对语言 AI本身弱点的研究。该模型名为 OPT（Open-Pre-trained-Transformer），在性能和大小方面与GPT-3 相当（最大版本的 OPT 有 1750 亿个参数），然而训练的效率比 GPT-3 高得多。
OpenAI 的语言 AI 模型 GPT-3 被称为是自然语言 AI 系统发展的里程碑。该模型能够生成连贯而可信的短文本，以至于人们无法识别它们是由 AI 生成的。此外，该模型还能用于其他领域，例如代码生成，只要稍微加以再训练即可。强大的能力，让 OpenAI 看到了 GPT-3 的商业模式，然后便通过接口等方式来提供这一 AI 模型。而这却使得研究人员难以利用它来推进研究。
Meta 希望 OPT 能填补 GPT-3 商业化造成的空白。该公司将根据来自研究、产业、政府和民间组织的选定合作伙伴的需求，制作具有 1750 亿个参数的最大的 OPT 模型，它们应该能够分析语言处理中神经网络的权重和连接。同时免费提供从 1.25 亿到 300 亿参数的较小 OPT 模型。除了模型，Meta 还发布了训练代码和训练历史文档。
Meta 希望科技界能够找到“明确的指导方针”来处理大型 AI 语言模型的问题，尤其是 AI 生成内容中的偏见和毒性。过去的研究工作表明，GPT-3 不仅强化了训练数据中现有的偏见，而且还产生了新的偏见。而如果无法直接访问这些模型，研究人员在制定检测和减轻潜在危害的策略方面的能力将有限，这无疑将延迟或阻碍 AI 语言模型在实践中的广泛使用。
“我们认为，整个人工智能社区——学术研究人员、民间团体、政策制定者和行业——需要共同努力，为负责任的人工智能，特别是负责任的大型模型，制定明确的指导方针，因为它们是许多下游语言应用程序的核心。”Meta 的研究团队写道。
较小的 OPT 模型可在 Github 上获得，要了解更详细的信息请阅读 Meta AI 的论文。【数字叙事 Lighting】
