替代GPT-3,Meta发布免费的AI模型OPT

Meta 的 AI 部门发布了一个经过广泛训练的语言模型来推进人工智能研究,特别是针对语言 AI​​本身弱点的研究。该模型名为 OPT(Open-Pre-trained-Transformer),在性能和大小方面与GPT-3 相当(最大版本的 OPT 有 1750 亿个参数),然而训练的效率比 GPT-3 高得多。

OpenAI 的语言 AI 模型 GPT-3 被称为是自然语言 AI ​​系统发展的里程碑。该模型能够生成连贯而可信的短文本,以至于人们无法识别它们是由 AI 生成的。此外,该模型还能用于其他领域,例如代码生成,只要稍微加以再训练即可。强大的能力,让 OpenAI 看到了 GPT-3 的商业模式,然后便通过接口等方式来提供这一 AI 模型。而这却使得研究人员难以利用它来推进研究。

Meta 希望 OPT 能填补 GPT-3 商业化造成的空白。该公司将根据来自研究、产业、政府和民间组织的选定合作伙伴的需求,制作具有 1750 亿个参数的最大的 OPT 模型,它们应该能够分析语言处理中神经网络的权重和连接。同时免费提供从 1.25 亿到 300 亿参数的较小 OPT 模型。除了模型,Meta 还发布了训练代码和训练历史文档。

Meta 希望科技界能够找到“明确的指导方针”来处理大型 AI 语言模型的问题,尤其是 AI 生成内容中的偏见和毒性。过去的研究工作表明,GPT-3 不仅强化了训练数据中现有的偏见,而且还产生了新的偏见。而如果无法直接访问这些模型,研究人员在制定检测和减轻潜在危害的策略方面的能力将有限,这无疑将延迟或阻碍 AI 语言模型在实践中的广泛使用。

“我们认为,整个人工智能社区——学术研究人员、民间团体、政策制定者和行业——需要共同努力,为负责任的人工智能,特别是负责任的大型模型,制定明确的指导方针,因为它们是许多下游语言应用程序的核心。”Meta 的研究团队写道。

较小的 OPT 模型可在 Github 上获得,要了解更详细的信息请阅读 Meta AI 的论文。【数字叙事 Lighting】

赞赏
lighting
lighting
笛卡尔的“思”正在进入明斯基的“情感机器”
本文系数字叙事原创(编译)内容,未经授权,不得用于商业目的,非商业转载须注明来源并加回链。

订阅

受欢迎的

相关文章
Related