由北京智源人工智能研究院研发的语言 AI 模型悟道(Wu Dao)可以根据需要写诗,回答问题,生成图像的描述文本,根据上传的图像生成歌词,依据文本生成图像,甚至由文本生成一系列想象的场景等。研究人员称,悟道 2.0 在九个广泛的 AI 基准测试中达到甚至超过了当前最先进的 AI 模型GPT-3

悟道于今年 3 月推出 1.0 版,该 AI 项目由中文预训练模型“悟道·文源”、认知预训练模型“悟道·文汇”、多模态预训练模型“悟道·文澜”、蛋白质预训练模型“悟道·文溯”等 4 个不同规模的 AI 模型组成,是迄今为止最大的中文语言模型。近日推出的 2.0 版参数大小为 1.75 万亿,是 OpenAI 的 AI 模型 GPT-3 的十倍,比谷歌 Switch Transformer 的参数大 1500 亿。

目前,悟道的官方网站已经提供文源、文汇、文澜和文溯这 4 个语言 AI 模型的在线使用体验。

悟道 2.0 类似于 OpenAI 的DALL-ECLIP或者谷歌的 LaMDA 和 MUM 的多模态模型。它用 1.2 TB 的中文和 1.2 TB 的英文文本以及总共 2.5 TB 的图像进行了训练。在悟道 2.0 中,某些信息只会转发到大型模型内的专家网络。这降低了所需的计算能力,因为根据处理的信息,只有模型的某些部分处于活动状态。

参与的研究人员将悟道 2.0 视为朝向通用人工智能迈出的重要一步。当初,OpenAI 的 GPT-3 的发布也伴随这类似的观点,但有争议。Gary Marcus 和 Melanie Mitchell 等 AI 研究者警告说,用目前的 AI 研究方法来实现通用 AI 的想法过于乐观。

中文语言 AI 模型悟道可写诗、由文本生成场景,超越 GPT-3

1条评论