机器学习在自动文本摘要上不断取得突破。不久前，微软宣称其 AI 模型UniLM在摘要和语言生成上可以自行进行微调，以实现准确和流畅。近日，谷歌大脑和伦敦帝国理工学院的一个团队声称在新闻、科学、故事、指令、电子邮件、专利和立法法案等摘要任务中取得了最先进的成果，所构建的系统在低资源摘要方面有惊人的表现，其连贯性达到了很高的语言质量，无需微调来缓解不流畅。
研究团队指出，文本摘要旨在从输入文档生成准确和简洁的摘要。抽象摘要不是简单地从输入中复制片段，而是可能产生新单词并涵盖主要信息，从而使输出在语言上保持流畅。
该团队的研究基于神经架构 Transformers 之上。和所有的深度神经网络一样，Transformers 包含的功能（神经元）被安排在相互连接的层中，这些层传递输入数据的信号，并缓慢地调整每个连接的突触强度（权重）——这就是所有 AI 模型提取特征和学习做出预测的方式。但 Transformers 独特之处是，每个输出元素都连接到每个输入元素，并动态计算它们之间的权重。
在实验中，研究团队选择了性能最佳的 Pegasus 模型（该模型具有 5.68 亿个参数和从历史数据中学习到的变量），使之接受了从 3.5 亿个网页中抓取的 750GB 文本和从新闻网站收集的总计 3.8TB 的重大新闻文章的训练。
结果表明，Pegasus 在流畅性和连贯性方面达到了很高的语言质量，而且它不需要采取措施来缓解不流畅。此外，在只有 100 篇示例文章的低资源环境中，它生成的摘要质量可与在 20,000 到 200,000 篇文章的完整数据集上训练的模型相媲美。
【数字叙事 黎雾】
