生成式人工智能语言模型，如 OpenAI 的GPT-2，可以生成令人印象深刻的语义连贯的文本，但是控制文本的属性——例如主题或情感——则需要对体系结构进行修改或针对特定数据进行定制。Uber、加州理工学院和香港科技大学的一组科学家设计了一种即插即用的语言模型(PPLM)，将一个预先训练好的语言模型与一个或多个属性分类器结合起来，指导小说文本的生成，结果令人惊喜：PPLM 能够控制主题和情感风格的“范围”，且不牺牲流畅性，同时保持灵活性，在任何可微分模型的组合中都能控制文本的生成。
他们的研究建立在去年年底由谷歌和密歇根大学发表的研究基础上，该研究调查了一种架构，它可以从给定的样本中生成句子，并在保持原文本含义的同时改变语气、复杂性、时态甚至语音。它还可以为开发和测试对话人工智能的平台 Plato 的工作提供信息。Plato 是 Uber 今年 7 月发布的产品，带有与现有机器学习和模型调优框架集成的连接器。
根据研究人员在他们的预印论文中的说法，PPLM 使用了两个或更多的小而易于构建的属性模型：一个单词包，或者一个描述文本片段中单词出现的表示形式；线性鉴别器，或表示两类或两类以上的对象或事件的方法。优化是在事后执行的，控制是细粒度的，使用一个强度参数来决定属性的影响应该有多强。
“PPLM 可以被认为是将文学评论家模型翻转的通用机器……它可以判断他们读进作者模型的文本的价值……它可以写出同样有价值的东西。从这个意义上讲，PPLM 的机制是通用的，允许使用任何可微分的属性模型，这将使多样性和创造性的应用超越这里给出的例子。”Uber-AI 实验室的研究人员 Rosanne Liu、Sumanth Dathathri、Andrea madoto、Piero Molino 和 Jason Yosinski 在一篇博客文章中解释说，添加任意数量的属性控制器可以结合先进的生成模型。“通过这项研究，我们引入了……一种动态可配置的受控语言生成方法，允许将一个大型的、预先训练过的语言模型与一个或多个……模型灵活组合。”
在一系列的实验中，给定一个单词包属性模型和主题“空间”，并使用不同的前缀，PPLM 生成了连贯的段落样本。更令人印象深刻的是，该框架成功地从“空间”转换到了“军事”和“科学”等主题，同时巧妙地处理了那些离预定主题很远的句子开头的前缀。它还控制生成一个关于“冬天”、“政治”和“厨房”的混合主题，并且在一个单独的测试中，利用一个受欢迎的开源数据集训练的情感识别器，PPLM 引导文本生成向正面和负面情绪发展。
研究人员注意到，PPLM 适用于一系列场景，包括那些带有偏见或攻击性言论的场景。之前的研究表明，对抗性攻击可以使语言模型产生种族主义输出，但在一项涉及 10 个对抗性触发器和评估人员的测试中，PPLM 标记了 500 个样本的毒性，并将产生的毒性言语的比例从 63.6%降至 4.6%。
当然，PPLM 可能被恶意的参与者用来制造更多的有害语言，研究人员断言这是这种通用技术固有的风险。“我们相信，总的来说，这项工作通过推进对模型能力、属性和当前模型面临的风险的潜在解决方案的讨论，创造了一种积极的结果。”Liu、Dathathri、Madotto、Molino 和 Yosinski 写道，“最近有大量关于能力语言模型的道德问题的讨论，包括它们可能再现有问题的社会偏见，以及它们可能被直接滥用造成社会伤害。”
Uber 的研究团队已经发布了他们论文附带的代码、一个谷歌 Colab 的编程笔记本，以及一个与 Hugging Face 合作开发的在线演示。公开发布的样本提供了十几个属性模型。（编译自 venturebeat.com）
【数字叙事 原文：KYLE WIGGERS；编译：Lighting】
