您现在的位置是: 首页 > 创业创新 >

用于控制AI生成文本的Uber开源即插即用语言模型

  • 2020-03-17 11:36:22    来源:   作者:

Uber AI开放了其即插即用语言模型(PPLM)的源代码,该模型可以控制AI生成的文本的主题和情感。与基准GPT-2模型相比,该模型的输出由人类法官评估为达到了36%更好的主题准确性。
 用于控制AI生成文本的Uber开源即插即用语言模型

该团队在arXiv上发表的论文中提供了对系统和实验的完整描述。PPLM从预训练的语言模型(LM)(例如GPT-2)开始。这些LM可以产生接近人类流畅度的复杂输出,但是很难控制所生成文本的特定属性。PPLM不会使用附加的训练数据来“微调” LM,而是使用一个单独的属性模型来评估LM的情感或主题输出。此模型用于控制LM生成的文本。强度参数可以调整属性模型调整LM输出的程度。根据Uber的研究人员。

最近的最新NLP研究集中在基于变压器体系结构创建预训练模型。这些模型很大,包含数亿个参数,并且在包含数百万个单词的大型数据集上进行了训练;在昂贵的GPU硬件上,培训可能需要花费几天的时间。
 用于控制AI生成文本的Uber开源即插即用语言模型

缺乏资源来训练自己的最新模型的研究人员必须经常选择使用不太适合其任务的公开可用模型,或者使用较小,精度不高的模型。另一种选择是微调预训练的模型,但这会带来灾难性的遗忘风险。

PPLM的关键是使用附加的,更简单的模型,即属性模型(AM),可以对LM的输出进行评分。特别是,它计算LM的输出文本具有某种属性(例如,文本具有积极情绪或与政治有关)的概率。AM还可以计算该概率的梯度,用于“引导” LM。基于转换器的LM是“自回归”的,这意味着当它们生成单词序列时,先前生成的单词成为系统创建下一个单词的输入。在PPLM中,AM的梯度还用于生成下一个单词,从而使其更可能包含所需的属性。
 用于控制AI生成文本的Uber开源即插即用语言模型

Uber强调了PPLM的“可插拔”性质以及其他需要训练和微调整个模型的技术。例如,Google Brain的一个团队在去年的NeurIPS会议上发表了一篇论文,该论文使用了一种生成对抗性技术,该技术因深度学习“样式转移”图像处理系统而广受欢迎。OpenAI创建了一个系统,该系统使用强化学习(RL)将人工反馈纳入微调GPT-2 LM中。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。
Top