Google 重磅突破相比LSTM，NLP 关键任务提升 20%

新智元编译

自然语言理解（NLP）是人工智能领域使用程度最高的技术之一。受益于最近自然语言理解技术的发展，现在已经可以应用在很多领域，例如航班预定、客服服务、任务管理、聊天助手等。

“自然语言处理已经成为了数据经济掌控之战的制高点，其具有的重要性远远高于目前的市场规模，”Tractica的分析师BruceDaley说道，“虽然NLP有许多应用，全球最成功也最野心勃勃的企业中有一部分已经开始试图使用NLP来创造完全个性化、生产上却又无需定制的应用。”

但相比图像识别、语音识别等技术得以于深度学习的推动，NLP 一直没有找到深度学习的构型。这方面的进展，并没有我们期待的那么理想。

所以在 NLP 领域的任何显著进步，都值得我们特别关注。今天新智元推荐一篇来自 Google 的论文，在 NLP 的关键任务（接续语句预测）上，能做到 20% 的提升。这是问答系统得以发展的重要基础。

论文

标题：Contextual LSTM (CLSTM) models forLarge scale NLP tasks

摘要：

文档在多种抽象层面上都展现出了一种序列结构（例如，语句、段落、章节）。这些抽象的层面组成了一种天然的、表征内容的层级结构，可以用来对文本中的词语或是更大的片段进行意义推理。在这篇论文中，我们展示了CLSTM（语境LSTM）模型，这是一种递归神经网络LSTM（长短期记忆模型）的扩展版本，我们在模型中整合入了语境特征（例如话题）。我们用了3个自然语言处理（NLP）任务来评估CLSTM模型：

1.接续词语预测

2.接续语句预测

3.语句话题预测

实验材料有两批，一批是来自维基百科的英文文档，另一批是近期的谷歌英文新闻快照（snapshot）数据集中的一个子集；实验结果显示，将词语和话题都作为特征，能够在这些任务上提高CLSTM模型的表现，使其超过基线LSTM模型的表现水平。例如，在接续语句预测任务中，我们实现了在维基百科数据集上准确率提升21%，在谷歌新闻数据集上准确率提升18%。这清楚地表明，语境信息的正确使用对于自然语言任务来说十分有益。这对于大量的自然语言应用（比如问题回答、语句补完、文本复述（paraphrasegeneration）、以及对话系统中的接续语句预测）都有启示意义。

论文的主要贡献

1）我们提出了一个新的语境LSTM模型（CLSTM），并展示出它在词语预测、接续语句预测和语句话题预测的任务中是有用的，我们的实验展示了把语境纳入到LSTM模型中（通过CLSTM），相比于基准的LSTM模型能带来效果提升。这和你可能给NLP任务带来广泛的应用，因为这些任务和句子完成、问答系统、复述和对话系统都有很多相关。

2）我们使用两个大规模文档集训练了CLSTM（和相应的基准LSTM）模型：维基百科的英文材料和最近关于Google新闻的快照。我们在模型中处理的词汇量也非常大：为维基百科准备了13万的词汇，为Google新闻准备了10万的词汇。我们的实验和分析展示了CLSTM模型，把话题的力量和单词级别的特征进行了融合，并相比只使用单词级别特征的基准LSTM模型有好得多的表现。例如，在接续语句预测中，CLSTM相比LSTM模型在英文维基百科上获得了21%的提升，在Google新闻数据集上获得了18%的提升。

3）我们展示了最初可喜的结果，这个模型我们学会把想法嵌入到非监督学习的模型框架中，而不是使用外在的信息来做监督学习。

1. 介绍

文档在不同层级的抽象水平上都维持着序列结构：一个典型的文档由有顺序的章节构成，而章节又是由有顺序的段落构成；段落在本质上是语句的序列，语句则是短语的序列，而短语是词语的序列，等等。在语言模型（LM）中捕捉到这种层级序列结构可能会给予模型更高的预测准确度，就像我们在之前的研究中见到的那样。

文本中有一种能被用于改进LM表现的因素——长程语境（long-rangecontext）。比如，让我们来考虑一下这三段文本：

1）AhmedSalmanRushdie爵士是一位印度裔的英国小说家和散文家。他被认为将魔幻现实主义（magicalrealism）融入了历史小说中。

2）CalvinHarris和HAIM合力打造了一个魔幻MV（amagicalmusicvideo）。

3）草药有着巨大的魔幻力量（magicalpower），因为它们蕴藏着大地的能量。

想象一下，有一个LM基于一个含有以上三段文本的数据集进行了训练——在给出“魔幻”这个词后，LM选择的下一个接续的词语最有可能是什么：现实主义、MV、还是力量？在这个例子里，这将取决于这个文本片段所处、出现了“魔幻”这个词的长程语境。简便地捕捉语境的一种方法是，使用文本片段的话题（例如，语句的话题或是段落的话题）。如果语境中有“文学”这个话题，那么最有可能出现的接续词语就应该是“现实主义”。这个发现促使我们去探索如何在LM中使用文本片段的话题来捕捉文本的层级语境以及长程语境。

在这篇论文中，我们的长短期记忆模型（LSTM）指的是一种特殊的递归神经网络（RNN）。LSTM模型以及它的各种变体在不同的序列学习问题上取得了让人印象深刻的成就，包括语音、图像、音乐、以及文本分析，LSTM在对序列的长距离依赖性（long-rangedependencies）进行捕捉方面非常有用。LSTM切实地提高了我们掌控长距离依赖性的能力，虽然这些模型在这个方面仍然有一些局限性存在。

基于RNN的语言模型（RNN-LM）是由Mikolov等人提出的，而Sundermeyer等人基于此提出了使用LSTM的变体。在这篇论文中，我们致力于研究基于LSTM的语言模型。用于语言建模的LSTM通常都只将词语作为特征。Mikolov等人提出了一种条件式RNN-LM，将语境也加入特征中——我们进一步拓展了这个方法，将其范围从RNN-LM延伸到了LSTM，用大规模数据来训练LSTM模型，并且在接续词语预测的任务之外又提出了新的任务。

我们将语境特征（也就是说，基于不同文本片段得出的话题）整合入了LSTM模型，将得到的最终模型命名为语境LSTM（CLSTM）。在这次研究中，我们评估了在CLSTM中增添语境特征对于以下任务有怎样的改进幅度：

1）词语预测：在已有的句子中给定词语和话题，预测最有可能的下一个词语。这个任务的重要之处在于，应用中例如键盘预测，可以通过它来完成句子。在移动端的文本输入中，更长范围的文本可以提高词语/短语预测的准确度。

2）接续语句预测：给定句子的序列，从一组候选中找到最可能的下一句。这在问答系统中很有用，从一组模板的答案中筛选出话题的最佳答案。这个任务也很其他应用有关，例如智能回复，从一组备选的回复中预测邮件最好的回复。

3）语句话题预测：在已有的句子中给定词语和话题，预测下一个句子的话题。我们考虑了两种方案：

（a）我们不知道下一句说了什么。

（b）我们知道下一句说了什么。

方案（a）适用于这种情况，应用中我们不知道用户的下一句话是什么。例如在聊天系统中预测用户回复的话题，这对知道用户的意图有帮助。

方案（b）我们尝试预测已知话语的话题和目的，这种我们的话题建模任务中很常见。

2.基于谷歌新闻数据得到的结果

我们也在一些文件样本上做了实验，这些文件正是最近一次谷歌新闻英语语料库内部的一个快照。这个子集包含430万个文件，并且我们将这个子集划分成三部分,分别是训练集、测试集和验证集。关于数据集的一些相关统计在下表中给出。考虑到给了我们10万个词汇，在保证实验样本数量充足的情况下，我们去除了那些出现少于100次的词条。

表5：用思维向量（Thoughtvector）预测测试集中语句样本的话题，基于测试结果计算模型的复杂性，结果如下表所示：W表示词汇（W=Word,PST=PrevSentThought）

输入（Inputs）	#256个隐含层单元（#Hiddenunits=256）	#512个隐含层单元（#Hiddenunits=512）	#1024个隐含层单元（#Hiddenunits=1024）
WW+PST	24.5024.38	23.6323.03	23.2922.59

表6：基于谷歌新闻（GoogleNews）数据集（M=million百万）各个子集的统计

数据集（Dataset）	#段落（#Para）	#句子（#Sent）	#单词（Word）
训练集80%（Train80%）	6.4M	70.5M	1300M
验证集10%（Validation10%）	0.8M	8.8M	169M
测试集10%（Test10%）	0.8M	8.8M	170M

对于不同的任务，我们分别用基准的LSTM和CLSTM模型进行训练，这两个模型都有1024个隐含层单元，下面是基于这两种模型得到的关键结果：

1）单词预测任务：LSTM仅仅将单词作为其特征，完成单词的预测任务，其模型的复杂度大约为37。CLSTM模型用单词、句子分割话题以及段落中句子的话题作为其训练时候的特征，其复杂度相对于LSTM模型有2%的改善。

2）接续语句预测：LSTM模型的准确率约为39%。CLSTM模型的准确率约为46%，其在平均水平上有了18%的提高。

3)接续语句话题预测任务:LSTM模型仅仅用当前句子的话题作为特征，模型的复杂度约为5。CLSTM用单词和当前句子的话题作为特征，模型的复杂度相对于LSTM模型的复杂度，大约有9%的改善。

正如我们所看到的，不论是基于维基百科数据集中的自然语言处理（NLP）任务还是谷歌新闻（GoogleNews）数据集中的自然语言处理任务，CLSTM模型相对于LSTM模型，都能得到相似的提高。

3.结论

结合了思维向量的CLSTM模型

我们已经展示了用上下文语境作为CLSTM模型的输入特征，实现像是单词的预测、接续语句预测以及语句话题的测等不同自然语言处理任务是多么有优势。

对于单词的预测任务，CLSTM模型相对于顶尖的LSTM模型，在模型的复杂度方面有2%—3%的改善；

对于接续语句预测任务，相对于LSTM模型，CLSTM的准确率比平均准确率提高了20%；

对于语句话题的预测任务，相对于LSTM模型，CLSTM模型的准确率比LSTM模型的准确率提高了10%。（并且比BOW-DNN模型的准确率提高了7%）。

这些结果全部都具有非常重要的意义，并且我们在谷歌新闻（GoogleNews）数据集上得到了相似的结果。这正显示了我们所使用的模型具有较好的泛化能力。

通过用上下文语境作为CLSTM模型的输入特征，得到的结果在多个重要的自然语言处理（NLP）应用的性能改善方面有着重大的暗示。这些自然语言处理（NLP）应用包括：完成句子，提出问题/回答问题以及对话系统中解释各种应用的释义生成等。

4.未来工作

结合了思维向量和句子层次结构的LSTM模型

我们最初的实验是基于CLSTM模型中能够捕捉远距离上下文语境的思维向量实现的。这个实验得到了一个令人满意的结果。图9是思维向量模型的一个自然扩展。扩展之后的模型在隐含层与隐含层之间有连接，这个连接能够对“思维的连续性”进行建模。图10展示了一个层级结构的LSIM模型，包含一个2级的层次结构。低层的LSTM模型对一个句子中的单词进行建模，更高一层的LSTM对一个段落中的句子进行建模。LSTM模型中第n层的LSTM细胞与第n-1层的LSTM细胞的思维向量连接能够促进从前面上下文语境中获得的概念向前传播，从而使得一个句子的“思维”向量影响下一个句子的单词。句子层隐含节点的连接也推动模型捕捉到了思维的连续性。将来我们要用这种模型做实验。

我们也将要探索将上下文语境特征用在其它语言建模上的收益，例如：通过运用单词和话题特征能够生成更好的释义。另一个有趣的应用可能是对话建模中话题层信号的使用，例如：例如用Dialog-Act(对话时的动作)作为主题特征来预测下面要说的话。

致谢：

我们要感谢LouisShao和Yun-hsuanSung对我们实验的帮助。我们也谢谢RayKurzweil,GeoffreyHinton,DanBikel,LukaszKaiser以及JavierSnaider对我们工作所给出的非常有用的反馈。

论文全文下载

请在新智元微信公众号，回复0305下载。

新智元推荐

2016年3月，洪泰AA加速器二期全球招募启动，共招20个项目，未来图灵10席，未来沸点10席。

作者吴玲伟：洪泰AA加速器创始人、洪泰基金投资合伙人

我们为什么能够助力未来的改变者

在第二期里，我们建立了一个未来图灵战队，聚焦在未来科技发展方面，包括人工智能、虚拟现实、增强技术、智能家居、智能出行、大数据等技术驱动型项目。

同时，我们还有一个未来沸点战队，包括消费升级、文娱升级、教育升级类项目。为了能真正帮助创业者成长，在第二期我们认真地选择了能够共同助力的合作伙伴。

京东智能，京东智能建立了系统的智能物联网生态场景，并致力于发现和布局相关的优质智能领域创业项目，京东有巨大的用户流量，包括首发、众筹等，京东智能还有空间、技术类行家等，都能够对项目起到巨大的推动力。

线性资本，有一天上午我和线性资本的创始人王淮在三元桥的咖啡厅里交流。王淮花了很多时间跟我介绍他们投项目的方向：泛智能，包括人工智能、大数据、物联网、虚拟现实和偏重技术的互联网金融。在讲的过程中，我无比的兴奋，因为在我眼里，王淮和AA加速器强调的对象很像，80后，年轻、先锋、行动派、影响力和国际化，同时非常聚焦、专注，而他对于技术的理解，对于智能方向的把握，对于项目的助力点都是真正能够给到企业帮助的。

为了能更好的聚焦助力，我们还选择和一见这样的专业的投融资平台进行合选。只有精准的筛选才能有效的助力。AA始终坚持只能让好的变得更好，无法让不好变好！我们只选择有两人以上合伙人的成熟团队。他们要有理性的商业思维。

当然还有一直给予我们空间支持的洪泰创新空间。

如果你只想拿到投资，全中国有很多家孵化器都能做到。

如果你想成为一家独角兽，那么你一定不能错过一家做内容的加速器。

如果无法改变，为什么要加速时间流程

3月1日-3月15日

创业者报名

3月15日－3月20日

创业者面试、筛选

3月20日－3月23日

二期营员名单确认

3月23日－3月25日

导师与营员一对一结对

3月29日（以最终确定时间为准）

二期开营仪式

4-6月

12周精准加速、助力成长

6月29日（以最终确定时间为准）

二期项目路演

我们在赶路中总是忽视那些曾经很认真帮助过我们的人。我希望自己能慢下来用心感受导师和创业者共同的需求。在这里，我特别想真诚地感谢每一位，感谢我们的一期学员，我们的一期导师，我们的合作伙伴，我们的洪泰帮，我们的AA团队小伙伴。

所有想要报名的对象，如果你有一期学员或者我们的导师、合作伙伴推荐，你将进入面试直通车；当然如果你认为推荐你的人不在我们的名单中，但是他更能够体现你们的改变能力，那么这个推荐者由你来填。报名者请注明推荐人。

报名方式：

1.直接扫描二维码

3.或者请发BP到：linkun1201@126.com

新智元作为洪泰AA加速器的战略合作伙伴，在智能/投资生态平台、垂直领域资源、专业投资、专业加速内容等方面展开深入合作。杨静女士也将作为AA核心导师，参与项目的筛选和加速。

杨静

新智元创始人，中国人工智能学会社会计算与社会智能专业委员会秘书长。曾任法国阳狮集团实力传播(ZenithMedia)媒体购买及咨询副总监，中国经济网经营顾问。2014年策划主持了《奇点临近》、《算法帝国》、《大数据时代的社会人与机器人》等系列人工智能、大数据主题研讨会。2015年3月与机械工业出版社联合主办《新智能时代论坛》，受邀担任2015年5月中国科协年会智能社会科技专家论坛、2015年机器人世界杯产业峰会、世界机器人大会“人工智能开启机器人新纪元”分论坛主持人。