知识图谱能否拯救NLP的未来？

文 | Luke@知乎

知识图谱是NLP的未来吗？

2021年了，不少当年如日中天技术到今天早已无人问津，而知识图谱这个AI界的大IP最火的时候应该是18，19年，彼时上到头部大厂下到明星创业公司都在PR自己图谱+NLP布局能够赋予AI认知能力。到了当下这个AI总体降温的时间节点，我们是时候冷静思考知识图谱的未来到底该何去何从了。

回到这个问题本身：知识图谱是否是NLP的未来呢？

我的看法：知识图谱不是NLP的未来，因为知识图谱是另外一种与NLP有很多交集的技术。在目前所有已知的发展方向中，知识图谱是最有可能长期和NLP互利共生的技术。

那么，知识图谱和NLP到底是什么关系呢？直觉上看，机器学习可以类比我们人类学习。回顾一下我们自己的学习过程，大脑和感官主要负责信息获取、处理、分析、决策。对于简单问题或少数天才，接受到信息后，只需要在大脑中思考一遍即可得出结论。但是对于复杂问题，比如工作汇报或期末考试，只靠大脑很难记住所有信息，这个时候，很多人都会选择将一些加工过的结构化或半结构化的知识整理成笔记，方便需要的时候快速回顾。

发现了吗？大脑的角色非常类似NLP以及其他ML技术，而笔记几乎就是KG的灵感来源。具体来说，NLP在图谱构建过程中举足轻重，而图谱又通过引入知识的方式反哺NLP。

不少证据已经表明诸如Bert之类的预训练语言模型本身已经存储了知识，就像我们的大脑中也存在一些关键记忆一样，但它不可能将所有现实世界中的事实全部内化，犹如人脑不可能记住所有见过的东西一样，而知识图谱通过引入知识能缓解NLP的学习压力。另一个严重的问题是，由于NLP技术目前远没有人脑智能，模型在训练中记住的知识实际上是不可控的（此处可以围观隔壁的AI偏见问题[1]），这对NLP技术的落地应用是一个需要考虑的风险，而在可解释性方面，知识图谱是Bug级的存在。

知识图谱如何赋能NLP技术？

NLP技术如何赋能图谱构建的资料很多，知识图谱落地应用近些年也是进展地如火如荼，但，知识图谱如何赋能NLP技术这个话题聊的人却不太多。

我自己总结了最近几年KG赋能NLP技术的一些打法，欢迎补充~

预训练中引入知识

代表工作：

ERNIE[2]，使用短语和实体mask策略在中文NLP任务上取得了较好的效果，其中短语和实体来自KG

K-BERT[3]，预训练过程中注入相关的KG三元组，为模型配备领域知识，提高模型在特定领域任务上的性能，同时降低大规模预训练成本。

信息抽取中做远程监督

用KG对齐文本做远程监督标注数据是信息抽取领域的大杀器，能够有效降低人工标注成本，可以将实体抽取、关系抽取、事件抽取等子任务一网打尽，用过的小伙伴都说好。

实体链接中引入实体信息

实体链接，就是把文本中的mention链接到KG里的entity的任务。如下图所示[4]：

显然，KG中的实体信息，如实体描述、实体属性、实体embedding以及实体间关系等都是该任务的关键特征，想深入了解的朋友请移步[4]。

文本生成中融合知识

通过知识图谱中的显示事实来指导生成文本是实现可控文本生成的一个重要方向，如下所示[5]：

具体大致分为4种较为典型的方式[6]：

• 多任务学习（生成+文本蕴含）
• 基于knowledge graph 的文本生成
• 基于memory network 的文本生成
• 结合分布-采样进行文本生成

想详细了解的朋友请移步[6]。

语义匹配中引入关键词信息

在深度语义匹配任务中，有人发现，通过文本中关键词之间的交互即可较为容易的找到匹配对象，与其他词汇关系不大[7][8]。

图7. 语义匹配case 

因此，考虑通过从KG中引入特定领域的关键词表，然后在建模时highlight关键词的重要度，从而达到更好的效果[8]。

后台回复关键词【入群】

加入卖萌屋NLP/IR/Rec与求职讨论群

后台回复关键词【顶会】

获取ACL、CIKM等各大顶会论文集！

 

[1]AI的偏见：机器就是绝对理性的么？https://baijiahao.baidu.com/s?id=1684480115111405061&wfr=spider&for=pc

[2]ERNIE: Enhanced Representation through Knowledge Integration https://arxiv.org/pdf/1904.09223.pdf

[3]K-BERT: Enabling Language Representation with Knowledge Graph https://arxiv.org/pdf/1909.07606.pdf

[4]ab【知识图谱】实体链接：一份“由浅入深”的综述 - Nicolas的文章 - 知乎 https://zhuanlan.zhihu.com/p/100248426

[5]Text Generation from Knowledge Graphs with Graph Transformers https://arxiv.org/pdf/1904.02342v1.pdf

[6]ab文本生成12：4种融合知识的text generation（推荐收藏） - 林小平的文章 - 知乎 https://zhuanlan.zhihu.com/p/133266258

[7]腾讯专注关键词的深度语义匹配模型 https://blog.csdn.net/qq_27590277/article/details/113777978

[8]abKeyword-Attentive Deep Semantic Matching https://arxiv.org/abs/2003.11516