不只是相关：基于真理共识论的社区问答可信答案选择新方法
©PaperWeekly 原创 · 作者｜张琨
学校｜中国科学技术大学博士生
研究方向｜自然语言处理
论文标题：
Beyond Relevance: Trustworthy Answer Selection via Consensus Verification
论文作者：
Lixin Su , Ruqing Zhang , Jiafeng Guo , Yixing Fan , Jiangui Chen , Yanyan Lan , Xueqi Chen
论文来源：
WSDM 2021
论文链接：
https://dl.acm.org/doi/abs/10.1145/3437963.3441781
社区问答（CQA）是 NLP 中的问答系统研究中的一个重要组成部分，既有丰富的数据，同时又有实际的应用。因此是很多人的研究方向。但同时 CQA 又存在自己的问题，因为答案都是用户生成的，所以答案的质量良莠不齐，而这会直接影响到模型最终的效果。
在本文中，作者受真理共识论（Consensus theory of truth）的启发提出了一个好答案是由两部分组成的：相关性，可信性。一个好答案必定是相关的，但一个相关的答案不一定是好答案。还要考虑是否具有可信性。这里真理共识论是指如果一个结论是好的，那么必定是被大多数人接受的。
Method
2.1 Matching component
2.2 Verification Component
该框架主要包含两部分内容。真理表示学习（Consensus Representation Learning）和答案-真理验证（Answer-consensus Verification）
首先就是真理表示学习。在这里，考虑到并没有 ground truth 可以利用，作者借鉴了 EM 算法的思想，提出了一种 EM 框架，其中 E 步是选出一个 pivoted supporting evidence，M 步使用一种新的注意力机制得到真理表示。具体分为以下步骤：
找到合适的输入：作者通过网页和用户生成内容分别得到和问题相关的 Top-k 个相关的证据。
对输出的处理：这步相对简单，分别通过 BERT 对答案和 evidence 进行处理，得到最终的每个词的表示。如下图所示：
pivoted supporting evidence：该步基于的一个假设是如果一个 evidence 和其他的许多重要的 evidence 相关，那么它也是非常重要的。为此，作者通过两个 evidences 之间的矩阵乘（相当于 co-attention），然后做 softmax，平均，最后再去最大值，就得到了最终的 pivoted supporting evidence，可以表示为如下过程：
Consensus Representation：这部分最主要的目的就是得到真理的表示，或者说大多数答案形成的共识。为此，在得到 pivoted supporting evidence 之后，作者提出了一种新的注意力机制，称之为 pivoted attention mechanism，其实就是利用得到的 ，去所有的 evidence 中找到他们各自对应的权重，最后通过加权和的形式得到 evidence 的融合表示，即这里的真理表示
这就是整个真理表示学习（Consensus Representation Learning）的技术内容。
2.3 Confidence-based Combination of Matching and Verification
如果检索到的结果都是没有用的，那么上一步计算得到的答案和真理之间的得分就会获得很小的权重，模型就更依赖匹配模块的得分。这个也是为了解决数据噪声的问题，具体可以表示为：
最终，作者选择了 pairwise learning 的方法用于训练整个模型，以下就是整个模型的目标函数。
Experiments
更多阅读
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。
📝 来稿标准：
• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向）
• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接
• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志
📬 投稿邮箱：
• 投稿邮箱：hr@paperweekly.site
• 所有文章配图，请单独在附件中发送
• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。