本文共 1627 字，大约阅读时间需要 5 分钟。

作者：李瑾

论文地址：

目录

1. 研究背景
2. 研究方法
   2.1 模型框架
   2.2 组级目标函数
3. 实验与评估
   3.1 数据集
   3.2 实验结果
4. 总结

1. 研究背景

在现实生活和实际的问答中，并不是所有的问题都存在有效的可以充分支持所提出的问题的候选答案，因此在2015年WiKiQA数据集发布的同时首次提出了答案触发这一任务。

答案触发任务可以划分为两个子任务：一是构建模型对候选答案排序，使得正确答案获得最高的分数；二是对候选答案中是否存在正确答案作出预测。

先前工作通过pipline的方法来解决这一问题，但得到的模型并不能令人满意，F1值仅仅在32%到36%之间。本文提出了端到端的深度应答触发框架。

2. 研究方法

本文提出了使用端到端的深度模型框架并提出了新的目标函数惩罚答案触发中存在

2.1 模型框架

模型由三个部分组成：编码层、问答匹配层和最大池化层。

其中：

• 编码层可以根据所要达成的目标使用不同的网络框架
• 问答匹配层将问题与候选答案拼接喂入前向神经网络
• 在max pooling 层作者将同一答案的候选集中预测标签为正和负的答案划分为互不相交的两个子集

2.2 组级目标函数

作者提出了新的目标函数惩罚机制来促使模型作出正确的选择。

• 对于每个预测标签为负的样本集，最高分数的错误答案将受到铰链惩罚（hinge loss）。公式如下：
  $$O_1=\frac{1}{N_{neg}}\sum _{i:l_i=0}max(0,d^{-}-(0.5-m_i^{-}))$$
• O2用于惩罚在一组正确答案中得分最高的分数不足以表示答案存在的情况。公式如下：
  $$O_2=\frac{1}{N_{pos}}\sum _{i:l_i=1}max(0,d^{+}-(m_i^{+}-0.5))$$
• O3是对错误的候选答案获得最高分的情况进行处罚。公式如下：
  $$O_3=\frac{1}{N_{pos}}\sum _{i:l_i=1}max(0,d^{\pm }-(m_i^{+}-m_i^{-}))$$
• 整体公式如下：
  $$O=O_1+\alpha O_2+\beta O_3+\lambda {\Vert \theta \Vert }^2$$

其中， $m_i^{+}$是预测标签为正的候选答案中的最大分数，$m_i^{-}$是错误答案中的最高分数。$d^{+}$、$d^{-}$、$d^{\pm }$是距离超参数。

3. 实验与评估

3.1 数据集

实验采用WiKiQA数据集,数据集信息如下：

3.2 实验结果

消融实验

总结

• 提出了使用基于深度神经网络的端到端框架来解决答案触发问题
• 提出了新的组级目标函数来优化整个框架。目标函数明确惩罚了答案触发中的三个潜在错误：
  (1)假阳性
  (2)假阴性预测是否存在正确答案
  (3)错误答案的排名高于正确答案

转载地址：http://sqmgi.baihongyu.com/