背景介绍 最近做了一个阅读记录的系统,打算统计一下各个时段的阅读时长展示在报表上,所以思考如何仅通过SQL实现数据统计。 此处我将一天24小时分为24个时段,如[12:00:00,13:00:00)的左闭右开区间为一个时段,记为12:00:00。 阅读记录表表名:dwd_book_read_re...
SiriBlog三周年总结
过去一年一共发布了17篇文章,截至今日上线总文章数为267篇,标签数为82个,分类数为31个。因为今年下架了很多文章,所以这三个指标都有所下降。 虽然这一年没发几篇文章,但是在读者看不到的后台还是做了不少工作。21年十月份的时候换了一台M1的新MBP,于是将之前hexo的开发环境迁移到了新机器上,以...
论文翻译:ARNOR: Attention Regularization based Noise Reduction for Distant Supervision Relation Classification
$Wei\ Jia, Dai\ Dai, Xinyan\ Xiao\ and\ Hua\ Wu$
$百度, 北京, 中国$
${jiawei07, daidai, xiaoxinyan, wu hua} @baidu.com$
摘要
远程监督广泛应用于关系分类中,通过将知识库与未标记的语料库对齐来创建大规模的训练数据。然而,它也引入了大量噪声标签,而上下文句子实际上并不表示标签关系。在本文中,我们提出了ARNOR,一种新的基于注意力正则化的降噪框架(Attention Regularization based NOise Reduction),用于远程监督关系分类。ARNOR假设一个可信的关系标签应该用神经注意力模型来解释。具体地说,我们的ARNOR框架迭代地学习可解释的模型,并利用它来选择可信任的实例。我们首先引入注意力正则化,迫使模型注意解释关系标签的模式,从而使模型更具解释性。然后,如果学习到的模型能够清楚地定位训练集中候选实例的关系模式,我们将选择它作为可信任实例进行进一步训练。根据对NYT数据的实验,我们的ARNOR框架在关系分类性能和降噪效果方面都比现有的方法有了显著的改进。

