日积月累1

2018-6-15

1. 条件随机场(CRF)

  特征函数仅使用当前单词和它前一个单词的标签对标注序列进行评价，这类CRF是最简单的线性链CRF

1. 首先定义特征函数集合，该函数以整个句子s、当前位置i、位置i和i-1的标签为输入
2. 为每个特征函数赋予一个权重

3. 对每个标注序列I，对所有的特征函数加权求和，而且可以将求和的结果经过softmax处理转换为概率值
   评价函数为

   $$\sum_{i=1}^m\sum_{i=1}^n\lambda_jf_j(s,i,l_i,l_i-1)$$

  其中$\lambda_j$是第j个特征函数的权重，$f_j$是第j个特征函数，这里共m个特征函数，s表示句子，i表示句子中的第i个单词，$l_i$表示第l个标注序列给第i个单词标注的词性，$l_{i-1}$标注的第i-1个单词。外面的求和用来将所有特征函数的得分求和；里面的求和号用来将句子中每个单词的得分求和，对这个得分进行softmax得到每个标注序列的得分概率，公式如下

$$p(l|s) = \frac{exp[score(l|s)]}{\sum_{l^`}exp[score(l^`|s)]}$$

逻辑回归是用于分类的对数线性模型；条件随机场是用于序列化标注的对数线性模型

2.Keras中TimeDistributed层用法

作者解释：TimeDistributed将同样的密集(全连接)操作应用到3D张量的每一个时间间隔上
LSTM的输入必须是3维或以上
如果将时序信号看作是2D矩阵，则TimeDistributed包装后的Dense就是分别对矩阵的每一行进行全连接