随着互联网的快速发展，出版机构越来越依赖从网络中搜集作者和出版内容信息的能力.而文献

每年都会数以万计地增长，面对如此多的文献数据，如何从出版物网页中快速、准确地提取文献信息成为研究热点^[1-2].与此同时，伴随互联网+的快速普及和迅速发展，各类学术作者的相关信息可以在网络中取得.如何从大量设计样式灵活多样的作者个人信息页面中提取文献信息成为一个难点^[3-8].

针对上述问题，设计了基于条件随机场的文献记录分析算法(CRFRA，conditional random fields based reference analysis-algorithm).首先，建立分割标记集合，在此基础上设计了文档对象模型(DOM，document object model)树分割算法，并对输入的DOM树进行分割；随后，基于条件随机场建立已分割数据块的文献信息标记模型；最后，设计了文献信息提取的启发式算法，利用该算法提取文献相关信息，并将其存储在数据库中.最后，通过实验对CRFRA算法和条件随机场(CRF，conditional random fields)算法进行了对比，验证了CRFRA算法的有效性.

1 问题模型 1.1 问题描述

文献信息是描述文献作者、题目等重要信息的半结构化字符串，经常与大量其他信息一同出现在出版页面之中，这就增大了提取文献信息的难度.此外，文献元数据转换为半结构化字符串的样式灵活多样，即字符串在超文本标记语言(HTML, hyper text markup language)中的描述方法是灵活多样的.网页中文献信息的样式依赖于网页设计者的个人喜好，在同一页面上的2条字符串可能有不同风格的HTML结构，增大了分析和提取文献信息的难度.

1.2 问题处理流程

针对文献信息提取遇到的问题，设计了基于条件随机场的文献记录分析算法，主要包括：DOM树分割算法，文献信息标记建模和文献信息提取算法.首先，利用分割标记对输入的DOM树进行分割；随后，基于条件随机场建立已分割数据块的文献信息标记模型；最后，利用文献信息提取算法，提取相关信息，并将其存储在数据库中.具体处理流程如图 1所示.

2 文献记录分析算法 2.1 分割算法

主要将<tile>，<DIV>, <P>, <LI>, <TR>, <meta name>, 作为分割标记，对DOM树T进行分割.分割算法思路为：首先，遍历DOM树T中没访问过的节点t_i，如果t_i含有分割标记，并且其子树中不含分割标记，那么将t_i存入数据块分割集B，标记t_i为已访问；随后，处理t_i的子树中含有分割标记的情况，并标记t_i为已访问，继续访问T中未被访问过的节点；最后，已遍历T的全部节点后，得到T的数据块分割集B.

具体算法步骤如下：

步骤1 输入DOM树T和分割标记集合M；

步骤2 遍历T的未访问节点t_i∈T，转步骤3；

步骤3 如果t_i∈M，且其子树t_i^'∉M，则转步骤4；否则，标记t_i为已访问，转步骤2；

步骤4 将t_i加入数据块分割集B，标记t_i为已访问，转步骤5；

步骤5 如果已经遍历T，转步骤6；否则，转步骤2；

步骤6 分割算法结束，B为T的数据块集合.

2.2 基于条件随机场的文献信息标记模型

令x={x₁, x₂, …, x_n}为文本的观察序列，y={y₁, y₂, …, y_n}是与文本观察序列关联的标记序列.观察序列和标记序列的条件(随机场CRF，conditional random fields)模型：

$p\left( \mathit{\boldsymbol{y}}|\mathit{\boldsymbol{x}},\lambda \right)=\frac{1}{z\left( \mathit{\boldsymbol{x}} \right)}\exp \left( \sum\limits_{i=1}^{n}{{}}\sum\limits_{j}{{}}{{\lambda }_{j}}{{f}_{j}}\left( {{y}_{i-1}},{{y}_{i}},\mathit{\boldsymbol{x}},i \right) \right)$

(1)

$z\left( \mathit{\boldsymbol{x}} \right)=\sum\limits_{j}{{}}\exp \left( \sum\limits_{i=1}^{n}{{}}\sum\limits_{j}{{}}{{\lambda }_{j}}{{f}_{j}}\left( {{y}_{i-1}},{{y}_{i}},\mathit{\boldsymbol{x}},i \right) \right)$

(2)

其中：f_j(y_i-1, y_i, x, i)是特征函数，是状态特征函数和转移特征函数的统一形式表示，特征函数是二值函数，其值域为f_j∈{0, 1}；λ=(λ₁, λ₂, …, λ_n)是特征函数对应的特征权重；z(x)是归一化因子.

$f({{y}_{i-1}},{{y}_{i}},\mathit{\boldsymbol{x}},i)=\left\{ \begin{array}{*{35}{l}} g\left( \mathit{\boldsymbol{x}},i \right)\quad {{y}_{i-1}}\to \rm{next}={{y}_{i}} \\ 0,\quad 其他 \\ \end{array}\begin{matrix} {} \\ {} \\ \end{matrix} \right.$

(3)

$g\left( \mathit{\boldsymbol{x}},i \right)=\left\{ \begin{array}{*{35}{l}} 1, & {{x}_{i}}\in \rm{lexicon}\left[ {{y}_{i}} \right] \\ 0, & 其他 \\ \end{array} \right.$

(4)

这里通过实例说明上式的含义：当y_i-1标记为“出版物类型”，y_i标记为“保存地点”，并且x_i是地名集合中的元数据时，特征函数f(y_i-1, y_i, x, i)=1；否则，f(y_i-1, y_i, x, i)=0.

2.3 文献信息提取算法

通过CRF模型标记包含文献信息的数据块R_j={r₁, r₂, …, r_mj}，随后从这些数据块中提取出文献信息.在这个过程中可以采用Viterbi算法，但是，当该算法的观察序列较长时计算量非常大，这种穷举遍历的搜索算法降低了搜索效率.为此，设计了启发式算法：首先，在数据块中搜索<tile>，<DIV>, <P>, <LI>, <TR>, <meta name>，以确定文献信息识别的起始位置；随后，利用式(5) 和式(6) 对数据块进行筛选；最后，将g_F(r_j, h)=1和g_B(r_k, h)=1对应的数据块中包含的文献信息提取出来, 存入数据库.

${{g}_{\text{F}}}\left( {{r}_{j}},h \right)=\left\{ \begin{array}{*{35}{l}} 1, & \left\{ {{r}_{j}},{{r}_{j+1}},{{r}_{j+2}} \right\}\in h,1\le j\le k-2 \\ 0, & 其他 \\ \end{array} \right.$

(5)

${{g}_{\text{B}}}\left( {{r}_{k}},h \right)=\left\{ \begin{array}{*{35}{l}} 1, & \left\{ {{r}_{k-2}},{{r}_{k-1}},{{r}_{k}} \right\}\in h,j\le k\le {{m}_{j}} \\ 0, & 其他 \\ \end{array} \right.$

(6)

其中：h={作者姓名列表，文献题目，出版物类型}，r_j、r_j+1、r_j+2、r_k-2、r_k-1、r_k为数据块中的标记序列.

3 实验分析

实验分别以3个中文数字图书馆中的200个论文出版页面和200位作者的个人信息页面为基础，分别对CRFRA算法和CRF算法进行对比分析，其对比结果如图 2所示.从图 2中不难看出，在分别采用CRFRA和CRF算法对3个中文数字图书馆的论文出版页面进行文献信息提取时，CRFRA算法的准确率能够保持在80%左右，而CRF算法准确率也保持在70%以上.但是，当采用这两种算法对作者个人主页中的文献信息进行提取的时候，CRFRA算法和CRF算法的准确率均有大幅下降.产生这种现象的主要原因是由于数字图书馆的论文出版页面设计较为规范，而个人主页的设计较为多样，且页面中含有大量其他信息，进一步增大了文献提取的难度.

4 结束语

针对由文献出版页面及作者信息页面设计样式多样造成的文献信息提取困难的问题，设计了基于CRF的文献记录分析算法.对文献信息提取问题的处理流程进行了细化，梳理其中的关键问题，并设计了相应的解决方法.实验结果表明CRFRA算法能够提升文献信息提取的准确率，该算法的有效性得到了验证.