0 引言

随着电网规模的不断扩大、电力市场化改革的持续推进和新能源的大规模接入，电力系统的结构和运行方式日益复杂。传统的调度自动化系统已经难以满足电网运行监控的需求，急需将自然语言处理、语音识别等新一代人工智能技术与电网调度控制工作的业务场景相结合，提升调度控制工作的智能化水平^[1-4]。

电网调度领域语言专业性较强，建立调度领域语言模型，实现调度专业词汇的可计算性是提高语音识别准确率的关键。而词向量可以考虑词汇的语法和语义信息，并将其编码到低维向量空间中，是实现调度词汇可计算性的重要技术^[5-6]。该技术可以把由离散符号表达的语言转换为计算机能够处理的由数值表达的向量，使得自然语言具有可计算性。词向量的生成依赖于特定的语料库，目前出现了很多公开中文词向量库，但是这些词向量库是基于公开的中文语料生成，没有涵盖电网调度领域专业语料，制约了自然语言处理、语音识别等人工智能技术在电网调度领域的发展应用。

针对语音识别技术在电网调度领域应用中识别准确率不高的问题，本文基于电网调度规程、年度运行方式、调度日志、事故预案等电网调度专业语料库，采用Word2vec技术完成调度专业领域词汇向量库的构建，实现调度专业领域词汇的可计算性，同时基于所生成的调度专业词向量建立了电网调度领域专有语言模型，并对内蒙古电力（集团）有限责任公司调控语料进行测试分析，以提高电网调度各类应用场景下语音识别的准确率。

1 语音识别技术在电网调度领域应用的关键

语音识别技术作为成熟的人工智能技术，可以迁移到电网调度领域辅助现有的应用场景^[9]，从而提高人机交互的便捷性和工作效率。语音识别技术在电网调控领域应用整体架构如图 1所示。

语音识别模型主要由声学模型和语言模型2大功能模块组成^[7-8]。声学模型从输入的语音信号（时域信号）中提取出可以进行建模的声学观测特征向量序列；语言模型根据声学模型输出的结果，给出概率最大的文字序列。为了生成正确的文字序列，语言模型要尽可能多地封装所考虑的任务的语法、语义和语义特征。

声学模型和语言模型是提升语音识别准确率的关键。目前，循环神经网络等深度学习技术大幅提升了声学模型的准确率。语言模型则依赖于训练语料，利用调度领域专业语料构建调度专业词向量库是训练语言模型的基础。

2 调度领域专业词汇词向量的生成 2.1 词向量的生成方法

词向量是对词典中的任意词指定一个固定长度的实值向量v(W)∈ R^m，其中，v(W)为W的词向量，R^m为m维的实数向量空间。利用机器学习算法处理自然语言实现自动语音识别，首先要将自然语言进行词向量处理。词向量生成方法主要有One-Hot编码和向量空间模型^[9]2种。

（1）One-Hot编码是用一个很长的向量表示1个词汇，向量的长度为词典D的大小N，向量的分量只有一个1，其他全部为0。1的位置对应该词汇在词典中的索引。这种词向量的表示方式易受到维度灾难的影响，不能很好地衡量词汇之间的相似性，后续采用机器学习特别是深度学习进行自然语言处理和语音识别时很难取得良好效果。

（2）向量空间模型是将词汇映射到连续向量空间中的点，其中语义相似的词汇被映射为距离相近的点。这种方式依赖于词汇的分布假设（出现在相同上下文中的词汇具有相似语义），此类方法是根据词汇的上下文信息，通过训练将词汇映射成固定长度为n的向量，其中nN。

最常用的基于向量空间模型的词向量生成方法是Word2vec和Glove^[10]。其中，Word2vec是一种具有较高计算性能的预测方法，它是神经概率语言模型的简化，核心是神经网络方法，采用连续词袋模型（Continuous Bag-Of-Words，CBOW）和Skip-Gram模型^[11]将词语映像到同一坐标系中，用于学习语料库中的词汇向量。CBOW和Skip-Gram均为3层神经网络结构（如图 2所示）。

两个模型均为词汇的One-Hot编码输入输出，输入层到隐藏层的参数矩阵为W_{V × N}、隐藏层到输出层的参数矩阵为U_{V × N}，两个参数矩阵共同构成参数空间= (W_{V × N}，U_{V × N})，V为词汇表中词汇数量，N为词向量维度。W_{V × N}也称词向量矩阵，其中每行代表 1个词的词向量。

CBOW模型之中，在已经得知上下文W_{(t - 2)}，W_{(t - 1)}，W_{(t + 1)}，W_{(t + 2)})前提下，预测当前词向量W(t)，学习的目标函数为最大化对数似然函数，见公式（1）：

(1)

Skip-Gram模型中，在已知当前词W(t)的前提下，预测其上下文W_{(t - 2)}，W_{(t - 1)}，W_{(t + 1)}，W_{(t + 2)}，目标函数见公式（2）：

(2)

Word2vec使用梯度上升法进行训练，为了提高训练性能，采用了Hierarchical Softmax和Negative Sampling两种求解策略^[12]。

2.2 向量库的构建流程

电网调度领域词汇词向量以调度历史语料为数据基础，采用Word2vec技术，考虑调度词汇在调度业务语境中的关系，建立调度领域词汇的词向量库。基本流程见图 3。

（1）收集年度运行方式、调度规程、历史调度日志、事故预案等非结构化调度历史文档，形成调度历史语料库。

（2）对历史语料库进行数据预处理，主要包括中文分词、去除标点符号、去除停用词等一系列数据清洗和转换工作，形成调度领域初始词典。

（3）根据调度领域词汇在词典中出现的位置（索引）进行One-Hot编码，并根据词典编码将历史语料送入Word2vec模型进行训练，得到词向量，更新调度领域词典。

（4）经过训练将词汇转换为向量后，进行词向量评估，主要包括两种方式：一是采用词汇之间夹角余弦值来衡量词汇之间的相似程度，找到词汇之间的关联关系；二是通过词向量之间的计算进行简单的词汇逻辑关系推理，以衡量词向量的合理性。

3 算例分析 3.1 调控语料

采用内蒙古电力（集团）有限责任公司调度控制中心调度运行管理系统中2010—2019年生成的调控领域相关语料，进行词向量训练。相关语料主要包括历年《电网运行方式》《电网调度规程》《电力通信系统管理规程》《电网生成事故调查规程》《继电保护和安全自动装置技术规程》等与内蒙古电网调度有关的非结构化文档，经过语料预处理后形成调度领域词典，以词典为基础对语料中的词汇进行One-Hot编码，并基于Word2vec训练调度词向量。

3.2 算法设置

基于上述调控语料，采用Word2vec进行调度领域专业词汇词向量生成模型的训练，模型采用CBOW词，算法主要参数设置见表 1。模型训练完成后，将每个词汇的One-Hot编码送入模型，可以输出相应词汇的词向量，生成调度领域词向量词典。

3.3 应用效果

训练完成后形成调度领域专业词向量词典，基于该词典可以实现调度领域词汇之间的相似度计算、推理计算等。图 2 CBOW模型架构和Skip-Gram模型架构以“变电站”和“断面”两个词为例，采用夹角余弦相似性度量方法分别计算与其相似的前5个词汇，得到调度词汇之间的语义关系，结果见表 2。与“变电站”相似的词汇有“包北”“古城”“张家营”等；与“断面”相似的词汇有“呼包”“呼丰”等。在调度语料库中，“包北”“古城”“张家营”等属于“变电站”，这些词汇与“变电站”经常出现在相同的语义上下文中；“呼包”“呼丰”等属于“断面”，这些词汇与“断面”经常出现在相同的语义上下文中，因此具有相似的语义关系。

为了可视化展示不同调度词汇之间的相似性，采用t-TSNE降维算法进一步将20维词向量降至两维后以散点图的形式进行展示^[13]，见图 4。由图 4可见，语义相近的词汇在散点图中的位置相近。

调度词向量生成之后，可以采用向量计算进行简单推理。例如：变电站-包北=断面-呼包，如图 5所示。如果前提给定“包北”属于“变电站”，通过推理可以得到“呼包”属于“断面”的结论。用符号来表达即“包北”：“变电站”：：“呼包”：“断面”，其中“：”表示属于，“：：”表示等于。

综上分析可知，采用Word2vec技术训练出的调度词汇语义向量，基本可以表达出调度专业词汇之间的语义关系。由于该技术受语料的影响较大，因此需要收集更多的历史调度语料，以使训练出的词汇向量能够更好地表达词汇之间的语义关系。

4 基于调度专业词向量的语音识别应用

为了分析基于调度专业词向量建立的语音识别模型的性能，在内蒙古电力（集团）有限责任公司调控语料中分别抽取500个调控专业词汇和200条电力专业语句，对基于调度专业词向量语音识别方法与未基于调度专业词向量的语音识别方法进行比较分析。部分调控专业术语和语句如表 3和表 4所示。

测试小组成员由5人（A—E）组成，每人分别采用两种语音识别方法对上述语料各测试3次，计算不同语音识别方法准确率的平均值。两种语音识别方法准确率对比见表 5。

由表 5可知，基于Word2vec生成的调度专业词向量对提高语音识别准确率非常有效，可以将语音识别的准确率提高20%左右。而未基于调度专业词向量处理的语音识别方法难以识别大多数调控专业词汇，如设备名称、厂站名称、调度操作术语等，因此，计算调度专业词向量对构建面向调控应用场景的语音识别模型具有重要意义。

目前，语音识别模型已经在内蒙古电力（集团）有限责任公司电力调度控制分公司的智能调控机器人项目中应用，主要服务于倒闸操作、多轮对话等应用场景，大大提高了人机交互的友好性、便利性和智能性，为智能电网调控的实现奠定了基础。

5 结语

近年来，以深度神经网络为主的机器学习算法在语音识别、自然语言处理、计算机视觉等诸多领域取得了重大进展，将人工智能技术与电网调度业务场景结合，能够大幅度提高调控人员的工作效率，保障电网的安全稳定运行。

本文采用Word2vec技术实现了调度词汇的向量化表达和调度词汇的可计算性，并基于内蒙古电网历史调控语料进行了分析验证，结果表明，按本文提出方法生成的调度词汇词向量能够很好地表达词汇在调度语境中的语义关系，基于生成的词向量建立的语音识别模型准确率较高，能够满足调度业务需求。