随着在线社交网络信息发布、传播以及分享的功能越来越完善，大量用户持续活跃，积累了文本、图片和视频等海量数据，导致网络空间中的信息急剧膨胀。然而这些庞大的数据中蕴藏着极为有价值的潜在信息，传统的在线社交网络搜索技术难以满足用户的深层次、个性化的精准需求。因此近年来社交网络搜索吸引了国内外学者的普遍关注，如对社交网络个性化搜索技术的研究^[1-2]以及美国的实时搜索引擎Google和Scoopler等。通过抓取Twitter、Facebook等社交网络上用户随时随地发布的海量信息，可以给人们提供最新的搜索内容。大量社交网络数据产生的同时使得数据的形式和表达具有多样性，简单的用户搜索匹配方法不再能够满足用户的搜索需求，返回的结果也不能精确匹配用户的初始意图。因此国内外众多学者深入开展了基于用户搜索意图理解的在线社交网络精准搜索与挖掘研究^{[1, 3-8]}，该研究具有重要的理论意义和广泛的应用价值。

对用户搜索意图的理解是在用户多模态输入及消除语义歧义性的基础上，充分结合用户的上下文语境和语义知识，迅速、准确地理解和定位用户的真实意图，并结合匹配、推理、计算以及众包等技术，给出真正满足用户需求的精准搜索结果。用户搜索意图的分析、提取与匹配是社交网络智能精准搜索的研究重点，针对用户意图的搜索模式目前已经取得了不少成果，但是现有的搜索意图理解多是经验式的，仅是分析性而非预测性的，仍缺少统一的理论和算法对搜索意图的理解进行指导。因此，在大数据时代，面对海量的跨媒体信息实现基于用户搜索意图理解的在线社交网络精准搜索与挖掘技术是必然的发展趋势。

1 基于知识图谱的在线社交网络多模态信息感知

通过对在线社交网络用户信息的深入挖掘，有效地全面理解用户的搜索意愿，构建虚拟空间的知识图谱，为特定虚拟空间中网络用户搜索意图的发现提供数据支持^[5-7]。针对在线社交网络数据简短、背景信息依赖明显等问题，目前的研究多是将数据的语义分布与背景信息相结合^[8-10]，一方面用于解决社交网络数据语义稀疏的问题^[11-13]，另一方面用于社交网络语义分布与线下的用户行为、位置特征的关联^[14-16]。时空特征作为社交网络数据最主要的背景信息之一是理解用户搜索意图的关键^[17-18]。来自在线社交网络的文本或图像数据中蕴含着丰富的时空信息，可以利用自然语言处理技术识别文本中隐含的时空信息，利用图像场景分类方法判断图像场景类别，确定图像隐含的时空信息^[19-20]。

此外，考虑到社交网络数据具有明显的时空标签，直接利用时空标签信息获取更多的附加信息也是当前的研究热点。社交关系作为社交网络另一项主要的背景信息，同样是理解用户搜索意图的重点^[21-22]。相关研究更多是将社交关系作为数据语义的补充以此来实现社交网络数据语义的提取，完成社交用户群体发现、兴趣分布等工作，从用户信息中挖掘用户的搜索意图^[23-25]。此类基于数据聚合的方法在用户层面进行主题分类、社区发现或者朋友推荐等方面取得了较好的效果，然而仍然不能解决单一短文本的语义获取问题^[26-28]。一些学者对社交网络对象的语义表达^[29-30]、社交关联模型的建立和进化^[31]、时空图像特征感知和去噪^[32]、基于聚类集成的社交网络图像分割^[33]等工作开展了广泛研究。还有一些研究将社交网络的稀疏语义与其关联特征相结合，在短文本语义提取方面进行了探索，针对在线社交网络短文本语义特点，优化文本语义的理解，挖掘用户隐藏的搜索意图。下面将分析基于用户搜索意图的社交网络搜索中的两个技术，即信息感知与知识图谱的构建。

1.1 多模态信息感知

在社交网络的大量数据中蕴含着丰富的社会事件发生和发展的过程，如何有效地从这些数据中挖掘出有价值的信息是当前社交网络分析的重要问题^[34]。基于社交网络跨媒体多模态事件的感知通过分析社交中的文本、时间地点、图像、评论、观点、情感和用户交互等多模态数据，感知事件整体发展过程，并刻画出各事件彼此的关联，进而实现对信息的全方位获取。

信息感知是指假设被感知数据来自n个多模态异构数据源，且对不同观测对象均从m个维度来描述，则能获得一组多源异构多模态的感知数据。在线社交网络多模态数据信息感知的形成过程分为以下4步：

1）信息获取。根据在线用户显性或隐性地提出获取感知信息的需求，由系统分析后自动给出可能的请求结果。

2）信息过滤。由于多模态信息的数据形式及种类多样，大量的反馈信息给用户带来一定的困扰，因此还需预先定义好过滤规则，建立过滤引擎。将感知收集信息过滤后，存储并返回给相关用户。其中信息过滤机制可以是用户自定义的规则，便于个性化地定义自己想要获取的信息，可以提高感知信息的效率，或基于感知强度计算得出。

3）信息的感知。由感知引擎提供获取方法和工具，进一步分析用户交互结构和社交网络特性、社区形成的规模、用户所处位置等信息，获取用户社交中的身份、发布的资源和参与的社交活动。

4）信息显示。最后将感知信息显示出来，呈现给社交网络中的用户或需求者。

在线社交网络环境中活跃的用户在交互时，能够从彼此显性沟通和隐性非直接的沟通中获取对方的需求感知信息。但实际应用中，用户可能发现的知识和信息感知程度较低，会损失用户之间交流沟通的机会。因此随着社交网络多模态信息大量涌现，对信息感知技术的要求更加紧迫，只有用户能够更好地感知网络动态数据，才能够更深入全面地参与到社交活动中来，了解彼此的社交动态并挖掘出潜在的社交行为和关系，增大用户决策和沟通的效率。

1.2 知识图谱的构建

知识图谱^[35-36]是Google提出的用于把复杂知识领域的信息通过数据挖掘和信息处理，展示该知识领域的动态发展规律。其构建目的是便于社交网络的搜索理解，能够按照用户的搜索内容自动辨别其涉及的最相关实体及其属性等，根据实体的重要性揭示相对应的知识卡片，最后改善查询结果。利用相关实体发掘来推荐其他用户可能感兴趣的实体供进一步查阅。知识图谱可以在以下3个方面提升搜索体验：

1）理解用户查询的初始意图。搜索请求具有灵活性，可能表示多重含义。知识图谱将信息全面发掘并显现出来，将搜索结果范围缩小到最接近用户意图的含义，可以让用户自主确定最终满意的结果。

2）提供最全面的搜索信息。更好地全面理解用户搜索信息，挖掘所有与搜索话题相关的内容，帮助用户了解各事物及信息之间的关系。

3）拓宽了用户搜索的深度及广度。构建与用户搜索结果相关的完整知识体系，使用户获取搜索需求之外的知识发现。在搜索过程中，用户有可能同时认识到搜索需求以外的某个新事实或新联系，引导用户开始一些全新的搜索查询。

基于知识图谱的用户搜索初始意图发现方法利用知识库中含有的词间联系，对用户搜索中的请求文本调整权重，从而提高分类准确率，提高搜索意图挖掘效果。其构建技术是自底向上并迭代进行更新的过程，每次更新包括3个步骤：信息的抽取、知识融合和加工。其中抽取是指从多模态的数据源中抽取出实体、属性及实体间的关联关系，以便形成本体知识的表达；知识融合是对抽取的数据进行实体链接及知识合并，消除实体之间的歧义性、共指消解的分类和聚类等操作，然后对获取的知识进行合并，主要是对外部的知识库和内部关系数据库的合并。最后进行知识加工，构建对概念统一模式规范的本体，描述客观世界中的抽象概念模型，然后进行知识推理和质量评估，完成最终的知识图谱的构建。

在线社交网络产生的信息在网络上的呈现并不仅仅局限于单一的文本模式，而是集签到、图像、视频等各种模态数据的信息综合体，同时伴随产生了时间、空间、结构、社会关系等一系列隐含信息。多模态信息所蕴含的语义是单纯文本所无法比拟的，其极大地丰富了知识空间，为理解用户意图提供了充足的数据支持。因此，需要基于高效的数据感知技术获取特定虚拟空间内跨媒体大数据，并提取隐含其中的时空、结构关系、社交关系等背景特征知识，建立多模态信息的知识图谱。其数据大部分来源于专业知识领域的网站，将文本或图像、视频中的共现知识信息为实体建立联系，并利用该关系帮助搜索内容特征的提取，调整权重，最后使用文本或图像分类算法对搜索分类，深度挖掘用户搜索意图。将获取的感知数据与其隐含、关联的背景特征相结合是分析社交网络信息的基础，是理解用户搜索意图以及构建社交网络精准搜索研究的关键科学问题。

2 跨媒体大数据的深度语义学习与分析

在线社交网络产生的数据大部分是异构、离散且没有结构的，隐含了丰富的多属性、多模态语义信息。多模态数据之间存在着千丝万缕的语义关联，结合获得的时空等信息，对社交网络用户进行搜索意图分析与行为意图理解，可以从不同角度来掌握用户在社交平台上的各种网络行为特征。因此需要结合多属性、多形式的特征对社交网络在语义层面上对大量数据进行深度学习，从多角度挖掘出用户在社交网络活动中的意图模式和意图特征。通过对多属性、多模态社交网络大数据的深度语义学习与分析建模，可以实现异常用户意图特征的实时获取以及凸显用户意图的实时表达，这对提升社会热点话题的感知能力以及社交网络异常意图用户的发现能力具有促进作用。

2.1 大数据语义分析

大数据语义分析为基于社交网络大数据的用户意图理解与分析提供了关键的支持。随着异构数据的快速产生，其以不同媒体的形式存在，如何从异构数据中辨别出相应所需的概念成为了当前的研究热点。

1）文本分析技术

可以根据知识源或模型粒度的不同进行分类，如表1所示。

2）多模态分析技术

对于社交网络中不断涌现的多模态数据形式，单纯的分析文本已经不能够满足对社交网络数据的分析和挖掘，因此有大量研究针对于文本及图像、视频等数据综合进行语义分析。如M. I. Blei等^[40]在分析文本和图像的基础上，分别采用了3种不同的生成模型：文本和图像主题为同一主题的主题强相关模型、文本和图像主题分别从同一主题分布中采样得到的弱相关模型，以及假设文本以图像标注形式存在的，文本主题从图像主题中均匀采样得到的文本图像主题生成模型。使用Corr-LDA模型建模，将文本与图像映射到同一主题语义空间中，在图像标注及跨模态检索上都取得了很好的效果。Jingwen Bian^[41]在研究跨媒体数据的基础上提出了MM-LDA模型，将多模态的数据映射在主题空间中，用以发现社交网络中事件的子事件，形成事件摘要。

上述以LDA为基础的生成模型中，都是严格以文本图像为研究对象，假设其具有同样的主题分布，或者一种模态的主题分布依赖于另一种模型的主题分布。然而现实生活中对同一事件或者物体的描述不仅在媒介上为异质异构数据，通常情况下在内容、数量、层次粒度上也并不是一一对应的。王智愚等^[42]提出了一种社会多媒体的双向语义关联模型，对文本、图像主题多种情况下的依赖关系建模；Wang等^[43]提出了一种多模态共同话题推理模型，为多模态建立共享语义空间的同时加入了额外的类别信息，在跨模态检索任务中取得了很好的效果；Kang等^[44]使用矩阵分解方法，通过学习特征的一致性表示，为非成对数据的跨模态检索提供了可能。

2.2 深度学习语义分析

对用户搜索意图的图像理解常用方法是深度神经网络，常用的两种深度神经网络结构有AlexNet^[45]和VGG-Net^[46]。深度学习得到的特征相比手工提取的特征在社交网络用户的搜索意图理解中能够取得更好的效果。深度神经网络语义分析模型具有自动提取特征的优点，可以找出有效的特征进行分类，所以也称为表示学习。社交网络带来的大数据给神经网络学习提供了大量的训练样本，而GPU的使用给运行速度提供了保障。面向用户意图的搜索理解中对图像特征的提取主流的方法是采用卷积神经网络提取CNN特征^[47-49]，图像与文本的语义学习可以在不同的深度语义层面上对图像CNN特征和文本特征进行映射学习^[50-51]。

深度学习已经广泛用于文本、图像、视频和语音各方面的深度语义分析，基于神经网络的语言模型最早是由Bengio提出的，主要解决了泛化问题，通过嵌入和3层网络把词映射到空间中的一个点，最终输出了下一个词的概率。此外为图像特征与语义词建立共享空间已应用在跨模态搜索中^[52]，对于用户意图理解得到了很好的效果。以学习哈希函数为基础保留多标记图像之间多层次语义相似性的深度语义排序方法^[53-54]以及将深度卷积神经网络结合哈希函数来共同学习特征表示和映射，已应用于对社交网络用户意图搜索的语义理解中。用区域生成方法^[55]对图像生成候选区域，结合训练好的CNN模型在这些区域上提取语义特征，最后利用线性SVM进行分类，能够得到更好的搜索结果。

3 在线社交网络精准搜索与挖掘

社交网络搜索与传统网络的搜索应用形式相比，信息的传播速度更快、传播方式更加隐蔽，覆盖人群更广、用户的交互也更加频繁。因此基于用户搜索意图理解的智能精准搜索不再局限于针对跨媒体内容的搜索，而是涵盖了网络产生的信息以及与其相关的所有外部信息的全面搜索，包括社交关系搜索、社交行为搜索以及线上线下关联信息搜索等，需要有效地挖掘出社交网络中各种跨媒体的时空信息，分析隐含的特有属性，并结合知识库体系、语义推理演算等，才能弥补传统搜索在信息关联等方面的缺陷，实现对在线社交网络跨媒体大数据的组织和管理，并对在线社交网络的精准搜索提供底层索引支持和基于本体知识库的搜索拓展。

3.1 用户搜索意图理解与匹配

目前的搜索引擎对于用户查询仅仅从关键词角度出发进行相似度匹配，而不是从用户搜索意图出发搜寻相关信息，使得返回结果和搜索意图有较大出入。在该方面的研究中，Wolframalpha从公众和已授权资源中发掘并构建的数据库，能够理解用户查询需求并迅速给出结果。搜狗的“知立方”引入了用户查询语义的理解技术，试图分析用户的查询目标，对搜索结果进行重新优化计算^[56]。Park等^[57]提出了利用搜索上下文来预测用户的搜索意图；Gupta等^[58]提出了使用用户查询日志的方法，对日志分析并预测出用户的搜索目标；王大玲等^[59]提出了利用决策树的方法识别用户搜索意图。在意图匹配方面，基于文本模型的匹配通过以关键词查询检索的方式，把意图语义进行转换并与目标文档匹配，获得相关度排名。在图模型的意图匹配中，通过图查询来实现用户搜索意图与搜索空间目标项之间的查找和匹配，包括关键词图搜索、子图匹配和近似图匹配技术等^[60]。

目前基于意图理解的智能搜索机制分为离线和在线两种处理阶段，其整体基于用户意图理解的搜索框架如图1所示。其中离线阶段是指在没有接收用户搜索请求时系统自动进行的操作，主要对用户在社交网络中的各种行为特征、发布信息的文本特征或活动的时空信息及社会互动关系特征等个性化信息进行分析和建模，挖掘出长期的兴趣偏好，为在线意图分析和抽取提供历史数据。利用TF-IDF等算法进行主题分类抽取，并对热点进行分类及矢量描述分析，然后提取主题用户特征和主题热点特征。当用户提出搜索请求时，首先对用户情景进行抽取，并对查询意图的信息和情感进行初步分析，综合进行意图分析和提取操作，最后将主题节点的用户及热点特征与在线分析出的搜索意图、改进的关键字综合进行匹配与搜索。

3.2 在线社交网络精准搜索的应用

随着社交网络的日益普及，在线社交网络成为了现实社会中人和事进行评论和发表观点的一个集中平台，是社会生活的真实写照。Facebook开发了备受欢迎的社交图谱搜索技术，Twitter提供了基于社交网络的搜索，新浪微博也提供了自己的在线搜索系统，这些搜索系统的出现给用户带来了很多便利。现在已有大量学者对在线社交网络的搜索技术进行研究。贾焰等^[56]从社交网络中的知识挖掘与推演、用户初始查询意图的理解与表示、符合用户意图的智能结果在线响应等3个问题为目标，讨论了社交网络智慧搜索相关技术的发展；郑炜等^[61]提出了基于用户搜索意图的智能搜索引擎系统框架，该框架从社交网络内容的存储、索引以及排名方面着手，对查询算法进行重构，与传统的基于关键字的搜索算法相比返回结果的相关度更高；Bennett等^[62]提出探索式搜索概念，帮助搜索用户进行信息获取；Teevan等^[63]从人口统计学、兴趣和职业等特征分析入手，辨别不同的用户群体，提供基于相似请求用户的查询结果。

在社交网络事件监测研究方面，Prerna等^[64]从技术层面对Twitter的舆情及其演化趋势进行了研究；Jasmina等^[65]提出了基于Twitter的事件搜索与监测方法，并将其应用于保加利亚选举事件中。随着事件监测研究的不断进展，基于多模态的社交网络事件监测方法成为研究热点。Manos等^[66]提出了一种基于时间窗的多模态方法，对海量图片进行事件监测；Gao等^[67]利用超图分割的思想引入文本内容、视觉内容、位置信息、时间信息等实现社交网络跨媒体的事件监测，但是该方法无法预测热点事件；Unankard^[68]提出了基于位置感知的社交网络事件监测方法，把Twitter事件和位置信息进行统一表示，将用户位置和事件位置的相关性的强度进行标识，监测和预测热点事件。此外，随着各大社交网络的盛行使针对社交网络的研究越来越广泛而全面^[69-71]，人们在社交网络中应用更加便捷，并且可以从海量的信息中受益。

4 总结与展望

本文对基于知识图谱的在线社交网络多模态信息感知方法、搜索中面向用户意图匹配的跨媒体大数据深度语义学习与分析、在线社交网络精准搜索与挖掘进行了研究与分析，可以看出在基于用户搜索意图理解的在线社交网络跨媒体精准搜索与挖掘研究领域已有的理论、技术及应用仍然存在一些问题，总结为以下几方面：

1）目前已有的跨媒体信息感知方法只关注于一定区域和范围内的代表性数据获取，从社交网络中感知得到的稀疏且零散的数据不足以支撑用户意图理解搜索的信息需求。单纯的社交网络数据难以实现语义分析，因此需要必要的数据关联特征来实现数据的语义理解。已有的信息感知方法没有考虑与数据相关联的背景特征信息以及用户属性信息的获取，不能及时、快速从感知数据中提取出隐含信息，不能为高层的处理与应用提供必要的信息支持。

2）目前已有的语义学习与分析方法中通常只针对单一模态数据或特定的应用场景，难以从多模态的跨媒体大数据中完整地识别出社交网络用户的意图倾向，以及网络意图模式与现实社会热点话题与事件的语义关联关系，无法实时地获取体现社交网络用户的行为特征，从而进行用户意图分析和异常用户意图检测。基于单一模态单一属性的语义识别模型难以快速而精准地分析社交网络热点话题和事件相关内容的语义及其影响范围和深度。

3）目前已有的社交网络搜索技术对特定对象精准搜索的研究无法实现跨空间搜索。搜索匹配方法不能从超大规模、超高维度、不完备、有噪声、语义模糊的在线社交网络跨媒体大数据中挖掘出与特定对象时空特性、社会属性相关的知识模式。由于用户搜索的意图往往很抽象，目前的搜索方法无法满足抽象的搜索意图理解与匹配，因此需要研究基于搜索意图识别的高质量、高效率的跨媒体大数据搜索算法。

围绕社会网络面向用户意图的搜索与挖掘目前的研究现状，未来研究中可能面临的挑战包括：

1）面对在线社交网络数据的歧义性、模糊性、时变性等问题，如何基于知识图谱获取在线社交网络跨媒体大数据，并提取其相关背景信息以及如何利用感知数据与背景信息之间的关联、不同媒体数据之间的关联，构建虚拟空间的知识图谱，挖掘数据中隐藏的用户搜索意图，以实现社交网络数据信息的全面、完整地表达与理解，仍然是亟待解决的科学问题。

2）虽然面向用户搜索意图的理解已经有许多跨媒体语义映射学习的方法，但是这些方法没有考虑图像和文本的时空性对语义的影响，因此需要根据图像与文本在不同时间和不同地点出现时体现不同的语义，进一步对用户搜索意图的理解进行深入研究。如何基于深度学习来突破跨媒体大数据知识空间浅层特征与深度语义之间存在的语义障碍是有待研究的问题。

3）目前已有的社交网络搜索与挖掘算法是分离的，而搜索系统和挖掘系统都会对最终的搜索精度造成影响。因此建立搜索与挖掘一体化的模型能够有效提高搜索性能。需要建立支持时空特性和社交特性的跨媒体、跨空间的挖掘体系，根据时空特性、社交特性、用户行为特征、现实空间的实时数据，并结合领域本体知识库推理演算和语义查询扩展，构建支持时间、空间特性的在线社交网络对象的精准搜索模型。