«上一篇
文章快速检索     高级检索
下一篇»
  智能系统学报  2017, Vol. 12 Issue (6): 761-769  DOI: 10.11992/tis.201706075
0

引用本文  

崔婉秋, 杜军平, 周南, 等. 基于用户意图理解的社交网络跨媒体搜索与挖掘[J]. 智能系统学报, 2017, 12(6), 761-769. DOI: 10.11992/tis.201706075.
CUI Wanqiu, DU Junping, ZHOU Nan, et al. Social network cross-media searching and mining based on user intention[J]. CAAI Transactions on Intelligent Systems, 2017, 12(6), 761-769. DOI: 10.11992/tis.201706075.

基金项目

国家自然科学基金重点项目(61532006);国家自然科学基金国际合作项目(61320106006);国家自然科学基金青年科学基金项目(61502042).

通信作者

杜军平. E-mail:junpingdu@126.com.

作者简介

崔婉秋,女,1990年生,博士研究生,主要研究方向为社交网络分析、机器学习、信息检索;
杜军平,女,1963年生,教授,博士生导师,主要研究方向为人工智能、社交网络分析、数据挖掘、运动图像处理,主持国家“863”、“973”计划项目、国家自然科学基金重点项目、国家自然科学基金重大国际合作项目、北京市自然科学基金重点项目等;
周南,男,1991年生,博士研究生,主要研究方向为社交网络分析、机器学习、信息检索

文章历史

收稿日期:2017-06-22
网络出版日期:2017-11-09
基于用户意图理解的社交网络跨媒体搜索与挖掘
崔婉秋, 杜军平, 周南, 梁美玉    
北京邮电大学 智能通信软件与多媒体北京市重点实验室,北京 100876
摘要:随着在线社交网络的盛行,网络用户不仅对信息资讯的获取速度和实时性提出了更高的要求,对个性化和精确化的搜索需求日益增长。为了提升搜索引擎的质量以及其结果列表的准确性,需要深层次地挖掘用户搜索意图。本文分析了用户搜索意图理解在线社交网络跨媒体进行精准搜索与挖掘的研究现状,包括知识图谱在线社交网络多模态信息感知、面向用户搜索意图匹配的跨媒体大数据深度语义学习方面的应用,以及用户搜索意图理解的在线社交网络精准搜索与挖掘的应用等。最后,对未来研究存在的问题和可能面临的挑战进行了展望。
关键词在线社交网络    用户搜索意图    知识图谱    深度语义学习    精准搜索关键词    
Social network cross-media searching and mining based on user intention
CUI Wanqiu, DU Junping, ZHOU Nan, LIANG Meiyu    
Beijing Key Laboratory of Intelligent Telecommunication Software and Multimedia, Beijing University of Posts and Telecommunications, Beijing 100876, China
Abstract: With the popularity of online social networks, users not only have higher requirements for speed and real-time performance of information acquisition but also increased demand for personalized and accurate searching. To improve the quality of the search engine and accuracy of the result list, it is necessary to deeply mine the search intentions of the users. This paper summarizes the current situation in precise cross-media searching and mining based on user search intentions. We focus on multi-modal information perceptions based on an online social network knowledge graph, deep semantic learning and analysis of cross-media data for user search intention matching, and precise online social network searching and mining based on users’ search intentions. Finally, future research problems and possible challenges are discussed.
Key words: online social network    user searching intention    knowledge graph    deep semantic learning    precise searching    

随着在线社交网络信息发布、传播以及分享的功能越来越完善,大量用户持续活跃,积累了文本、图片和视频等海量数据,导致网络空间中的信息急剧膨胀。然而这些庞大的数据中蕴藏着极为有价值的潜在信息,传统的在线社交网络搜索技术难以满足用户的深层次、个性化的精准需求。因此近年来社交网络搜索吸引了国内外学者的普遍关注,如对社交网络个性化搜索技术的研究[1-2]以及美国的实时搜索引擎Google和Scoopler等。通过抓取Twitter、Facebook等社交网络上用户随时随地发布的海量信息,可以给人们提供最新的搜索内容。大量社交网络数据产生的同时使得数据的形式和表达具有多样性,简单的用户搜索匹配方法不再能够满足用户的搜索需求,返回的结果也不能精确匹配用户的初始意图。因此国内外众多学者深入开展了基于用户搜索意图理解的在线社交网络精准搜索与挖掘研究[1, 3-8],该研究具有重要的理论意义和广泛的应用价值。

对用户搜索意图的理解是在用户多模态输入及消除语义歧义性的基础上,充分结合用户的上下文语境和语义知识,迅速、准确地理解和定位用户的真实意图,并结合匹配、推理、计算以及众包等技术,给出真正满足用户需求的精准搜索结果。用户搜索意图的分析、提取与匹配是社交网络智能精准搜索的研究重点,针对用户意图的搜索模式目前已经取得了不少成果,但是现有的搜索意图理解多是经验式的,仅是分析性而非预测性的,仍缺少统一的理论和算法对搜索意图的理解进行指导。因此,在大数据时代,面对海量的跨媒体信息实现基于用户搜索意图理解的在线社交网络精准搜索与挖掘技术是必然的发展趋势。

1 基于知识图谱的在线社交网络多模态信息感知

通过对在线社交网络用户信息的深入挖掘,有效地全面理解用户的搜索意愿,构建虚拟空间的知识图谱,为特定虚拟空间中网络用户搜索意图的发现提供数据支持[5-7]。针对在线社交网络数据简短、背景信息依赖明显等问题,目前的研究多是将数据的语义分布与背景信息相结合[8-10],一方面用于解决社交网络数据语义稀疏的问题[11-13],另一方面用于社交网络语义分布与线下的用户行为、位置特征的关联[14-16]。时空特征作为社交网络数据最主要的背景信息之一是理解用户搜索意图的关键[17-18]。来自在线社交网络的文本或图像数据中蕴含着丰富的时空信息,可以利用自然语言处理技术识别文本中隐含的时空信息,利用图像场景分类方法判断图像场景类别,确定图像隐含的时空信息[19-20]

此外,考虑到社交网络数据具有明显的时空标签,直接利用时空标签信息获取更多的附加信息也是当前的研究热点。社交关系作为社交网络另一项主要的背景信息,同样是理解用户搜索意图的重点[21-22]。相关研究更多是将社交关系作为数据语义的补充以此来实现社交网络数据语义的提取,完成社交用户群体发现、兴趣分布等工作,从用户信息中挖掘用户的搜索意图[23-25]。此类基于数据聚合的方法在用户层面进行主题分类、社区发现或者朋友推荐等方面取得了较好的效果,然而仍然不能解决单一短文本的语义获取问题[26-28]。一些学者对社交网络对象的语义表达[29-30]、社交关联模型的建立和进化[31]、时空图像特征感知和去噪[32]、基于聚类集成的社交网络图像分割[33]等工作开展了广泛研究。还有一些研究将社交网络的稀疏语义与其关联特征相结合,在短文本语义提取方面进行了探索,针对在线社交网络短文本语义特点,优化文本语义的理解,挖掘用户隐藏的搜索意图。下面将分析基于用户搜索意图的社交网络搜索中的两个技术,即信息感知与知识图谱的构建。

1.1 多模态信息感知

在社交网络的大量数据中蕴含着丰富的社会事件发生和发展的过程,如何有效地从这些数据中挖掘出有价值的信息是当前社交网络分析的重要问题[34]。基于社交网络跨媒体多模态事件的感知通过分析社交中的文本、时间地点、图像、评论、观点、情感和用户交互等多模态数据,感知事件整体发展过程,并刻画出各事件彼此的关联,进而实现对信息的全方位获取。

信息感知是指假设被感知数据来自n个多模态异构数据源,且对不同观测对象均从m个维度来描述,则能获得一组多源异构多模态的感知数据。在线社交网络多模态数据信息感知的形成过程分为以下4步:

1)信息获取。根据在线用户显性或隐性地提出获取感知信息的需求,由系统分析后自动给出可能的请求结果。

2)信息过滤。由于多模态信息的数据形式及种类多样,大量的反馈信息给用户带来一定的困扰,因此还需预先定义好过滤规则,建立过滤引擎。将感知收集信息过滤后,存储并返回给相关用户。其中信息过滤机制可以是用户自定义的规则,便于个性化地定义自己想要获取的信息,可以提高感知信息的效率,或基于感知强度计算得出。

3)信息的感知。由感知引擎提供获取方法和工具,进一步分析用户交互结构和社交网络特性、社区形成的规模、用户所处位置等信息,获取用户社交中的身份、发布的资源和参与的社交活动。

4)信息显示。最后将感知信息显示出来,呈现给社交网络中的用户或需求者。

在线社交网络环境中活跃的用户在交互时,能够从彼此显性沟通和隐性非直接的沟通中获取对方的需求感知信息。但实际应用中,用户可能发现的知识和信息感知程度较低,会损失用户之间交流沟通的机会。因此随着社交网络多模态信息大量涌现,对信息感知技术的要求更加紧迫,只有用户能够更好地感知网络动态数据,才能够更深入全面地参与到社交活动中来,了解彼此的社交动态并挖掘出潜在的社交行为和关系,增大用户决策和沟通的效率。

1.2 知识图谱的构建

知识图谱[35-36]是Google提出的用于把复杂知识领域的信息通过数据挖掘和信息处理,展示该知识领域的动态发展规律。其构建目的是便于社交网络的搜索理解,能够按照用户的搜索内容自动辨别其涉及的最相关实体及其属性等,根据实体的重要性揭示相对应的知识卡片,最后改善查询结果。利用相关实体发掘来推荐其他用户可能感兴趣的实体供进一步查阅。知识图谱可以在以下3个方面提升搜索体验:

1)理解用户查询的初始意图。搜索请求具有灵活性,可能表示多重含义。知识图谱将信息全面发掘并显现出来,将搜索结果范围缩小到最接近用户意图的含义,可以让用户自主确定最终满意的结果。

2)提供最全面的搜索信息。更好地全面理解用户搜索信息,挖掘所有与搜索话题相关的内容,帮助用户了解各事物及信息之间的关系。

3)拓宽了用户搜索的深度及广度。构建与用户搜索结果相关的完整知识体系,使用户获取搜索需求之外的知识发现。在搜索过程中,用户有可能同时认识到搜索需求以外的某个新事实或新联系,引导用户开始一些全新的搜索查询。

基于知识图谱的用户搜索初始意图发现方法利用知识库中含有的词间联系,对用户搜索中的请求文本调整权重,从而提高分类准确率,提高搜索意图挖掘效果。其构建技术是自底向上并迭代进行更新的过程,每次更新包括3个步骤:信息的抽取、知识融合和加工。其中抽取是指从多模态的数据源中抽取出实体、属性及实体间的关联关系,以便形成本体知识的表达;知识融合是对抽取的数据进行实体链接及知识合并,消除实体之间的歧义性、共指消解的分类和聚类等操作,然后对获取的知识进行合并,主要是对外部的知识库和内部关系数据库的合并。最后进行知识加工,构建对概念统一模式规范的本体,描述客观世界中的抽象概念模型,然后进行知识推理和质量评估,完成最终的知识图谱的构建。

在线社交网络产生的信息在网络上的呈现并不仅仅局限于单一的文本模式,而是集签到、图像、视频等各种模态数据的信息综合体,同时伴随产生了时间、空间、结构、社会关系等一系列隐含信息。多模态信息所蕴含的语义是单纯文本所无法比拟的,其极大地丰富了知识空间,为理解用户意图提供了充足的数据支持。因此,需要基于高效的数据感知技术获取特定虚拟空间内跨媒体大数据,并提取隐含其中的时空、结构关系、社交关系等背景特征知识,建立多模态信息的知识图谱。其数据大部分来源于专业知识领域的网站,将文本或图像、视频中的共现知识信息为实体建立联系,并利用该关系帮助搜索内容特征的提取,调整权重,最后使用文本或图像分类算法对搜索分类,深度挖掘用户搜索意图。将获取的感知数据与其隐含、关联的背景特征相结合是分析社交网络信息的基础,是理解用户搜索意图以及构建社交网络精准搜索研究的关键科学问题。

2 跨媒体大数据的深度语义学习与分析

在线社交网络产生的数据大部分是异构、离散且没有结构的,隐含了丰富的多属性、多模态语义信息。多模态数据之间存在着千丝万缕的语义关联,结合获得的时空等信息,对社交网络用户进行搜索意图分析与行为意图理解,可以从不同角度来掌握用户在社交平台上的各种网络行为特征。因此需要结合多属性、多形式的特征对社交网络在语义层面上对大量数据进行深度学习,从多角度挖掘出用户在社交网络活动中的意图模式和意图特征。通过对多属性、多模态社交网络大数据的深度语义学习与分析建模,可以实现异常用户意图特征的实时获取以及凸显用户意图的实时表达,这对提升社会热点话题的感知能力以及社交网络异常意图用户的发现能力具有促进作用。

2.1 大数据语义分析

大数据语义分析为基于社交网络大数据的用户意图理解与分析提供了关键的支持。随着异构数据的快速产生,其以不同媒体的形式存在,如何从异构数据中辨别出相应所需的概念成为了当前的研究热点。

1)文本分析技术

可以根据知识源或模型粒度的不同进行分类,如表1所示。

2)多模态分析技术

对于社交网络中不断涌现的多模态数据形式,单纯的分析文本已经不能够满足对社交网络数据的分析和挖掘,因此有大量研究针对于文本及图像、视频等数据综合进行语义分析。如M. I. Blei等[40]在分析文本和图像的基础上,分别采用了3种不同的生成模型:文本和图像主题为同一主题的主题强相关模型、文本和图像主题分别从同一主题分布中采样得到的弱相关模型,以及假设文本以图像标注形式存在的,文本主题从图像主题中均匀采样得到的文本图像主题生成模型。使用Corr-LDA模型建模,将文本与图像映射到同一主题语义空间中,在图像标注及跨模态检索上都取得了很好的效果。Jingwen Bian[41]在研究跨媒体数据的基础上提出了MM-LDA模型,将多模态的数据映射在主题空间中,用以发现社交网络中事件的子事件,形成事件摘要。

表 1 文本分析技术分类 Tab.1 Classification of text analysis techniques

上述以LDA为基础的生成模型中,都是严格以文本图像为研究对象,假设其具有同样的主题分布,或者一种模态的主题分布依赖于另一种模型的主题分布。然而现实生活中对同一事件或者物体的描述不仅在媒介上为异质异构数据,通常情况下在内容、数量、层次粒度上也并不是一一对应的。王智愚等[42]提出了一种社会多媒体的双向语义关联模型,对文本、图像主题多种情况下的依赖关系建模;Wang等[43]提出了一种多模态共同话题推理模型,为多模态建立共享语义空间的同时加入了额外的类别信息,在跨模态检索任务中取得了很好的效果;Kang等[44]使用矩阵分解方法,通过学习特征的一致性表示,为非成对数据的跨模态检索提供了可能。

2.2 深度学习语义分析

对用户搜索意图的图像理解常用方法是深度神经网络,常用的两种深度神经网络结构有AlexNet[45]和VGG-Net[46]。深度学习得到的特征相比手工提取的特征在社交网络用户的搜索意图理解中能够取得更好的效果。深度神经网络语义分析模型具有自动提取特征的优点,可以找出有效的特征进行分类,所以也称为表示学习。社交网络带来的大数据给神经网络学习提供了大量的训练样本,而GPU的使用给运行速度提供了保障。面向用户意图的搜索理解中对图像特征的提取主流的方法是采用卷积神经网络提取CNN特征[47-49],图像与文本的语义学习可以在不同的深度语义层面上对图像CNN特征和文本特征进行映射学习[50-51]

深度学习已经广泛用于文本、图像、视频和语音各方面的深度语义分析,基于神经网络的语言模型最早是由Bengio提出的,主要解决了泛化问题,通过嵌入和3层网络把词映射到空间中的一个点,最终输出了下一个词的概率。此外为图像特征与语义词建立共享空间已应用在跨模态搜索中[52],对于用户意图理解得到了很好的效果。以学习哈希函数为基础保留多标记图像之间多层次语义相似性的深度语义排序方法[53-54]以及将深度卷积神经网络结合哈希函数来共同学习特征表示和映射,已应用于对社交网络用户意图搜索的语义理解中。用区域生成方法[55]对图像生成候选区域,结合训练好的CNN模型在这些区域上提取语义特征,最后利用线性SVM进行分类,能够得到更好的搜索结果。

3 在线社交网络精准搜索与挖掘

社交网络搜索与传统网络的搜索应用形式相比,信息的传播速度更快、传播方式更加隐蔽,覆盖人群更广、用户的交互也更加频繁。因此基于用户搜索意图理解的智能精准搜索不再局限于针对跨媒体内容的搜索,而是涵盖了网络产生的信息以及与其相关的所有外部信息的全面搜索,包括社交关系搜索、社交行为搜索以及线上线下关联信息搜索等,需要有效地挖掘出社交网络中各种跨媒体的时空信息,分析隐含的特有属性,并结合知识库体系、语义推理演算等,才能弥补传统搜索在信息关联等方面的缺陷,实现对在线社交网络跨媒体大数据的组织和管理,并对在线社交网络的精准搜索提供底层索引支持和基于本体知识库的搜索拓展。

图 1 基于用户意图的搜索框架 Fig.1 The searching framework based on user intentions
3.1 用户搜索意图理解与匹配

目前的搜索引擎对于用户查询仅仅从关键词角度出发进行相似度匹配,而不是从用户搜索意图出发搜寻相关信息,使得返回结果和搜索意图有较大出入。在该方面的研究中,Wolframalpha从公众和已授权资源中发掘并构建的数据库,能够理解用户查询需求并迅速给出结果。搜狗的“知立方”引入了用户查询语义的理解技术,试图分析用户的查询目标,对搜索结果进行重新优化计算[56]。Park等[57]提出了利用搜索上下文来预测用户的搜索意图;Gupta等[58]提出了使用用户查询日志的方法,对日志分析并预测出用户的搜索目标;王大玲等[59]提出了利用决策树的方法识别用户搜索意图。在意图匹配方面,基于文本模型的匹配通过以关键词查询检索的方式,把意图语义进行转换并与目标文档匹配,获得相关度排名。在图模型的意图匹配中,通过图查询来实现用户搜索意图与搜索空间目标项之间的查找和匹配,包括关键词图搜索、子图匹配和近似图匹配技术等[60]

目前基于意图理解的智能搜索机制分为离线和在线两种处理阶段,其整体基于用户意图理解的搜索框架如图1所示。其中离线阶段是指在没有接收用户搜索请求时系统自动进行的操作,主要对用户在社交网络中的各种行为特征、发布信息的文本特征或活动的时空信息及社会互动关系特征等个性化信息进行分析和建模,挖掘出长期的兴趣偏好,为在线意图分析和抽取提供历史数据。利用TF-IDF等算法进行主题分类抽取,并对热点进行分类及矢量描述分析,然后提取主题用户特征和主题热点特征。当用户提出搜索请求时,首先对用户情景进行抽取,并对查询意图的信息和情感进行初步分析,综合进行意图分析和提取操作,最后将主题节点的用户及热点特征与在线分析出的搜索意图、改进的关键字综合进行匹配与搜索。

3.2 在线社交网络精准搜索的应用

随着社交网络的日益普及,在线社交网络成为了现实社会中人和事进行评论和发表观点的一个集中平台,是社会生活的真实写照。Facebook开发了备受欢迎的社交图谱搜索技术,Twitter提供了基于社交网络的搜索,新浪微博也提供了自己的在线搜索系统,这些搜索系统的出现给用户带来了很多便利。现在已有大量学者对在线社交网络的搜索技术进行研究。贾焰等[56]从社交网络中的知识挖掘与推演、用户初始查询意图的理解与表示、符合用户意图的智能结果在线响应等3个问题为目标,讨论了社交网络智慧搜索相关技术的发展;郑炜等[61]提出了基于用户搜索意图的智能搜索引擎系统框架,该框架从社交网络内容的存储、索引以及排名方面着手,对查询算法进行重构,与传统的基于关键字的搜索算法相比返回结果的相关度更高;Bennett等[62]提出探索式搜索概念,帮助搜索用户进行信息获取;Teevan等[63]从人口统计学、兴趣和职业等特征分析入手,辨别不同的用户群体,提供基于相似请求用户的查询结果。

在社交网络事件监测研究方面,Prerna等[64]从技术层面对Twitter的舆情及其演化趋势进行了研究;Jasmina等[65]提出了基于Twitter的事件搜索与监测方法,并将其应用于保加利亚选举事件中。随着事件监测研究的不断进展,基于多模态的社交网络事件监测方法成为研究热点。Manos等[66]提出了一种基于时间窗的多模态方法,对海量图片进行事件监测;Gao等[67]利用超图分割的思想引入文本内容、视觉内容、位置信息、时间信息等实现社交网络跨媒体的事件监测,但是该方法无法预测热点事件;Unankard[68]提出了基于位置感知的社交网络事件监测方法,把Twitter事件和位置信息进行统一表示,将用户位置和事件位置的相关性的强度进行标识,监测和预测热点事件。此外,随着各大社交网络的盛行使针对社交网络的研究越来越广泛而全面[69-71],人们在社交网络中应用更加便捷,并且可以从海量的信息中受益。

4 总结与展望

本文对基于知识图谱的在线社交网络多模态信息感知方法、搜索中面向用户意图匹配的跨媒体大数据深度语义学习与分析、在线社交网络精准搜索与挖掘进行了研究与分析,可以看出在基于用户搜索意图理解的在线社交网络跨媒体精准搜索与挖掘研究领域已有的理论、技术及应用仍然存在一些问题,总结为以下几方面:

1)目前已有的跨媒体信息感知方法只关注于一定区域和范围内的代表性数据获取,从社交网络中感知得到的稀疏且零散的数据不足以支撑用户意图理解搜索的信息需求。单纯的社交网络数据难以实现语义分析,因此需要必要的数据关联特征来实现数据的语义理解。已有的信息感知方法没有考虑与数据相关联的背景特征信息以及用户属性信息的获取,不能及时、快速从感知数据中提取出隐含信息,不能为高层的处理与应用提供必要的信息支持。

2)目前已有的语义学习与分析方法中通常只针对单一模态数据或特定的应用场景,难以从多模态的跨媒体大数据中完整地识别出社交网络用户的意图倾向,以及网络意图模式与现实社会热点话题与事件的语义关联关系,无法实时地获取体现社交网络用户的行为特征,从而进行用户意图分析和异常用户意图检测。基于单一模态单一属性的语义识别模型难以快速而精准地分析社交网络热点话题和事件相关内容的语义及其影响范围和深度。

3)目前已有的社交网络搜索技术对特定对象精准搜索的研究无法实现跨空间搜索。搜索匹配方法不能从超大规模、超高维度、不完备、有噪声、语义模糊的在线社交网络跨媒体大数据中挖掘出与特定对象时空特性、社会属性相关的知识模式。由于用户搜索的意图往往很抽象,目前的搜索方法无法满足抽象的搜索意图理解与匹配,因此需要研究基于搜索意图识别的高质量、高效率的跨媒体大数据搜索算法。

围绕社会网络面向用户意图的搜索与挖掘目前的研究现状,未来研究中可能面临的挑战包括:

1)面对在线社交网络数据的歧义性、模糊性、时变性等问题,如何基于知识图谱获取在线社交网络跨媒体大数据,并提取其相关背景信息以及如何利用感知数据与背景信息之间的关联、不同媒体数据之间的关联,构建虚拟空间的知识图谱,挖掘数据中隐藏的用户搜索意图,以实现社交网络数据信息的全面、完整地表达与理解,仍然是亟待解决的科学问题。

2)虽然面向用户搜索意图的理解已经有许多跨媒体语义映射学习的方法,但是这些方法没有考虑图像和文本的时空性对语义的影响,因此需要根据图像与文本在不同时间和不同地点出现时体现不同的语义,进一步对用户搜索意图的理解进行深入研究。如何基于深度学习来突破跨媒体大数据知识空间浅层特征与深度语义之间存在的语义障碍是有待研究的问题。

3)目前已有的社交网络搜索与挖掘算法是分离的,而搜索系统和挖掘系统都会对最终的搜索精度造成影响。因此建立搜索与挖掘一体化的模型能够有效提高搜索性能。需要建立支持时空特性和社交特性的跨媒体、跨空间的挖掘体系,根据时空特性、社交特性、用户行为特征、现实空间的实时数据,并结合领域本体知识库推理演算和语义查询扩展,构建支持时间、空间特性的在线社交网络对象的精准搜索模型。

参考文献
[1] XIE H, LI X, WANG T, et al. Personalized search for social media via dominating verbal context[J]. Neurocomputing, 2016, 172(C): 27-37. (0)
[2] LI J, LIU C, YU J X, et al. Personalized influential topic search via social network summarization[J]. IEEE transactions on knowledge and data engineering, 2016, 28(7): 1820-1834. (0)
[3] KOU F, DU J, HE Y, et al. A survey on social network search based on semantic analysis and learning[J]. CAAI transactions on intelligence technology, 2016, 11(1): 293-302. (0)
[4] 石磊, 杜军平, 周亦鹏, 等. 在线社交网络挖掘与搜索技术研究[J]. 智能系统学报, 2016, 11(6): 777-787.
SHI Lei, DU Junping, ZHOU Yipeng, et al. A survey on online social network mining and search[J]. CAAI transactions on intelligence technology, 2016, 11(6): 777-787. (0)
[5] DEUFEMIA V, GRANATELLO M, MEROLA A, et al. Comparing classifiers for web user intent understanding[J]. Empowering organizations, 2016, 11(2): 147-159. (0)
[6] CHRISTOPH K, MARTHA L, ALAN H. User intent in multimedia search: a survey of the state of the art and future challenges[J]. ACM computing surveys, 2016, 49(2): 1-37. (0)
[7] KATO M. Web search query privacy, an end-user perspective[J]. Journal of information security, 2017, 8(1): 56-74. (0)
[8] RISHIRAJ S R, RAHUL K, NILOY G, et al. Discovering and understanding word level user intent in web search queries[J]. World wide web, 2015, 30: 22-38. (0)
[9] JIN Y K, MARK C, JAIME T, et al. Understanding how people interact with web search results that change in real-time using implicit feedback[C]//The 22nd ACM International Conference on Information and Knowledge Management. San Francisco, USA, 2014: 2321–2326. (0)
[10] CHRISTOPH K, SUBHABRATA B, MARTHA L, et al. Uploader intent for online video: typology, inference and applications[J]. IEEE transactions on multimedia, 2015, 17(8): 1200-1212. (0)
[11] ZHENG Y, CAPRA L, WOLFSON O, et al. Urban computing: concepts, methodologies and applications[J]. ACM transactions on intelligent systems and technology, 2014, 5(3): 38. (0)
[12] ZHENG Y, LIU T, WANG Y, et al. Diagnosing new york city's noises with ubiquitous data[C]//Proceedings of the 2014 ACM International Joint Conference on Pervasive and Ubiquitous Computing. Seattle, Washington, 2014: 715–725. (0)
[13] ZHENG Y. Trajectory data mining: an overview[J]. ACM transactions on intelligent systems and technology, 2015, 6(3): 29. (0)
[14] SONG S, LI Q, ZHENG N. A spatio-temporal framework for related topic search in micro-blogging[C]//International Conference on Active Media Technology. Springer Berlin Heidelberg, 2010: 63–73. (0)
[15] SONG S, LI Q, BAO H. Detecting dynamic association among twitter topics[C]//International Conference on World Wide Web. Lyon, France, 2012: 605–606. (0)
[16] LIU A A, SU Y T, NIE W Z, et al. Hierarchical clustering multi-task learning for joint human action grouping and recognition[J]. IEEE trans pattern anal mach intell, 2017, 39(1): 102-114. (0)
[17] CUI P, WANG F, YANG S, et al. Item-Level Social Influence Prediction with Probabilistic Hybrid Factor Matrix Factorization[C]//AAAI Conference on Artificial Intelligence 2011. San Francisco, USA, 2011: 34–45. (0)
[18] CRANSHAW J, TOCH E, HONG J, et al. Bridging the gap between physical location and online social networks[C]//ACM International Conference on Ubiquitous Computing. Copenhagen, Denmark, 2010: 119–128. (0)
[19] 余丽, 陆锋, 张恒才. 网络文本蕴涵地理信息抽取: 研究进展与展望[J]. 地球信息科学学报, 2015, 17(2): 127-134.
YU Li, LU Feng, ZHANG Hengcai. Extracting geographic information from web texts: status and development[J]. Journal of geo-information science, 2015, 17(2): 127-134. (0)
[20] 王宇. 基于网络文本的地名空间模糊建模[D]. 南京: 南京师范大学, 2012.
WANG Yu. A dissertation submitted in partial fulfillment of the requirements for the degree of master of science[D]. Nanjing: Nanjing Normal University, 2012. (0)
[21] JIN T, LI L, LI P, et a1. Hidden conditional random fields for category and scene classification[J]. Journal of computational information systems, 2012, 8(2): 877-885. (0)
[22] CHIEN B C, SHI H T, FU C H, et al. Automatic geotagging for personal photos with sharing images on social media networks[C]//Multidisciplinary Social Networks Research. Berlin: Springer Berlin Heidelberg, 2015: 495–508. (0)
[23] SENGSTOCK C, GERTZ M. Latent geographic feature extraction from social media[C]//Proceedings of the 20th ACM International Conference on Advances in Geographic Information Systems. New York, USA, 2012: 149–158. (0)
[24] HONG L, DAVISON B D. Empirical study of topic modeling in Twitter[C]//Proceedings of the ACM First Workshop on Social Media Analytics. Washington D C, USA, 2010: 80–88. (0)
[25] SONG S, LI Q, ZHENG X. Detecting popular topics in micro-blogging based on a user interest-based model[J]. The complex system of management and control of state key laboratory, 2012(IJCNN): 1-8. (0)
[26] ZHENG N, SONG S, BAO H. A temporal-topic model for friend recommendations in Chinese microblogging systems[J]. IEEE transactions on systems, man, and cybernetics: systems, 2015, 45(9): 1245-1253. (0)
[27] BAO H, LI Q, LIAO S S, et al. A new temporal and social pmf-based method to predict users’ interests in micro-blogging[J]. Decision support systems, 2013, 55(3): 698-709. (0)
[28] GAO H, LI Q, BAO H, et al. How shall we catch people's concerns in micro-blogging[C]//Proceedings of the 21st ACM International Conference on World Wide Web. Lyon, France, 2012: 505–506. (0)
[29] WANG Y, WANG X, DU J, et al. Object detection based on exemplar object expression[M]. Advanced Multimedia and Ubiquitous Engineering. Springer Berlin Heidelberg, 2015. (0)
[30] WANG X, DU J, WU S. High-level semantic image annotation based on hot internet topics[J]. Multimedia tools and applications, 2015, 74(6): 2055-2084. (0)
[31] WU L, GE Y, LIU Q, et al. Modeling the evolution of users’ preferences and social links in social networking services[J]. IEEE transactions on knowledge and data engineering, 2017(99): 1-1. (0)
[32] LIANG M, DU J, LIU H. Self-adaptive spatial image denoising model based on scale correlation and sure-let in the nonsubsampled contourlet transform domain[J]. Science China-information sciences, 2014, 57(9): 1-15. (0)
[33] WANG X, DU J, WU S, et al. Cluster ensemble-based image segmentation[J]. International journal of advanced robotic systems, 2013, 10(4): 1-11. (0)
[34] 欧阳逸, 郭斌, 何萌, 等. 微博事件感知与脉络呈现系统[J]. 浙江大学学报: 工学版, 2016, 50(6): 1176-1182.
OUYANG Yi, GUO Bin, HE Meng, et al. Event sensing and vein presentation leveraging microblog[J]. Journal of Zhejiang university: engineering science, 2016, 50(6): 1176-1182. (0)
[35] 刘峤, 李杨, 段宏, 等. 知识图谱构建技术综述[J]. 计算机研究与发展, 2016, 53(3): 582-600.
LIU Jiao, LI Yang, DUAN Hong, et al. Knowledge graph construction technique[J]. Journal of computer research and development, 2016, 53(3): 582-600. (0)
[36] BALAID A, ABD R M Z, HIKMI S N, et al. Knowledge maps[J]. International journal of information management, 2016, 36(3): 451-475. (0)
[37] MIKOLOV T, CHEN K, CORRADO G, et al. Efficient estimation of word representations in vector space[J]. Computer science, 2013, 2(12): 27-35. (0)
[38] WU W, LI H, WANG H, et al. Probase: a probabilistic taxonomy for text understanding[C]//ACM SIGMOD International Conference on Management of Data. Scottsdale, USA, 2012: 481–492. (0)
[39] HUA W, WANG Z, WANG H, et al. Short text understanding through lexical-semantic analysis[C]//International Conference on Data Engineering. Seoul, South Korea, 2015: 495–506. (0)
[40] DAVID M, BLEI M I, JORDAN. Modeling annotated data[C]//Proceedings of 2003 ACM International Conference on Research on Development in Information Retrieval. Toronto: ACM Press, 2003: 1–8. (0)
[41] BIAN J, YANG Y, CHUA T S. Multimedia summarization for trending topics in microblogs[C]//Proceedings of ACM International Conference on Information and Knowledge Management. San Francisco: ACM Press, 2013: 1807–1812. (0)
[42] 王智愚. 社会化多媒体内容分析与摘要[D]. 北京: 清华大学, 2013: 1–119.
WANG Zhiyu. Social multimedia analysis and summarization[D]. Beijing: Tsinghua University, 2013: 1–119. (0)
[43] WANG Y, WU F, SONG J, et al. Multi-modal mutual topic reinforce modeling or cross-media retrieval[C]//Proceedings of 2014 ACM International Conference on Multimedia. Orlando: ACM Press, 2014: 307–316. (0)
[44] KANG C, XIANG S, LIAO S, et al. Learning consistent feature representation for cross-modal multimedia retrieval[J]. IEEE transactions on multimedia, 2015, 17(3): 370-381. (0)
[45] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[C]// Proceedings of Advances in Neural Information Processing Systems. Cambridge: MIT Press, 2012: 1097–1105. (0)
[46] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. Arxiv preprint, arxiv, 2014: 1409-1556. (0)
[47] ANDREJ K, ARMAND J, LI F. Deep fragment embeddings for bidirectional image sentence mapping[J]. Arxiv Preprint, Arxiv, 2014, 14(3): 1406-5679. (0)
[48] AMIRHOSSEIN H, THOMAS M, CEES G, et al. Discovering semantic vocabularies for cross-media retrieval [C]//Proceedings of ACM SIGMM International Conference on Multimedia Retrieval. Shanghai: ACM Press, 2015: 131–138. (0)
[49] JIANG XY, WU F, LI X, et al. Deep compositional cross-modal learning to rank via local-global alignment[C]//Proceedings of 2015 ACM International Conference on Multimedia. Brisbane, 2015: 69–78. (0)
[50] MA L, LU ZD, SHANG LD, et al. Multimodal convolutional neural networks for matching image and sentence[C]//Proceedings of 2015 International Conference on Computer Vision. Boston, USA, 2015: 2623–2631. (0)
[51] ZHAO F, HUANG Y, WANG L, et al. Deep semantic ranking based hashing for multi-label image retrieval[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA, 2015: 1556–1564. (0)
[52] WANG J, SONG Y, LEUNG T, et al. Learning fine-grained image similarity with deep ranking[C]//IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2014: 1386–1393. (0)
[53] REN S, GIRSHICK R, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(6): 1137-1149. (0)
[54] QIAN SS, ZHANG TZ, HONG R, et al. Cross-domain collaborative learning in social multimedia[C]//Proceedings of 2015 ACM International Conference on Multimedia. Brisbane: ACM Press, 2015: 99–108. (0)
[55] 柯圣财, 赵永威, 李弼程, 等. 基于卷积神经网络和监督核哈希的图像检索方法[J]. 电子学报, 2017, 45(1): 157-163.
KE Shengcai, ZHAO Yongwei, LI Bicheng, et al. Image retrieval based on convolutional neural network and kernel-based supervised hashing[J]. Acta electronica sinica, 2017, 45(1): 157-163. (0)
[56] 贾焰, 甘亮, 李爱平, 等. 社交网络智慧搜索研究进展与发展趋势[J]. 通信学报, 2015, 36(12): 9-16.
JIA Yan, GAN Liang, LI Aiping, et al. Research progress and development trend of onfine social network smart search[J]. Journal on communications, 2015, 36(12): 9-16. (0)
[57] PARK K, JEE H, LEE T, et al. Automatic extraction of user’s search intention from web search logs[J]. Multimedia tools and applications, 2012, 61(1): 1-18. (0)
[58] GUPTA V, GARG N, GUPTA T. Search bot: search intention based filtering using decision tree based technique[C]//Third IEEE International Conference on Intelligent Systems, Modelling and Simulation. Kota Kinabalu, Malaysia, 2012: 49–54. (0)
[59] 王大玲, 于戈, 鲍玉斌, 等. 基于用户搜索意图的Web网页动态泛化[J]. 软件学报, 2010, 21(5): 1083-1097.
WANG Daling, YU Ge, BAO Yubin, et al. Dynamically generalizing Web pages based on users’ search intentions[J]. Journal of software, 2010, 21(5): 1083-1097. (0)
[60] FAN W, LI J, MA S, et al. Graph homomorphism revisited for graph matching[C]//Proceedings of the VLDB Endowment, 2010, 3(1/2): 1161–1172. (0)
[61] 郑炜, 梁战平, 梁建. 面向用户意图的智能搜索引擎框架研究[J]. 现代图书情报技术, 2014, 30(3): 65-72.
ZHENG Wei, LIANG Zhanping, LIANG Jian. Research on user oriented intelligent search engine framework[J]. Library and information science, 2014, 30(3): 65-72. (0)
[62] BENNETT P N, WHITE R W, CHU W, et al. Modeling the impact of short- and long-term behavior on search personalization[C]//Proceedings of the 35th International ACM SIGIR Conference on Research and Development in Information Retrieva. Portland, USA, 2012: 185–194. (0)
[63] CHILTON L B, TEEVAN J. Addressing people’s information needs directly in a web search result page[C]//ACM International Conference on World Wide Web. Hyderabad, India, 2011: 27–36. (0)
[64] CHIKERSAL P, PORIA S, CAMBRIA E, et al. Modelling public sentiment in twitter: using linguistic patterns to enhance supervised learning[C]//International Conference on Intelligent Text Processing and Computational Linguistics. Cairo, Egypt, 2015: 49–65. (0)
[65] SMAILOVIC J, KRANJC J, GRCAR M, et al. Monitoring the Twitter sentiment during the Bulgarian elections[C]//IEEE International Conference on Data Science and Advanced Analytics. Paris, France, 2015:1–10. (0)
[66] MANOS S, SYMEON P, GEORGIOS P, et al. Multimodal event detection and summarization in large scale image collections[C]//Proceedings of the 2016 ACM on International Conference on Multimedia Retrieval. New York, USA, 2016: 421–422. (0)
[67] GAO Y, ZHAO S, YANG Y, et al. Multimedia social event detection in microblog[M]//Multimedia Modeling. Springer International Publishing, 2015: 269–281. (0)
[68] UNANKARD S, LI X, SHARAF M. Emerging event detection in social networks with location sensitivity[J]. World wide web-internet and web information systems, 2014, 18(5): 1-25. (0)
[69] YANG Y, DU J, HE B. A novel ontology-based semantic retrieval model for food safety domain[J]. Chinese journal of electronics, 2013, 22(2): 247-252. (0)