您所在的位置:图书> 图书详情
分享到:

多模态数据融合与检索技术

  • 作 者:杨曦 宋彬
  • 策划编辑:李惠萍
  • 书代号:635900
  • I S B N:978-7-5606-6057-8
  • 出版日期:2021-06
  • 印刷日期:2021-06
  • 业务分类:本科;
  • 图书库存:加载中...
  • 纸书价格:- 元 原价:25.00
  • 在线阅读:-
  • 电子书:-
  • 购买类型:纸质书
  • 购书款满88元包邮(包邮地区仅限内地,新疆、西藏除外)

    内容简介
    前言
    目录
    编辑推荐
    相关资源
        

    本书共四章,分别为引言、多模态学习、 多模态数据融合和多模态数据检索。本书以异构异源多模态数据为研究对象,概述了其产生途径、学习模型和应用场景。 在此基础上,重点分析了多模态数据融合技术和多模态数据检索技术,包括其基本概念、发展历史、传统方法、前沿方法和发展方向等内容。

    本书涉及的学科方向包括信号处理、模式识别、机器学习、计算机视觉等,可作为高等学校通信、电子、人工智能等相关专业的本科生、研究生的教材,也可作为从事多模态数据应用领域工作的读者的技术参考书。

    随着5G无线网络和物联网的高速发展,人们获取的数据信息在数量爆炸式增长的同时,其模态也呈现出多样性: 一方面,数据的表示结构不同,包括文字、语音、图像、视频等,即呈现出“异构”性; 另一方面,数据的传感器来源不同,包括可见光数据、红外数据、微波数据等,即呈现出“异源”性。 如何统筹利用这些异构异源数据,完成信息互补和表征增强,实现对事物的多角度多层次认知,是当下的热点研究问题和实际技术难题。

    在对多模态数据进行学习的过程中,多模态数据融合与检索技术至关重要。 多模态数据融合是指通过不同特征集的互补融合,联合学习各模态数据的潜在共享信息,进而提升数据任务的有效性。 多模态数据检索是指以一种模态的数据作为请求,检索出最相关的另外一种模态形式的数据,以建立多模态数据的关联性。 该项技术可应用于精准搜索引擎(语音、文字、图像互相搜索)、无人驾驶系统(激光雷达、可见光摄像头、GPS数据信息协同)、情感分析推荐(文本评论、人脸图像视频综合评判)、遥感目标感知(可见光图像、红外图像、合成孔径雷达数据信息互补)等众多领域。

    作为一项前沿技术,多模态数据融合与检索技术的理论成果多以国际期刊或会议论文形式发表,缺少系统介绍其相关理论知识的入门书籍。 针对该现状,本书结合经典理论知识和前沿技术研究,对多模态数据融合与检索技术进行了系统的理论讲解和研究分析。 在具体内容方面,第一章介绍了多模态数据的定义和应用场景; 第二章介绍了多模态数据学习技术的相关理论、研究进展和实际应用; 第三章和第四章分别针对多模态数据融合技术和多模态数据检索技术,首先介绍其研究背景、国内外现状、常用数据集、性能评判准则,然后归纳总结传统方法的理论要点和研究过程,随后详细解读前沿方法的模型框架和技术创新,最后分析未来发展方向,为相关研究者提供探索思路。 本书由杨曦和宋彬编著,杨曦编写了第一、二、四章,宋彬编写了第三章。 参与本书工作的还有西安电子科技大学综合业务网理论及关键技术国家重点实验室的博士生魏梓钰,硕士生赵静怡、许龙涛、王肖祁等, 他们负责本书内容的搜集整理、图表编辑和文字校对等大量工作。 在此,向所有为本书出版提供帮助的人士表示诚挚的谢意!由于编者专业水平有限,书中难免存在疏漏和不足之处,敬请广大读者批评指正。

    编 者

    2021年元月

    第一章 引言 1

    1.1 研究背景与意义 1

    1.2 研究内容 3

    1.2.1 多模态数据融合技术 3

    1.2.2 多模态数据检索技术 8

    本章小结 9

    本章参考文献 9

    第二章 多模态学习 11

    2.1 多模态数据概述 11

    2.1.1 异构多模态数据 11

    2.1.2 异源多模态数据 12

    2.2 多模态学习 14

    2.2.1 多模态学习分类概述 14

    2.2.2 多模态学习研究进展 19

    2.2.3 多模态学习实际应用 20

    2.2.4 多模态学习研究展望 23

    2.3 多模态数据融合与检索技术 25

    2.3.1 多模态数据融合 25

    2.3.2 多模态数据检索 28

    本章小结 30

    本章参考文献 31

    第三章 多模态数据融合 33

    3.1 多模态数据融合介绍 33

    3.1.1 多模态数据融合背景及意义 33

    3.1.2 国内外现状 34

    3.1.3 数据集介绍 34

    3.1.4 性能评判准则 39

    3.2 多模态数据融合传统方法 40

    3.2.1 基于规则的融合方法 40

    3.2.2 基于分类的融合方法 46

    3.2.3 基于估计的融合方法 59

    3.3 多模态数据融合前沿方法 62

    3.3.1 基于池化的融合方法 62

    3.3.2 基于深度学习的融合方法 66

    3.3.3 基于图神经网络的融合方法 82

    3.4 多模态数据融合发展方向 85

    本章小结 86

    本章参考文献 86

    第四章 多模态数据检索 94

    4.1 多模态数据检索介绍 94

    4.1.1 多模态数据检索背景及意义 94

    4.1.2 国内外现状 96

    4.1.3 数据集介绍 97

    4.1.4 性能评价准则 102

    4.2 多模态检索传统方法 103

    4.2.1 基于典型相关分析的检索方法 104

    4.2.2 基于偏最小二乘的检索方法 110

    4.2.3 基于双线性模型的检索方法 113

    4.2.4 基于传统哈希的检索方法 114

    4.2.5 其他检索方法 119

    4.3 多模态检索前沿方法 123

    4.3.1 基于深度学习的检索方法 123

    4.3.2 基于哈希的快速检索方法 140

    4.3.3 基于主题模型的检索方法 147

    4.4 多模态数据检索发展方向 155

    本章小结 156

    本章参考文献 157

    版权所有(C) 西安电子科技大学万博手机版max网页版 Copyrights @ 2015 陕ICP备15015893号