多模态论文
基础知识
1.1 模态
模态是指一些表达或感知事物的方式，每一种信息的来源或者形式，都可以称为一种模态。例如，人有触觉，听觉，视觉，嗅觉；信息的媒介，有语音、视频、文字等；多种多样的传感器，如雷达、红外、加速度计等。以上的每一种都可以称为一种模态。
1.2 多模态
多模态即是从多个模态表达或感知事物。多模态可归类为同质性的模态，例如从两台相机中分别拍摄的图片，异质性的模态，例如图片与文本语言的关系。
多模态可能有以下三种形式： 1）描述同一对象的多媒体数据。如互联网环境下描述某一特定对象的视频、图片、语音、文本等信息。2）来自不同传感器的同一类媒体数据。如医学影像学中不同的检查设备所产生的图像数据， 包括B超(B-Scan ultrasonography)、计算机断层扫描(CT)、核磁共振等；物联网背景下不同传感器所检测到的同一对象数据等。3）具有不同的数据结构特点、表示形式的表意符号与信息。如描述同一对象的结构化、非结构化的数据单元；描述同一数学概念的公式、逻辑 符号、函数图及解释性文本；描述同一语义的词向量、词袋、知识图谱以及其它语义符号单元等。
1.3 多模态学习
多模态机器学习是从多种模态的数据中学习并且提升自身的算法，它不是某一个具体的算法，它是一类算法的总称。
从语义感知的角度切入，多模态数据涉及不同的感知通道如视觉、听觉、触觉、嗅觉所接收到的信息;在数据层面理解，多模态数据则可被看作多种数据类型的组合，如图片、数值、文本、符号、音频、时间序列，或者集合、树、图等不同数据结构所组成的复合数据形式，乃至来自不同数据库、不同知识库的各种信息资源的组合。对多源异构数据的挖掘分析可被理解为多模态学习。
4.1 表征Representation
第一个基本挑战是学习如何以利用多种模态的互补性和冗余性的方式表示和总结多模态数据。多模态数据的异质性使得构建这样的表示具有挑战性。例如，语言通常是象征性的，而音频和视觉形式将被表示为信号。
单模态的表征负责将信息表示为计算机可以处理的数值向量或者进一步抽象为更高层的特征向量，而多模态表征是指通过利用多模态之间的互补性，剔除模态间的冗余性，从而学习到更好的特征表示。
联合表征（Joint Representation）将多个模态的信息一起映射到一个统一的多模态向量空间，Joint结构注重捕捉多模态的互补性，融合多个输入模态$x_1,x_2$获得多模态表征$x_m=f(x_1,...,x_n)$，进而使$x_m$完成某种预测任务。
1 ）Multimodal Transformer for Unaligned Multimodal Language Sequences
人类情绪表达通常是多模态的，它包括自然语言、面部手势和声学行为的混合。然而，在建模这样的多模态人类语言时间序列数据中存在两个主要挑战：
- 由于来自每个模态的序列的可变采样率而导致的固有数据非对齐;
- 跨模态的元素之间的长程依赖性。
在多模态信息处理任务中，多个模态信息之间是相互补充的，同时多个模态的信息之间也存在冗余，甚至在有些情况下会出现一些冲突，因此如何对于多个模态信息的进行有效的融合（Fusion）是多模态信息处理中核心问题之一。
参考网址：【论文分享】多模态情感识别中非对齐的多模态时序特征融合 - 知乎https://zhuanlan.zhihu.com/p/84678022
3）
模板引导补全
在模态缺失情况下，无约束的特征生成可能会产生偏离真实情感结构的偏差表示。TLRA 引入了模板引导的补全机制，为缺失模态提供稳定的语义参考，并将补全限制在由完整模态定义的情感空间内。