当前位置：首页 > news >正文

图像文本信号：数据驱动建模的完整实践指南

news 2026/3/26 20:04:21

在现代数据科学中，数据的形式日益多样化，图像、文本和信号成为最常见的三类复杂数据类型。如何理解数据的内在结构，提取有效特征，并构建可解释的数学模型，是每位数据科学工作者必须面对的挑战。

关键词：图像数据、文本数据、信号数据、多模态建模、特征提取、分类预测、数据融合

引言 — 数据建模的多模态世界

随着人工智能与数据科学的快速发展，数据的种类和形式越来越丰富，图像、文本和信号数据成为实际应用中最为常见且最具挑战性的三类信息载体。图像数据承载丰富的空间信息，文本数据包含复杂的语义结构，而信号数据则记录连续变化的动态过程。如何理解这些数据的特征结构，提取有效信息，并通过数学建模方法建立准确且可解释的模型，是现代数据分析的重要任务。本文将从数学建模视角，系统介绍图像、文本和信号数据的预处理、特征提取、建模方法及实际案例应用，并进一步探讨多模态数据融合的策略，为科研和工业应用提供完整的实践参考路径，帮助读者掌握多模态数据建模的核心技能。

一、图像数据建模基础

在现代数据科学和计算机视觉中，图像数据是最常见的多维信息载体之一。每一张图像都由像素矩阵构成，这些像素不仅承载颜色和亮度信息，还隐含丰富的空间和纹理结构。理解图像数据的内在特征，是进行图像分类、识别、检测或分割等任务的基础。

1.1 图像数据结构与特点

图像可以用二维或三维矩阵表示。灰度图像通常表示为 \(I \in \mathbb{R}^{H \times W}\)，彩色图像则表示为 \(I \in \mathbb{R}^{H \times W \times 3}\)，其中 (H) 和 (W) 分别为图像的高度和宽度，三个通道对应红、绿、蓝（RGB）颜色信息。

图像数据的核心特点包括：

高维稀疏：一张高清图像可能包含百万级像素，每个像素是一个维度，直接处理高维数据计算复杂且易受噪声影响。
空间相关性：邻近像素通常具有相似性，例如物体边缘、纹理结构等，意味着简单的逐像素处理可能忽略潜在的空间模式。
结构复杂性：图像不仅包含颜色信息，还具有纹理、形状和边缘等多层次特征，这些特征对视觉识别至关重要。

在数学建模中，我们通常先理解这些特点，再设计合适的特征提取方法和降维策略，以降低计算复杂度并保留关键信息。

1.2 图像预处理方法

在建模前，图像预处理是关键步骤，目的是消除冗余信息和噪声，同时突出有用特征。常用方法包括：

灰度化：将彩色图像转为单通道灰度图，公式为：

\[I_\text{gray} = 0.299 R + 0.587 G + 0.114 B \]
灰度化可降低计算量，同时保留亮度信息。
二值化：通过设定阈值 \(T\) 将像素值转为 0 或 1，以突出目标区域：

\[I_\text{binary}(x, y) = \begin{cases} 1 & I_\text{gray}(x, y) \ge T \ 0 & I_\text{gray}(x, y) < T \end{cases} \]
二值化在边缘检测和目标分割中应用广泛。
滤波：使用高斯滤波或均值滤波平滑图像，降低噪声干扰，同时保留整体结构。
边缘检测：通过 Sobel 或 Canny 算法提取图像轮廓，帮助模型识别物体边界和形状特征。

1.3 特征提取与降维

直接使用像素矩阵建模在高维数据下效率低且容易过拟合，因此提取有效特征和降维是核心步骤。常用方法包括：

PCA（主成分分析）：将高维像素矩阵映射到低维空间，同时尽可能保留图像的主要信息。PCA 可以减少冗余，提高模型训练效率.
SIFT（尺度不变特征变换）/HOG（方向梯度直方图）：用于提取局部关键点和梯度方向特征，对图像旋转、缩放具有一定鲁棒性。
直方图特征：通过计算灰度或颜色分布直方图，将图像转换为统计特征向量，可用于图像检索或简单分类。

特征提取的核心目标是将原始图像矩阵转化为模型易于处理的数值表示，同时保留图像的结构信息。

1.4 案例演示

下面以 Python 案例演示图像灰度化和二值化处理流程：

from skimage import io, color
from skimage.filters import threshold_otsu
import matplotlib.pyplot as plt# 读取图像
image = io.imread('sample.jpg')# 灰度化
gray = color.rgb2gray(image)# Otsu 阈值二值化
thresh = threshold_otsu(gray)
binary = gray > thresh# 可视化结果
plt.figure(figsize=(8,4))
plt.subplot(1,2,1)
plt.imshow(gray, cmap='gray')
plt.title('Gray Image')
plt.axis('off')plt.subplot(1,2,2)
plt.imshow(binary, cmap='gray')
plt.title('Binary Image')
plt.axis('off')
plt.show()

该示例展示了从彩色图像到灰度图再到二值图的基本流程。灰度化降低了计算复杂度，而二值化突出图像的主要结构，为后续特征提取和分类建模提供基础。

在实际建模中，预处理步骤和特征提取方法的选择会直接影响模型的性能。通过对图像数据进行科学处理，不仅可以提高训练效率，还能增强模型对图像复杂结构的识别能力。下一步可在此基础上进行图像分类、目标检测或多模态数据融合建模。

二、图像分类与预测建模

2.1 图像分类建模流程

特征提取：使用 PCA、HOG 或 CNN 提取图像特征
模型选择：
- 传统机器学习：SVM、随机森林
- 深度学习：卷积神经网络（CNN）
模型训练与评估：
- 交叉验证
- 精确率、召回率、F1-score
预测与可视化

2.2 CNN 基础公式

卷积操作：

\[S(i,j) = (I * K)(i,j) = \sum_m \sum_n I(i+m,j+n) K(m,n) \]

池化操作：

\[S_\text{pool}(i,j) = \max_{(m,n) \in \text{patch}} S(i+m,j+n) \]

2.3 案例演示：手写数字识别（MNIST）

from tensorflow.keras.datasets import mnist
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train = x_train.reshape(-1,28,28,1)/255.0
x_test = x_test.reshape(-1,28,28,1)/255.0model = Sequential([Conv2D(32, (3,3), activation='relu', input_shape=(28,28,1)),MaxPooling2D((2,2)),Flatten(),Dense(128, activation='relu'),Dense(10, activation='softmax')
])
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
model.fit(x_train, y_train, epochs=5, validation_split=0.1)

二、图像分类与预测建模

图像分类是计算机视觉中最核心的任务之一，其目标是将图像映射到预定义的类别标签。有效的分类建模不仅依赖于数据质量，还依赖于合理的特征提取、模型选择和评估策略。在数学建模中，我们通常按照“特征提取 → 模型训练 → 模型评估 → 可视化预测”的流程进行。

2.1 图像分类建模流程

特征提取
对于图像数据，直接使用像素矩阵进行建模通常效果有限，且计算量大。常用特征提取方法包括：
- PCA：降低维度，同时保留主要信息；
- HOG：提取方向梯度直方图，强调边缘与轮廓特征；
- CNN：通过卷积层自动学习多层次特征，适应复杂结构。
模型选择
- 传统机器学习：支持向量机（SVM）、随机森林等，适合小规模或特征已处理好的图像；
- 深度学习：卷积神经网络（CNN）可自动学习特征，适合大规模数据集。
模型训练与评估
- 交叉验证：在训练集划分不同子集，提高模型泛化能力；
- 评价指标：精确率（Precision）、召回率（Recall）、F1-score，综合衡量分类效果。
预测与可视化
模型训练完成后，需要对测试集进行预测，并通过混淆矩阵、准确率曲线等可视化结果，直观了解分类性能。

2.2 CNN 基础公式

卷积神经网络的核心在于卷积层和池化层。卷积操作公式为：

\[S(i,j) = (I * K)(i,j) = \sum_m \sum_n I(i+m,j+n) K(m,n) \]

其中，\(I\) 是输入图像，\(K\) 是卷积核，\(S\) 是卷积结果。卷积操作能够提取局部空间特征，保留结构信息。

池化操作用于下采样，减少计算量和过拟合风险：

\[S_\text{pool}(i,j) = \max_{(m,n) \in \text{patch}} S(i+m,j+n) \]

最大池化通过选取局部最大值，保留主要特征，同时降低维度。

2.3 案例演示：手写数字识别（MNIST）

下面以 MNIST 手写数字数据集为例，演示 CNN 分类流程，同时在可视化中加入中文显示支持。

from tensorflow.keras.datasets import mnist
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense
import matplotlib.pyplot as plt
from matplotlib import rcParams
import matplotlib# 支持中文显示
rcParams['font.sans-serif'] = ['SimHei']  # 设置中文字体为黑体
rcParams['axes.unicode_minus'] = False    # 正确显示负号# 加载数据集
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train = x_train.reshape(-1,28,28,1)/255.0
x_test = x_test.reshape(-1,28,28,1)/255.0# 构建CNN模型
model = Sequential([Conv2D(32, (3,3), activation='relu', input_shape=(28,28,1)),MaxPooling2D((2,2)),Flatten(),Dense(128, activation='relu'),Dense(10, activation='softmax')
])model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
model.fit(x_train, y_train, epochs=5, validation_split=0.1)# 可视化部分预测结果
preds = model.predict(x_test[:10])
plt.figure(figsize=(10,3))
for i in range(10):plt.subplot(1,10,i+1)plt.imshow(x_test[i].reshape(28,28), cmap='gray')plt.title(f'预测:{preds[i].argmax()}')  # 中文标题显示plt.axis('off')
plt.suptitle('手写数字预测结果', fontsize=16)
plt.show()

在该案例中，我们通过 CNN 自动提取图像特征，并完成手写数字分类任务。训练完成后，通过可视化展示预测结果，能够直观了解模型的分类性能。中文标题的添加保证了在博客或教学场景中，读者能够直接看到结果解释。

2.4 实践要点

数据预处理对分类精度影响显著，包括归一化、去噪和数据增强；
特征提取方法选择依赖数据规模和复杂度，小规模数据可用 PCA/HOG，复杂数据推荐 CNN；
模型评估需结合多指标，不仅看准确率，还要关注召回率和 F1-score；
可视化是验证模型效果的重要环节，有助于发现分类错误模式和改进方案。

通过以上流程，我们可以将图像从原始像素矩阵转化为可用于模型训练的高效特征表示，并通过 CNN 或传统模型实现高精度分类。在后续章节中，将进一步探讨文本与信号数据的建模方法，以及多模态融合的实践策略。

三、文本数据建模基础

文本数据是另一类常见的多维数据类型，在自然语言处理（NLP）和数据科学中占据重要位置。与图像数据不同，文本数据具有高度的稀疏性和序列性，其特征抽取和建模方法也更依赖语言结构与语义信息。理解文本数据的特点、预处理方法和向量化手段，是进行文本分类、情感分析、信息检索等任务的基础。

3.1 文本数据特点

文本数据具有以下核心特征：

高维稀疏：文本语料通常包含数千甚至上万的词汇，而每条文本只使用其中的一部分，形成高维稀疏向量。
序列性：词语的顺序携带重要语义信息，例如“我喜欢这个产品”与“这个产品我不喜欢”表达完全不同。
噪声存在：文本数据中经常存在拼写错误、标点符号、停用词（如“的”“了”“是”）等噪声，可能影响建模效果。

在数学建模中，理解这些特点有助于选择合适的特征表示方法和模型，使得模型能够捕捉文本的语义信息并减少干扰。

3.2 文本预处理方法

文本数据在建模前必须进行预处理，主要包括：

分词：将文本拆分为独立词或子词，为向量化做准备。中文可使用 jieba 分词，英文常用空格或 nltk 工具。
去停用词：去除对语义贡献较小的词汇，提高模型训练效率。
词干化：将词语还原为词干形式，如 “running” → “run”，减少特征维度。

预处理完成后，需要将文本转化为数值特征向量。常用方法包括：

词袋模型（BoW）：统计词频，将文本表示为高维稀疏向量，忽略词序和语义。
TF-IDF（词频-逆文档频率）：对词频加权，降低高频但无信息量词的影响。
Word2Vec / Doc2Vec：基于深度学习的词嵌入方法，将词或文档映射到连续向量空间，保留语义关系。

通过合理的向量化方法，可以将非结构化文本转化为可用于数学建模的数值特征，为分类、聚类或预测任务奠定基础。

3.3 案例演示：情感分析

下面以简单的中文情感分析为例，展示 TF-IDF 向量化和朴素贝叶斯分类的流程，并在可视化或输出中添加中文显示支持。

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
import matplotlib.pyplot as plt
from matplotlib import rcParams# 支持中文显示
rcParams['font.sans-serif'] = ['SimHei']  # 设置中文字体为黑体
rcParams['axes.unicode_minus'] = False    # 正确显示负号# 文本数据和标签
texts = ["我喜欢这个产品", "这个服务太差了", "产品质量很好", "客服态度不好"]
labels = [1, 0, 1, 0]  # 1: 正向, 0: 负向# TF-IDF向量化
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(texts)# 训练朴素贝叶斯分类器
model = MultinomialNB()
model.fit(X, labels)# 预测示例
sample = ["产品非常好", "服务体验差"]
pred = model.predict(vectorizer.transform(sample))
for s, p in zip(sample, pred):print(f"文本：'{s}' -> 预测情感：{'正向' if p==1 else '负向'}")# 可视化预测结果
plt.figure(figsize=(6,4))
plt.bar(["产品非常好","服务体验差"], pred, color=['skyblue','salmon'])
plt.ylabel("情感预测值")
plt.title("情感分析预测结果示意")
plt.show()

在该示例中，首先对中文文本进行 TF-IDF 向量化，然后使用朴素贝叶斯进行训练和预测。可视化部分通过 Matplotlib 绘制条形图，同时通过 rcParams 设置中文字体为黑体，确保中文标签在图中正确显示。

3.4 实践要点

数据清洗关键：分词、去停用词和词干化直接影响模型效果；
向量化方法选择：小规模文本可用 BoW/TF-IDF，大规模或复杂语义任务推荐 Word2Vec 或 Transformer 嵌入；
模型评估指标：对分类任务应结合准确率、召回率、F1-score 等指标综合评估；
可视化反馈：预测结果可通过图表展示，便于直观理解模型效果与改进空间。

通过系统预处理和合理向量化，文本数据可以被转化为数学建模可用的数值特征，为情感分类、舆情分析和文本检索提供可靠基础。在下一章节中，我们将继续探讨 文本分类与情感分析建模 的更完整流程，包括模型选择、训练优化和多指标评估。

四、文本分类与情感分析建模

文本分类是自然语言处理中的核心任务之一，目标是将文本自动归类到预定义类别。情感分析是其中典型应用，用于识别文本的情绪倾向（正向或负向）。文本分类建模流程主要包括四个步骤：

特征提取：将文本转化为数值特征，如 TF-IDF 或词嵌入（Word2Vec/Transformer embeddings），以便模型处理。
模型训练：可选择传统机器学习模型（Naive Bayes、SVM）或深度学习模型（RNN、Transformer）进行训练，利用训练集学习特征与标签间的映射关系。
模型评估：通过准确率（Accuracy）、召回率（Recall）、F1-score 等指标衡量模型性能，必要时可绘制 ROC 曲线进行分类效果可视化。
可视化与分析：通过图表直观呈现模型预测结果，有助于发现误分类模式和改进方向。

案例演示：微博评论情感分类

from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
import matplotlib.pyplot as plt
from matplotlib import rcParams# 中文显示支持
rcParams['font.sans-serif'] = ['SimHei']  # 设置中文字体
rcParams['axes.unicode_minus'] = False    # 正确显示负号# 划分训练集与测试集
X_train, X_test, y_train, y_test = train_test_split(X, labels, test_size=0.2, random_state=42)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)# 输出分类报告
print(classification_report(y_test, y_pred))# 可视化预测结果
plt.bar(['样本1','样本2','样本3','样本4'], y_pred[:4], color='skyblue')
plt.title('微博评论情感预测结果')
plt.ylabel('情感分类（0=负向, 1=正向）')
plt.show()

在该案例中，我们通过划分训练集与测试集训练模型，并利用中文可视化显示预测结果，使读者能够直观理解模型的分类效果。中文字体支持确保图表在博客或教学环境中显示正确。

五、信号数据与时间序列建模

信号数据是反映物理、工程及生物系统动态变化的重要形式，常见于心电图、温度传感器、语音信号等。与图像或文本不同，信号数据具有连续性和时间序列特性，需要考虑其频域与时域特征。高质量的信号处理和建模能够实现异常检测、预测以及控制优化等应用。

5.1 信号数据特点

信号数据主要特征包括：

连续性与周期性：信号通常是连续变化的函数，且常包含周期性成分，例如心跳、呼吸或机械振动。
噪声干扰：传感器误差或环境干扰会引入噪声，需要通过滤波等方法去除。
高低频成分：信号通常包含不同频率成分，高频成分代表瞬时变化，低频成分反映趋势信息。

理解信号特点是选择合适预处理和建模方法的前提，例如在心电图分析中，高频噪声与基线漂移需要区分开来，以保证特征提取的准确性。

5.2 信号处理方法

常用信号处理方法包括：

滤波：
- 低通滤波：去除高频噪声，保留趋势信息；
- 高通滤波：去除低频漂移，突出快速变化特征；
- 带通滤波：只保留特定频率范围的信号。
傅里叶变换：将时域信号转化为频域表示，公式如下：

\[X(f) = \int_{-\infty}^{\infty} x(t) e^{-j2\pi ft} dt \]
频域分析可以揭示信号的周期性、频率分布和噪声成分，为后续建模提供依据。

5.3 时间序列建模

信号建模通常采用时间序列方法：

AR（自回归）模型：当前值依赖过去若干时刻值；
MA（移动平均）模型：当前值依赖过去误差项；
ARMA/ARIMA模型：结合AR与MA，ARIMA额外处理非平稳序列。

模型评估指标包括：

AIC / BIC：衡量模型拟合与复杂度的平衡；
RMSE：反映预测误差大小。

5.4 案例演示：心电图信号异常检测

下面示例展示低通滤波处理心电图信号的流程，并在可视化中添加中文显示支持。

import numpy as np
from scipy.signal import butter, filtfilt
import matplotlib.pyplot as plt
from matplotlib import rcParams# 中文显示支持
rcParams['font.sans-serif'] = ['SimHei']  # 设置中文字体为黑体
rcParams['axes.unicode_minus'] = False    # 正确显示负号# 生成模拟心电信号（含噪声）
fs = 500  # 采样率
t = np.linspace(0, 1, fs)
signal = np.sin(2*np.pi*5*t) + 0.5*np.random.randn(fs)# 低通滤波器函数
def butter_lowpass_filter(data, cutoff, fs, order=5):b, a = butter(order, cutoff/(0.5*fs), btype='low')return filtfilt(b, a, data)filtered_signal = butter_lowpass_filter(signal, cutoff=10, fs=fs)# 可视化原始与滤波信号
plt.figure(figsize=(10,4))
plt.plot(t, signal, label='原始信号')
plt.plot(t, filtered_signal, label='滤波后信号', linewidth=2)
plt.title('心电图信号滤波示意')
plt.xlabel('时间 (秒)')
plt.ylabel('信号幅值')
plt.legend()
plt.show()

在该示例中，我们模拟了一段心电图信号，并通过低通滤波去除高频噪声，保留主要心跳波形。通过 Matplotlib 可视化，读者可以直观理解滤波前后的差异。中文字体设置确保标题和坐标轴在博客或教学环境中显示正确。

5.5 实践要点

信号噪声与趋势信息需区分，滤波器参数需根据信号特性调整；
时间序列模型选择应考虑信号平稳性和周期性；
可视化是验证滤波与建模效果的重要工具，可辅助分析异常模式；
多频段分析可结合时域与频域信息，提升建模精度。

通过以上方法，连续信号可以被有效处理和建模，实现异常检测、趋势预测和特征提取，为后续多模态数据融合提供坚实基础。

六、多模态数据融合建模

多模态数据融合是现代人工智能与数据科学的重要研究方向，尤其在智能医疗、金融风控和自动驾驶等领域具有广泛应用。所谓多模态数据，指来源于不同类型传感器或信息渠道的数据，如图像、文本和信号数据。单一模态往往无法全面描述复杂对象，通过融合不同模态的数据，可以提高模型预测精度与鲁棒性。

6.1 融合方法

多模态融合方法主要分为两类：

特征级融合
将不同模态的特征在模型输入阶段进行拼接或组合，形成统一的特征向量。例如，将图像提取的卷积特征与文本病历的 TF-IDF 或词嵌入特征拼接后输入分类模型。此方法能够捕捉跨模态的潜在关联，但对特征维度和归一化处理要求较高。
决策级融合
将不同模态分别训练的模型预测结果进行加权或投票整合，得到最终决策。例如图像模型预测疾病概率为 0.7，文本模型预测为 0.6，可加权平均得到综合概率 0.65，用于最终分类。此方法易于实现，但可能忽略模态间的深层关联。

6.2 案例演示：智能医疗辅助诊断

在医疗场景中，多模态融合可以显著提高辅助诊断能力。例如，通过融合医学影像（CT 或 MRI）和患者病历文本信息，可预测疾病风险。数据流程如下：

数据输入：收集患者图像和文本病历信息；
特征提取：图像使用 CNN 提取视觉特征，文本使用 TF-IDF 或词嵌入提取语义特征；
模型训练：可将特征拼接输入多层神经网络，或分别训练图像/文本模型后进行决策级融合；
决策输出：生成疾病风险评分，并通过可视化流程图展示预测结果。

通过多模态数据融合，模型能够同时利用视觉和文本信息，提高预测的全面性和准确性，为智能医疗提供可解释和高效的决策支持。

七、总结与实践建议

在多模态数据建模中，图像、文本与信号数据各自具有独特特征：图像高维且具空间结构，文本稀疏且序列性强，信号连续且含噪声和频域信息。针对不同模态，建模通常遵循四个步骤：数据理解，明确数据分布与特性；特征工程，进行预处理、降维或向量化；模型训练与评估，选择合适机器学习或深度学习模型并使用准确率、召回率、F1-score等指标验证效果；多模态融合，在特征级或决策级整合不同模态信息，提高预测性能。未来，深度学习、自动特征学习和多模态融合将成为发展趋势，进一步提升建模效率与精度。实践中，可使用开源工具和数据集，如 MNIST、IMDB、PhysioNet，进行快速原型开发和算法验证，为科研和工业应用提供可靠支持。

参考文献

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
- 系统介绍深度学习基础、卷积神经网络和序列模型，为图像、文本及多模态建模提供理论支撑。
Jurafsky, D., & Martin, J. H. (2021). Speech and Language Processing (3rd ed.). Pearson.
- 涵盖文本处理、向量化、情感分析等自然语言处理方法，适用于文本特征提取与建模。
Mallat, S. (2008). A Wavelet Tour of Signal Processing (3rd ed.). Academic Press.
- 介绍信号处理基础、滤波、傅里叶变换及时间序列建模方法，为信号异常检测提供理论基础。

案例：智能健康监测多模态数据预测

案例背景

在智能健康监测中，患者数据可能包括：

图像数据：皮肤影像、心脏影像等；
文本数据：病历、问诊记录；
信号数据：心电图（ECG）、血压、呼吸信号。

目标是预测患者疾病风险或健康状态，将多模态数据融合后输入模型，实现高精度预测。

数据准备（模拟示例）

import numpy as np
import pandas as pd
from skimage import data, color
from sklearn.feature_extraction.text import TfidfVectorizer
import matplotlib.pyplot as plt
from matplotlib import rcParams# 中文显示支持
rcParams['font.sans-serif'] = ['SimHei']  # 设置中文字体
rcParams['axes.unicode_minus'] = False    # 正确显示负号# -------- 模拟图像数据 --------
image = color.rgb2gray(data.astronaut())  # 使用示例图像
img_feature = image.flatten() / 255.0     # 归一化并展平# -------- 模拟文本数据 --------
texts = ["患者出现胸闷症状", "病人血压偏高", "咳嗽和发热", "心率正常"]
vectorizer = TfidfVectorizer()
text_feature = vectorizer.fit_transform(texts).toarray()# -------- 模拟信号数据 --------
fs = 100  # 采样率
t = np.linspace(0,1,fs)
signal_data = np.sin(2*np.pi*5*t) + 0.3*np.random.randn(fs)  # 模拟心电信号
signal_feature = signal_data  # 可直接使用原始信号或滤波后特征# -------- 多模态特征拼接 --------
from sklearn.preprocessing import StandardScaler
features = np.hstack([img_feature[:4,:4].flatten().reshape(4,-1),  # 图像示例text_feature,signal_feature[:4].reshape(4,-1)])  # 信号示例
labels = [1,0,1,0]  # 模拟健康状态 1=健康, 0=异常

数据预处理与标准化

scaler = StandardScaler()
X_scaled = scaler.fit_transform(features)

模型训练与预测

这里使用简单 随机森林 模型示例，展示多模态数据建模流程。

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_reportX_train, X_test, y_train, y_test = train_test_split(X_scaled, labels, test_size=0.25, random_state=42)
model = RandomForestClassifier(n_estimators=50, random_state=42)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)print("分类报告：\n", classification_report(y_test, y_pred))

可视化预测结果（支持中文）

plt.figure(figsize=(6,4))
plt.bar(['样本1','样本2'], y_pred, color=['skyblue','salmon'])
plt.title('多模态健康预测结果')
plt.ylabel('预测状态（0=异常, 1=健康）')
plt.show()

案例说明

图像特征：使用灰度化图像并展平为向量；
文本特征：使用 TF-IDF 向量化病历信息；
信号特征：使用心电图信号原始数据，可进一步滤波或提取频域特征；
多模态融合：在特征级进行拼接，再输入随机森林训练分类模型；
可视化：中文显示支持柱状图，直观展示预测结果。

实践要点

特征维度需匹配，多模态数据可能导致高维，需要降维或标准化处理；
小规模示例可用随机森林，实际可使用深度学习模型（CNN+RNN/Transformer）处理复杂数据；
可视化中文显示保证博客或教学中结果直观易懂；
多模态融合方式可为特征级或决策级，根据实际场景选择。

完整Python程序

# -*- coding: utf-8 -*-
"""
多模态健康监测示例：图像 + 文本 + 信号数据融合预测
完整Python程序
"""import numpy as np
import pandas as pd
from skimage import data, color
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report
import matplotlib.pyplot as plt
from matplotlib import rcParams# ---------------- 中文显示支持 ----------------
rcParams['font.sans-serif'] = ['SimHei']  # 中文黑体
rcParams['axes.unicode_minus'] = False    # 正确显示负号# ---------------- 1. 模拟图像数据 ----------------
# 使用 skimage 示例图像
image = color.rgb2gray(data.astronaut())  # 灰度化
img_feature = image.flatten()[:16]        # 取前16个像素作为简化特征# ---------------- 2. 模拟文本数据 ----------------
texts = ["患者出现胸闷症状", "病人血压偏高", "咳嗽和发热", "心率正常"]
labels = [1, 0, 1, 0]  # 1=健康, 0=异常
vectorizer = TfidfVectorizer()
text_feature = vectorizer.fit_transform(texts).toarray()# ---------------- 3. 模拟信号数据 ----------------
fs = 100  # 采样率
t = np.linspace(0, 1, fs)
signal_data = np.sin(2*np.pi*5*t) + 0.3*np.random.randn(fs)  # 模拟心电信号
signal_feature = signal_data[:4].reshape(4,1)  # 取前4个点作为简化信号特征# ---------------- 4. 多模态特征拼接 ----------------
# 注意：实际应用中应对不同模态特征进行维度调整
features = np.hstack([img_feature[:4].reshape(4,1),  # 图像特征text_feature,                   # 文本特征signal_feature                  # 信号特征
])# ---------------- 5. 数据标准化 ----------------
scaler = StandardScaler()
X_scaled = scaler.fit_transform(features)# ---------------- 6. 划分训练集与测试集 ----------------
X_train, X_test, y_train, y_test = train_test_split(X_scaled, labels, test_size=0.25, random_state=42)# ---------------- 7. 模型训练 ----------------
model = RandomForestClassifier(n_estimators=50, random_state=42)
model.fit(X_train, y_train)# ---------------- 8. 模型预测 ----------------
y_pred = model.predict(X_test)# ---------------- 9. 输出分类报告 ----------------
print("分类报告：\n", classification_report(y_test, y_pred))# ---------------- 10. 可视化预测结果 ----------------
plt.figure(figsize=(6,4))
plt.bar(['样本1','样本2'], y_pred, color=['skyblue','salmon'])
plt.title('多模态健康预测结果')
plt.ylabel('预测状态（0=异常, 1=健康）')
plt.show()

查看全文

http://www.jsqmd.com/news/404218/