图片播客互动系统开发

一、项目概述

1.1 功能目标

• 图片上传：用户上传一张包含人脸的图片（支持 jpg/png）。
• 图片内容分析：自动提取图片中的场景、人物、动作等信息，生成一段描述性文本。
• 初始播客生成：将描述文本转化为播客风格的音频，并生成人物说话的视频（图片动起来）。
• 一问一答交互：用户通过文字提问，系统基于图片内容和对话历史生成回答，并再次生成说话视频，形成多轮对话。
• 前端展示：播放生成的视频，并提供聊天输入框，实现实时交互。

1.2 技术亮点

• 图像理解：使用 BLIP 模型（Bootstrapping Language-Image Pre-training）生成图片描述。
• 对话生成：调用大语言模型（GPT-3.5 或本地模型如 ChatGLM-6B）实现智能问答。
• 语音合成：采用 Edge-TTS（微软 Azure 边缘 TTS）生成自然语音。
• 唇形同步：基于 Wav2Lip 模型，将音频与静态图片合成说话视频。
• Web 框架：使用 Flask 快速构建后端服务，前端采