AI 音乐生成的 Prompt 工程：如何用自然语言精确描述音乐意图

AI 音乐生成的 Prompt 工程：如何用自然语言精确描述音乐意图

一、你把"欢快的音乐"塞进生成模型，出来的却是 80 年代电子游戏配乐

AI 音乐生成最早令人失望的地方，不是音质不好，是你描述的和你得到的完全不搭。输入"一首适合跑步听的电子音乐，节奏感强"，模型给你一段 BPM 60 的 ambient。问题不在模型——在你给的 prompt 不够精确。

音乐是一门高度结构化的艺术。节奏、和声、音色、曲式——每个维度都有精确的术语来描述。但大多数人对音乐的描述是感性的（"听起来舒服""有力量感"），而非技术性的（"BPM 120-140，大调，合成器主旋律，4/4 拍，A-B-A 结构"）。

AI 音乐生成的 prompt 工程需要一种"技术翻译"能力：把你的情感意图翻译成模型能理解的结构化描述。这不是把 Prompt Engineering 从文本领域搬过来，它是完全不同的一套规则——音乐的参数空间比文本更复杂，因为你需要同时定义时间（节奏、曲式）和频谱（和声、音色）两个维度。

二、底层机制与原理剖析

Prompt 的五个核心维度：

节奏维度：最容易被忽视但最关键。不指定 BPM 范围，模型默认识别"快"或"慢"这种模糊词，结果误差极大。精确指定：BPM 区间、节拍（4/4、3/4、6/8）、节奏型（swing、straight、shuffle）。例如"BPM 120-130, 4/4, straight rhythm"远比"快节奏"精确。

和声维度：调式（大调/小调/调式音乐）、和弦进行（I-V-vi-IV、ii-V-I）、和声复杂度。大调 + I-V-vi-IV 几乎等同于"流行/积极"，小调 + 半音进行约等于"悬疑/紧张"。

音色维度：这不是"用什么乐器"这么简单。需要描述：乐器组合（配备方式）、合成器参数（波形、滤波器、包络）、空间参数（混响大小、延迟时间）。如果你说"电吉他"，模型不知道是 clean tone 还是过载——加上"overdriven electric guitar with spring reverb"才能精准。

结构维度：音乐的时间组织。曲式（A-B-A、verse-chorus、奏鸣曲式）、段落时长（16 小节 intro、8 小节 verse）、过渡方式（渐强、停顿、直接转换）。

三、生产级代码实现

""" AI 音乐 Prompt 结构化生成器 将自然语言意图翻译为 MusicGen/Suno 可接受的结构化参数 """ from dataclasses import dataclass, field from typing import List, Dict, Optional, Tuple from enum import Enum import json import re class MusicGenre(Enum): JAZZ = "jazz" ELECTRONIC = "electronic" CLASSICAL = "classical" ROCK = "rock" POP = "pop" AMBIENT = "ambient" HIPHOP = "hip-hop" class TimeSignature(Enum): FOUR_FOUR = "4/4" THREE_FOUR = "3/4" SIX_EIGHT = "6/8" FIVE_FOUR = "5/4" class ScaleType(Enum): MAJOR = "major" MINOR = "minor" DORIAN = "dorian" PHRYGIAN = "phrygian" LYDIAN = "lydian" MIXOLYDIAN = "mixolydian" PENTATONIC = "pentatonic" @dataclass class MusicPrompt: """结构化的音乐生成 Prompt 设计思路：五个维度各自独立，互不干扰。 生成时再按模型要求的格式拼接——不同模型有不同的 prompt 格式 """ # 节奏维度 bpm_min: int = 90 bpm_max: int = 120 time_signature: TimeSignature = TimeSignature.FOUR_FOUR rhythm_style: str = "straight" # straight / swing / shuffle # 和声维度 key: str = "C" # C, D, Eb, F#, ... scale_type: ScaleType = ScaleType.MAJOR chord_progression: str = "" # I-V-vi-IV, ii-V-I, 留空让模型自由发挥 # 音色维度 instruments: List[str] = field(default_factory=lambda: ["piano"]) synth_params: Dict[str, str] = field(default_factory=dict) reverb_size: str = "medium" # small / medium / large / none delay_time: str = "none" # none / short / medium / long # 结构维度 form: str = "A-B-A" # A-B-A / intro-verse-chorus / free duration_seconds: int = 120 # 总时长 # 情感维度 valence: float = 0.5 # 0-1, 0=悲伤 1=快乐 arousal: float = 0.5 # 0-1, 0=平静 1=激昂 def to_suno_prompt(self) -> str: """ 生成 Suno AI 的 prompt 格式 Suno 的文档说 prompt 用自然语言描述即可，但经验表明 结构化参数 + 自然语言补充效果最好 """ parts = [] # 节奏 parts.append( f"BPM {self.bpm_min}-{self.bpm_max}, {self.time_signature.value}," f" {self.rhythm_style} rhythm" ) # 和声 parts.append( f"Key of {self.key} {self.scale_type.value}" ) if self.chord_progression: parts.append(f"chord progression: {self.chord_progression}") # 音色 inst_str = ", ".join(self.instruments) parts.append(f"instruments: {inst_str}") if self.reverb_size != "none": parts.append(f"{self.reverb_size} reverb") if self.delay_time != "none": parts.append(f"{self.delay_time} delay") # 结构 parts.append(f"{self.form} form, {self.duration_seconds}s") return ", ".join(parts) def to_musicgen_prompt(self) -> str: """ 生成 Facebook MusicGen 的 prompt 格式 MusicGen 接受自然语言文本，但结构化描述效果更好 """ parts = [ f"A {self.scale_type.value} instrumental piece in {self.key},", f"at {self.bpm_min}-{self.bpm_max} BPM,", f"featuring {', '.join(self.instruments)},", f"with {self.reverb_size} reverb and {self.delay_time} delay.", ] if self.valence > 0.7: parts.append("Uplifting and joyful mood.") elif self.valence < 0.3: parts.append("Melancholic and reflective mood.") else: parts.append("Balanced and neutral mood.") if self.arousal > 0.7: parts.append("High energy, intense dynamics.") elif self.arousal < 0.3: parts.append("Calm and peaceful, minimal dynamics.") return " ".join(parts) class PromptTranslator: """ 自然语言 → 结构化 MusicPrompt 的翻译器 设计思路：用规则 + 关键词匹配，不依赖 LLM 原因是翻译速度要求毫秒级，LLM 调用延迟不可接受 对于复杂的意图理解场景，再接入 LLM 做增强 """ # BPM 映射表：文字描述 → BPM 区间 TEMPO_MAP = { "很慢": (40, 60), "慢": (50, 75), "中等": (80, 110), "快": (110, 140), "很快": (140, 180), "极快": (170, 220), "缓慢": (40, 60), "舒缓": (50, 70), "动感": (120, 140), "激昂": (130, 160), "轻松": (80, 100), "活跃": (120, 150), "沉稳": (60, 80), } # 流派 → 默认乐器 GENRE_INSTRUMENTS = { MusicGenre.JAZZ: ["piano", "double bass", "drums", "saxophone"], MusicGenre.ELECTRONIC: ["synthesizer", "drum machine", "bass synth"], MusicGenre.CLASSICAL: ["violin", "cello", "piano", "flute"], MusicGenre.ROCK: ["electric guitar", "bass guitar", "drums"], MusicGenre.POP: ["piano", "synthesizer", "drums", "bass guitar"], MusicGenre.AMBIENT: ["pad synthesizer", "field recording", "piano"], MusicGenre.HIPHOP: ["drum machine", "bass synth", "sampler"], } # 情感词 → valence-arousal 映射 EMOTION_MAP = { "快乐": (0.85, 0.7), "悲伤": (0.15, 0.2), "平静": (0.5, 0.1), "激昂": (0.7, 0.9), "忧郁": (0.2, 0.3), "浪漫": (0.7, 0.4), "紧张": (0.3, 0.8), "温馨": (0.8, 0.3), "治愈": (0.75, 0.25), "放松": (0.6, 0.15), } def translate(self, user_input: str, genre: Optional[MusicGenre] = None) -> MusicPrompt: """ 主翻译入口 为什么返回 MusicPrompt 而非最终字符串？ 让调用方可以自己选择输出格式（Suno/MusicGen/自定义） """ prompt = MusicPrompt() # 1. 检测 BPM 描述 for keyword, (bpm_low, bpm_high) in self.TEMPO_MAP.items(): if keyword in user_input: prompt.bpm_min = bpm_low prompt.bpm_max = bpm_high break # 2. 检测乐器 detected_instruments = [] known_instruments = [ "钢琴", "吉他", "小提琴", "大提琴", "萨克斯", "合成器", "架子鼓", "电子鼓", "贝斯", "电吉他", "长笛", "口琴", "二胡", "古筝", "琵琶", "竹笛", ] for inst in known_instruments: if inst in user_input: detected_instruments.append(self._translate_instrument(inst)) if detected_instruments: prompt.instruments = detected_instruments # 3. 检测调式 if "小调" in user_input or "minor" in user_input.lower(): prompt.scale_type = ScaleType.MINOR elif "大调" in user_input or "major" in user_input.lower(): prompt.scale_type = ScaleType.MAJOR # 4. 检测节拍 # 大部分流行音乐是 4/4，用户多半不需要指定 if "3/4" in user_input or "三拍子" in user_input or "华尔兹" in user_input: prompt.time_signature = TimeSignature.THREE_FOUR if "6/8" in user_input: prompt.time_signature = TimeSignature.SIX_EIGHT # 5. 情感映射 for emotion, (val, aro) in self.EMOTION_MAP.items(): if emotion in user_input: prompt.valence = val prompt.arousal = aro break # 6. 流派默认填充（如果未检测到乐器） if genre and not detected_instruments: prompt.instruments = self.GENRE_INSTRUMENTS.get(genre, ["piano"]) return prompt @staticmethod def _translate_instrument(chinese_name: str) -> str: """中文乐器名 → 英文（AI 模型多基于英文训练）""" mapping = { "钢琴": "piano", "吉他": "guitar", "小提琴": "violin", "大提琴": "cello", "萨克斯": "saxophone", "合成器": "synthesizer", "架子鼓": "drums", "电子鼓": "drum machine", "贝斯": "bass guitar", "电吉他": "electric guitar", "长笛": "flute", "口琴": "harmonica", "二胡": "erhu", "古筝": "guzheng", "琵琶": "pipa", "竹笛": "bamboo flute", } return mapping.get(chinese_name, chinese_name) # --------------------------------------------------------------------------- # 使用示例 # --------------------------------------------------------------------------- if __name__ == "__main__": translator = PromptTranslator() # 用户输入 user_prompt = "一首适合咖啡馆的爵士音乐，钢琴为主，节奏轻松温暖" # 翻译 music_prompt = translator.translate(user_prompt, genre=MusicGenre.JAZZ) print("=== Suno Prompt ===") print(music_prompt.to_suno_prompt()) print() print("=== MusicGen Prompt ===") print(music_prompt.to_musicgen_prompt())

四、边界分析与架构权衡

Prompt 工程本身的局限：

• 规则翻译器比 LLM 翻译器快，但灵活度低——处理"像王家卫电影配乐那种感觉"这种描述无能为力
• 音乐生成模型对 prompt 的忠实度因模型而异——Suno 对结构 prompt 响应好但对和声指定忽视，MusicGen 相反
• 五种维度的权重在不同场景下不同——纯背景音乐节奏维度最重要，古典音乐和声维度最重要

不能用 Prompt 规则解决的问题：

• 音质和混音质量——这是模型训练数据决定的，prompt 改变不了
• 创新性——prompt 越精确，模型越"听话"，但也越缺乏创造性惊喜
• 跨文化音乐术语——中国民族音乐的"板式""腔格"等概念目前没有好的标准化表达

生产环境建议：

• 规则翻译器 + LLM 增强双路并行。规则处理常见描述（80% 场景），LLM 处理"像某电影某风格"这种模糊输入（20% 场景）
• 建立用户 prompt → 结构化参数 → 评估打分的反馈闭环，持续优化翻译规则

五、总结

AI 音乐生成的 prompt 工程本质是"技术翻译"——把人类对音乐的情感描述翻译成模型能理解的节奏、和声、音色、结构参数。五个维度的参数各自独立，翻译时需要并行考虑。规则翻译器覆盖 80% 的常见场景，剩下 20% 交给 LLM 做增强。关键是建立反馈闭环：用户说"不像"，你要知道是哪个维度出了问题，然后修正那个维度的翻译规则。