概述
我们正式发布 BAILU-Music —— 由 BAILU AI 独立打造的 3.8B 参数音乐生成模型，在音色塑造、段落结构与动态控制方面全面升级。模型采用「多尺度潜空间 + 条件扩散 + Transformer 控制器」的分层范式：秒级节奏由事件序列建模，分钟级情绪由长程结构规划器生成 blueprint，再交给多轨声学解码器回放，使作曲家、声音设计师以及游戏与影视音乐团队在数秒内获得具备真实演奏细节的曲目草稿。
根据我们对方法体系的深度研究，BAILU-Music 的推理延迟在 A100 上可低至 2 秒完成整曲渲染，在 RTX 3090 上约 9.6 秒；以 4GB VRAM 即可运行的轻量配置使其成为真正意义上的本地化音乐基础模型。
BAILU-Music 已通过 Bailu Music Playground 开放测试，支持旋律提示上传、文本标签、MIDI 片段与音频示例的多源条件组合。开发者可以在相同平台上体验实时编排、片段重写、分轨导出以及“从一句歌词生成整曲”式的规划式交互。
关键亮点
超写实音色栈
64 通道谱面重建网络将鼓、弦、合成器与人声分轨建模，保留真实演奏的力度与空间感。
多尺度结构控制
Transformer-Perceiver 混合架构同时理解秒级节奏与分钟级段落，自动生成前奏、主歌、桥段与尾声。
多模态条件
文本标签、和弦走向、MIDI、参考音频可并行注入，实时调节情绪、风格、拍速与配器密度。
真实演奏感
引入演奏符号解码器，对滑音、勾弦、延音踏板与人声气息进行显式渲染，减少“合成味”。
轻量个性化
支持少量曲目即可训练 LoRA，捕捉个人风格并注入推理循环，让创作者快速构建专属音色。
架构与训练创新
BAILU-Music 采用模块化模型库设计，包含 DiT（扩散 Transformer）与 LM（语言模型）两大组件，支持灵活组合以平衡质量、速度与功能完整性。所有模型均基于 BF16 精度训练，提供 safetensors 格式，兼容 diffusers 与 PyTorch 生态。
模型库概览
| 模型名称 | 预训练 | SFT | RL | CFG | 步数 | 功能覆盖 | 质量 | 多样性 |
|---|---|---|---|---|---|---|---|---|
| bailu-music-base | 是 | 否 | 否 | 是 | 50 | 全功能 | 中 | 高 |
| bailu-music-sft | 是 | 是 | 否 | 是 | 50 | 核心 | 高 | 中 |
| bailu-music-turbo | 是 | 是 | 否 | 否 | 8 | 核心 | 极高 | 中 |
| bailu-music-turbo-rl | 是 | 是 | 是 | 否 | 8 | 核心 | 极高 | 中 |
语言模型组件
| LM 模型 | 基座 | 预训练 | SFT | RL | CoT 元数据 | 查询重写 | 音频理解 | 作曲能力 |
|---|---|---|---|---|---|---|---|---|
| bailu-lm-0.6B | Qwen3-0.6B | 是 | 是 | 是 | 是 | 是 | 中 | 中 |
| bailu-lm-1.7B | Qwen3-1.7B | 是 | 是 | 是 | 是 | 是 | 中 | 中 |
| bailu-lm-4B | Qwen3-4B | 是 | 是 | 是 | 是 | 是 | 强 | 强 |
核心架构创新
| 模块 | 设计 | 收益 |
|---|---|---|
| 多尺度潜空间 | 音频被压缩到 12×、48× 两层潜空间，结合扩散 + Transformer 解码 | 兼顾长时结构与瞬态细节，减少伪影 |
| 条件交叉注意力 | 文本、MIDI、音频特征通过共享键值对齐音高与节奏 | 跨模态信息融合，提升对齐度 |
| 表现力监督 | 引入力度、力度曲线、演奏技巧标签作为辅助预测 | 让模型学会渐强/渐弱、呼吸与演奏张力 |
| 可控推理栈 | Streaming Diffusion + Speculative Decoder | 8 秒预热即可实时试听，便于现场编曲 |
| 规划器-解码器协同 | 语言模型充当“乐曲策划者”，生成蓝图与歌词，再驱动扩散 Transformer | 从一句提示扩展到 10 分钟长曲，同时保持主题一致性 |
训练数据体系
- 授权数据：专业授权音乐曲目，确保商业可用
- 免版税/无版权数据：海量公有领域与免版税音乐
- 合成数据：通过先进 MIDI-to-Audio 转换生成的高质量音频
- 规模：110K 首多轨录音 + 32K 首授权 MIDI
- 覆盖：14 种音乐风格、9 种拍速区间
- 标注：演奏符号标签（guitar techniques、vocal articulations 等）
训练管线
- 分阶段预训练：文本-谱面、MIDI-谱面、音频-谱面
- 多目标微调：FAD、CLAP、结构一致性三重损失
- 强化阶段：以内在机制奖励对齐，避免外部偏好偏差
- 内在奖励：节奏平衡、旋律连贯、歌词可唱性等内部指标
- CoT 推理：通过 Chain-of-Thought 生成详细注释与元数据
表现评估（内部基准）
我们在多个维度对 BAILU-Music 进行了系统评估，涵盖音质、多样性、功能覆盖与推理效率。以下为内部基准测试结果：
FAD / MOS 对比
注：MOS 为 5 分制主观听感评分，FAD 分数亦同步下降 0.7，音乐质感显著提升。
生成效率
0.47× RT 表示生成 10 秒音乐仅需约 4.7 秒推理，满足现场迭代需求。
功能覆盖度
Turbo 系列专注速度与质量，Base/SFT 提供完整编辑与分轨能力。
规划-解码双体系统
BAILU-Music 的核心创新在于让语言模型承担“全能策划者”角色：它将用户简短提示转化为包含 BPM、调式、结构段落、情绪轨迹、歌词与音色说明的蓝图，并以 Chain-of-Thought 形式生成详尽注释。该蓝图不仅约束扩散 Transformer 的采样，还驱动歌词-配器-音色三条控制通道同步演化。
这一过程通过内在强化学习完成：模型在自我博弈中以“节奏平衡”“旋律连贯”“歌词可唱性”等内部指标作为奖励，无需人工偏好或外部判别器即可对齐生成目标，避免第三方奖励模型带来的偏差。
最终的 Diffusion Transformer 负责在多尺度潜空间内重建完整波形：它从策划蓝图抽取局部约束，在 64 通道谱面上执行条件采样，并允许中途注入“repaint”“vocal-to-BGM”等编辑指令，实现无缝的续写与修补体验。
工作流与可控性
- 多模态条件上传： 支持上传最多 4 条 MIDI、1 段参考音频与 512 字符文本提示，自动对齐节拍。
- 动态结构编辑： 在 Playground 中可拖拽段落、锁定旋律或鼓组，让模型只重写选定部分。
- 分轨导出： 所有生成内容可导出为 Stems、MIDI、DAW Project（Ableton Live / Logic 模板）。
- 实时 API： OpenAI 兼容接口可直接返回 44.1 kHz WAV、MIDI 与控制参数，方便游戏引擎或互动装置调用。
- 多语种提示保持力： 规划器-解码器链路在 50+ 语言提示下保持节奏、语义与押韵一致，适合全球内容团队。
- 精准编辑工具链： 原位“repaint”用于替换局部乐器，cover/vocal-to-BGM 工具可从单轨人声推理出全新伴奏但保留声线情绪。
应用场景
影视配乐
快速生成多段灵感草稿，并根据镜头节奏调节高潮与留白。
互动游戏
利用实时 API 根据玩家状态连续生成自适应背景音乐。
沉浸式体验
为 XR 艺术、装置演出提供长时无循环的生成音乐。
品牌与空间
商业空间背景音乐、品牌音乐识别、可调情绪的导览配乐。
音乐制作人
将模型作为合作者，用文本描述想法并导出 MIDI 继续编曲。
内容创作者平台
为短视频、电商、播客平台提供批量化生成、再编辑与版权管理统一的音乐生产能力。
本地部署概述
BAILU-Music 支持从个人工作站到企业集群、再到边缘节点的全栈部署形态，可根据算力条件灵活选择推理配置。无论是单人创作、团队协同制作，还是大规模内容生产与线下场景播放，都可以通过同一套模型体系与 API 接口平滑打通。
创作工作站
在单张 RTX 4090/5090（24GB）上即可稳定运行约 0.5× RT 的实时流，支持与主流 DAW 深度集成，通过插件或 VST Bridge 直接在工程内生成、编辑与落盘素材。
企业音乐中台
2 × L40S 或 1 × A100 40GB 即可支撑约 10 路并发服务，配套提供 Docker/K8s 部署模版、自动扩缩容与负载均衡脚本，并内置 Prometheus 指标上报与兼容 OpenAPI 的统一服务网关。
私有化方案
以加密权重形式交付，支持数据本地驻留、物理或逻辑隔离网络、多租户音色库与操作审计，满足影视、游戏、文旅及政企客户对合规与安全的严苛要求。
边缘渲染节点
在 8GB Orin 或工业级 PC 上运行量化推理版本，可为线下展览、装置艺术、沉浸式场馆等场景提供低延迟本地生成，弱网络或离线环境同样可以实现稳定播放与按需编排。
立即体验
访问 Bailu Music Playground 即可体验最新模型，或通过企业邮箱联系我们获取 BAILU-Music 的私有化部署方案（支持 Docker/K8s、一键推理栈与算力调度）。