白鹿AI如何降低碳足迹：稀疏模型与绿色训练

AI 时代的环保挑战

随着大型语言模型（LLM）的快速发展，人工智能训练所消耗的能源和产生的碳排放已成为业界关注的焦点。训练一个大型 Transformer 模型可能产生相当于多辆汽车整个生命周期的碳排放量（Strubell et al., 2019）。面对这一严峻挑战，白鹿 AI 团队致力于通过训练端系统性优化和数据质量提升，在提高模型每个参数的性能效率的同时降低环境影响。

Transformer 架构的演进

1. 起源：Attention Is All You Need (2017)

2017年，Google 研究团队在论文《Attention Is All You Need》中提出了 Transformer 架构，彻底革新了自然语言处理领域（最初的研究重点是翻译任务）。这一创新架构摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN），完全基于自注意力机制（Self-Attention），实现了更高效的并行计算和更长的上下文理解能力。Transformer 模型被用于解决各种不同模态的任务，包括自然语言处理（NLP）、计算机视觉、音频处理等。

2. 模型规模的指数增长

自 Transformer 诞生以来，模型规模经历了惊人的增长：

• 2018 年 - BERT：3.4 亿参数，开创了预训练-微调范式
• 2019 年 - GPT-2：15 亿参数，展现了生成式模型的潜力
• 2020 年 - GPT-3：1750 亿参数，训练成本高达 460 万美元
• 2021 年 - Switch Transformer：1.6 万亿参数，首次突破万亿参数大关
• 2023 年至今：模型参数量持续增长，达到千亿级，但碳排放问题愈发严重

3. 预训练模型的资源消耗与环境影响

白鹿 AI 作为一个大规模预训练模型，其训练过程遵循现代 Transformer 模型的标准范式。

预训练（Pre-training）是指从零开始训练模型的行为：模型权重采用随机初始化策略，训练开始时不具备任何先验知识。模型需要在海量的原始文本数据上进行自监督学习，通过语言建模等任务逐步习得语言的统计规律和语义表征能力。

这一预训练过程通常需要消耗巨大的计算资源。根据行业研究数据，训练一个大规模 Transformer 模型可能需要数千块 GPU 持续运行数周甚至数月，产生的碳排放量相当于多辆汽车整个生命周期的总和。然而，预训练模型的价值在于其可复用性。

一个高质量的预训练模型可以通过迁移学习（Transfer Learning）和微调（Fine-tuning）技术，适配到数千种下游应用场景，而无需从零开始重新训练。这种"训练一次，使用多次"的特性使得预训练阶段的碳足迹优化具有极高的环境价值：每降低 1% 的预训练能耗，都将在全球范围内产生倍增的环保效应。

4. 大规模预训练的环境代价

随着模型规模的指数增长，预训练过程的环境成本也急剧上升：

• 训练时间长达数周甚至数月
• 需要大量高性能 GPU 集群持续运行
• 能源消耗巨大，碳排放问题显著
• 数据预处理和存储带来的额外能耗
• 训练效率低下导致的计算资源浪费

白鹿的核心创新：训练端系统性优化

高性能训练基础设施

白鹿 AI 基于 PyTorch 和 Ray 构建了定制化训练基础设施，以规模化支持高效训练。该基础设施以 MXFP8 MoE Kernels 作为核心训练内核，在保持数值稳定性的同时显著降低计算和内存开销。

为实现高效的并行计算，我们采用专家并行（Expert Parallelism）与混合分片数据并行（Hybrid Sharded Data Parallelism）相结合的策略。通过这种设计，我们成功实现了在原生低精度下的大规模高效训练，为后续的性能优化奠定了坚实基础。

这种架构将专家混合模型的不同专家分布在不同设备上，充分利用并行计算能力。更重要的是，通过精心优化的通信策略，我们能够以极低的通信开销将训练扩展到 GPU 序列，最小化节点间的数据传输成本，从而大幅降低整体能耗。

原生低精度训练的环保优势

与传统的训练后量化不同，白鹿采用原生 MXFP8 精度进行训练，这一策略带来了全方位的环保收益。低精度计算直接减少了训练过程中的能源消耗，因为每次浮点运算所需的计算资源和功耗都显著降低。同时，基于 MXFP8 的训练使得模型无需进行训练后量化即可实现更快的推理速度，这不仅提升了用户体验，更在模型部署后的每一次推理中持续降低能耗。

此外，低精度训练还带来了内存占用的优化，降低了显存需求，使得同样的硬件能够支持更大规模的并行训练，提高了 GPU 利用率。值得强调的是，MXFP8 格式在降低精度的同时依然保持了训练的数值稳定性，确保模型质量不受影响。

强化学习环境的规模化部署

在进行强化学习（RL）训练时，白鹿模型需要在真实场景中与环境交互，学习如何高效完成各类任务，这包括代码开发、问题分析、内容创作等多样化场景。为实现这一目标，我们在云端同时运行数万份隔离的沙盒化训练环境，支持模型在安全可人为监督的环境中自由探索和学习。

为适应 RL 训练任务的突发性和规模特性，我们对虚拟机调度系统进行了深度优化，实现了高效的资源调度和动态分配。

更关键的是，我们将 RL 训练环境与实际应用场景无缝打通，确保模型学习到的策略能够直接应用于生产环境，避免了实验室环境与真实场景之间的鸿沟。基于 Ray 框架，我们实现了大规模异步强化学习，支持数万个并行环境同时运行，极大地加速了训练过程。此外，系统会根据训练负载动态调整计算资源，在高峰时段扩展资源，在低负载时收缩资源，避免了资源空闲浪费，从而降低了整体能耗。

强化学习驱动的效率优化

白鹿 AI 通过强化学习框架主动优化模型推理行为，在维持输出质量的同时提升计算效率，降低推理阶段的资源消耗。具体地，在强化学习训练中，我们设计奖励函数激励模型采取高效决策路径，减少冗余的推理步骤，在满足质量约束的前提下优化响应延迟。模型学习到根据任务特性动态调整并行处理策略，通过结构化的任务分解将复杂问题转化为可并行执行的子任务单元，提升整体吞吐量和计算资源利用率。

此外，通过优化输出策略和强化准确性约束，我们指导模型生成信息密度更高、表述更精炼的回复，有效减少了冗余计算开销。在调用外部工具（如搜索、代码执行等）时，模型学习到通过强化学习过程掌握最优的工具调用序列和参数配置，避免重复或低效的工具调用，进一步提升了端到端的计算效率。

模型自发涌现的高效行为

在强化学习过程中，白鹿模型自发学会了一系列提升效率的有益行为，这些行为进一步降低了训练和推理的资源消耗。模型发展出了智能搜索策略，能够执行更精确的信息检索，减少无关查询，从而降低计算开销。在代码生成、CLI命令等任务中，模型会主动识别和修复潜在错误，形成了自我纠错机制，减少了需要人工干预的迭代次数。

对于复杂问题，模型学会了先提供核心解决方案，再根据实际需要进行细化，采用渐进式的问题解决策略，避免了过度计算。在处理长上下文时，模型能够从中提取关键信息，进行有效的上下文压缩，减少不必要的全文处理。更令人欣慰的是，模型展现出了资源感知能力，能够根据任务复杂度自适应调整计算深度——简单任务使用更少的计算资源，复杂任务则投入更多资源，实现了计算资源的智能分配。

数据集精细化处理：提升每个参数的性能

追求"B"级参数性能

白鹿 AI 的另一核心创新在于对数据集的精细化处理。相比盲目追求参数规模，白鹿更注重提升每一亿（Billion）参数的实际性能，通过高质量数据降低对超大规模模型的依赖。这一理念的核心在于认识到，模型性能不仅取决于参数数量，更取决于每个参数从训练数据中学到了什么。

数据清洗与去重策略

白鹿采用了多层次的数据清洗策略，远超简单的去重操作。我们不仅去除完全重复的样本，还通过先进的算法识别并处理近似重复和语义重复的内容，确保每条训练数据都能为模型带来新的学习价值。在质量过滤方面，我们建立了基于多维度指标的评估体系，包括语法正确性、信息密度、内容连贯性等，系统性地筛选出高质量样本。

同时，我们实施了严格的有害内容过滤机制，移除低质量、有偏见和有害的训练数据，确保模型学习到的是积极、准确的知识。通过统一数据格式和标准化处理，我们减少了模型需要学习冗余模式的负担，使训练过程更加聚焦和高效。

数据规模与质量的平衡

通过数据质量的系统性提升，白鹿实现了用更少的数据训练出更好的模型。精选高质量数据相比无差别使用海量数据，能够显著减少训练迭代次数，因为模型能够从每条数据中获取更多有价值的信息。更小、更精炼的数据集不仅降低了存储和数据传输的能源消耗，还使得数据加载和预处理更加高效。

高质量数据使模型收敛速度明显加快，训练时间得以缩短，这直接转化为能源消耗的降低。更重要的是，每个参数都能从更高质量的数据中学习到更丰富、更准确的知识，提升了模型的"参数性价比"——用更少的参数实现更强的能力，从根本上降低了训练和推理的计算需求。

课程学习与智能数据编排

受人类学习过程启发，白鹿采用了课程学习策略，将训练数据按难度分级，从简单到复杂逐步引导模型学习。这种方法不仅提升了训练效率，还减少了模型在简单任务上的过度计算。我们确保不同领域（代码、数学、语言、推理等）的数据分布合理平衡，避免模型在某些领域过度专精而在其他领域表现不足。

训练过程中，系统会根据模型在不同数据类型上的表现，动态调整采样策略，将更多计算资源投入到模型尚未掌握的领域。精心设计的数据编排策略有效避免了模型过度拟合特定数据模式，提高了模型的泛化能力，减少了需要额外微调的场景，进一步降低了整体训练成本。

先进置信度机制与幻觉抑制

在强化学习过程中，白鹿摒弃了传统的二元奖励机制，采用先进的置信度机制来评估模型输出的可靠性。通过为每个生成的回复赋予置信度评分，系统能够识别出模型不确定或可能不准确的输出，并相应地调整奖励信号，促使模型在面对不确定的任务时保持谨慎和诚实。

这一创新策略有效地减少了模型的幻觉现象。置信度驱动的方法不仅提高了模型输出的准确性和可信度，还从根本上减少了强化学习对模型幻觉的再次强化。模型被激励去明确表达其知识边界，而不是盲目地生成听起来合理但实际上错误的内容。

传统的强化学习训练往往采用简单的二元或三元奖励机制：回答正确得分，错误扣分。这种方法虽然简单，但无法区分模型对答案的确定程度，容易强化过度自信的错误输出。白鹿的置信度机制通过引入细粒度的评分体系，激励模型在回答时同时评估自身的确定性：

评分标准	传统训练方法	白鹿置信度机制
回答正确	+1 分	置信度高：+3 分 置信度中：+2 分 置信度低：+1 分
回答不知道	0 分	0 分
回答错误	-1 分	置信度高：-3 分 置信度中：-2 分 置信度低：-1 分

通过这种细粒度的奖励机制，模型学会了在高确定性时给出明确答案，在低确定性时承认不确定，从而显著降低了幻觉现象的发生。

以一个典型的网络模因问题为例，可以清晰看到两种训练方法的差异：

训练方法	模型输出
问题：1999年的"地球保卫战"真的存在吗？
传统方法 易产生幻觉	1999年，萨比星人入侵地球，地球保卫战开始。经过艰苦卓绝的战斗，人类联合各国军队，最终在1999年12月取得了胜利。战后，联合国决定清除非作战人员的记忆，掩盖真相，所有作战人员都签署了终身保密协议......
白鹿方法 基于置信度	不存在。1999年并没有发生过所谓的"地球保卫战"。这很可能是中文互联网上的一个模因（meme）或虚构故事，想了解更多吗？ 我也可以介绍1999年的真实重要事件：千年虫（Y2K）问题引发全球关注，各国投入大量资源确保计算机系统在跨越2000年时正常运行；此外还有科索沃战争、澳门回归中国等重大历史事件。

同时，系统会对模型的自我评估能力进行训练，使其能够在生成内容时实时评估置信度。当置信度低于阈值时，模型主动寻求外部验证或明确表示不确定，进一步降低了有害幻觉的生成概率，从而在提升输出质量的同时减少了不必要的重复计算和修正成本。

为进一步降低与精确任务相关的幻觉，白鹿在训练中集成了数据库 SQL 模拟系统。模型在生成涉及数据库查询的回复时，系统会调用模拟数据库执行相应的 SQL 语句，将实际查询结果反馈给模型作为验证信号。这一方法确保模型在处理数据库相关任务时能够基于真实数据进行推理，而不是凭空想象。

通过 SQL 模拟的约束，模型学会了在面对数据库操作时表现出更高的谨慎性和准确性。强化学习奖励机制根据模型生成的 SQL 是否能在模拟数据库中成功执行以及查询结果是否准确，相应地调整奖励信号。这种基于事实验证的学习方式从根本上减少了数据库相关的幻觉，提高了模型在结构化数据任务上的可靠性，同时避免了因幻觉导致的重复计算和修正成本。

推测解码与草稿模型加速

白鹿创新性地引入了基于缓存数据库的推测解码（Speculative Decoding）机制，通过小规模草稿模型（Draft Model）与大规模目标模型（Target Model）的协作，显著加速了推理过程。草稿模型基于模拟数据库的缓存结果快速生成候选 token 序列，例如预测数据库查询结果或相关上下文信息，而目标模型仅需验证这些候选序列（而非逐 token 生成），大幅减少了冗余计算。

由于训练阶段模型已"内化"数据库模式，草稿模型的预测更加准确，从而提升了推测解码的接受率（Acceptance Rate），进一步加速了输出生成。这一机制不仅降低了推理延迟，还直接减少了计算资源消耗，降低了推理阶段的能耗。

碳排放实时监控与评估

1. 训练过程碳足迹计算

白鹿 AI 在训练全流程中集成了碳排放监控系统，确保环境影响的透明性和可追溯性。根据 Hugging Face 碳排放标准，我们采用以下方法计算碳足迹：

2. 实时监控工具

• Code Carbon 集成：在训练代码中集成 Code Carbon 包，实时跟踪训练过程中的能源消耗和碳排放
• pynvml 库监控：使用 pynvml 库持续获取训练期间 GPU 的实时功耗数据
• 训练后评估：使用 ML CO2 Calculator 对训练完成后的总碳足迹进行精确计算
• 多维度记录：记录训练地点、硬件配置、训练类型（预训练或微调）等关键信息

3. 碳排放计算方法

白鹿采用业界标准的碳足迹计算流程：

• 电网碳强度：获取训练硬件所在地区的电网碳强度（每千瓦时产生的 CO₂ 量）
• GPU 功耗测量：通过 pynvml 实时采集 GPU 功耗数据
• 能耗计算：将功耗、碳强度和训练时间相乘，得出碳排放估算值
• 数据中心开销：考虑供暖、制冷等数据中心额外能耗，使用 PUE（能源使用效率）系数修正

4. 模型卡片碳足迹元数据

白鹿所有发布的模型均包含完整的碳足迹元数据，公开透明地展示环境影响：

• 训练产生的 CO₂ 当量排放量（单位：克）
• 数据来源（Code Carbon 实时数据或文献记录）
• 训练类型（预训练或微调）
• 地理位置（具体到数据中心所在地区）
• 硬件配置（GPU 型号和数量）

分布式训练与通信优化

1. 梯度累积与内存管理

针对大规模模型训练，白鹿采用高效的内存管理策略：

• 梯度累积：在更新参数前累积多个批次的梯度，减少通信开销
• 激活检查点：仅保存关键中间激活值，需要时重新计算，大幅节省显存
• ZeRO 优化器：跨设备分片优化器状态、梯度和参数，最大化内存利用效率

2. 通信优化策略

在分布式训练中，通信开销是能耗的重要来源。白鹿通过以下策略降低通信成本：

• 梯度压缩：采用量化和稀疏化技术压缩梯度，减少网络传输量
• 通信重叠：将通信与计算重叠执行，隐藏通信延迟
• 拓扑感知调度：根据网络拓扑优化通信模式，减少跨节点传输
• 带宽自适应：根据可用带宽动态调整通信策略

3. 训练调度优化

智能的训练调度策略避免不必要的计算浪费：

• 自适应学习率：根据训练进展动态调整学习率，加速收敛
• 智能早停：监测验证指标，及时停止训练避免过拟合和能源浪费
• 检查点优化：仅保存最优模型检查点，减少存储I/O开销
• 批量大小调优：动态调整批量大小，平衡训练速度与内存效率

绿色计算基础设施

1. 可再生能源数据中心

白鹿 AI 优先选择使用可再生能源的数据中心进行训练：

• 清洁能源优先：选择太阳能、风能等可再生能源比例高的数据中心
• 碳抵消机制：对剩余碳排放进行碳信用抵消
• 能效优化：选择 PUE（能源使用效率）值较低的高效数据中心
• 智能调度：在可再生能源充足时段安排高负载训练任务

2. 硬件选择与优化

根据训练需求，选择最适合的硬件平台：

• 新一代 GPU：使用能效更高的新型 GPU 加速器
• 专用芯片探索：评估 TPU 等 AI 专用芯片的适用性，提升计算效率
• 液冷技术：采用先进的液冷散热系统，降低冷却能耗
• 硬件利用率：通过任务调度优化，最大化 GPU 利用率，减少空闲浪费

3. 模型部署优化

部署阶段的优化对降低长期运行能耗至关重要：

• 推理优化：利用原生低精度训练的优势，实现高效推理
• 缓存机制：复用中间计算结果，减少重复计算
• 批处理优化：合并推理请求，提高吞吐量和能效
• 负载均衡：智能分配计算任务，避免部分设备过载而其他设备空闲

白鹿 AI 的环保实践

通过训练端系统优化、数据集精细化处理和碳排放实时监控等综合措施，白鹿 AI 在降低碳足迹方面持续探索和实践：

系统性优化成效

白鹿 AI 通过一系列系统性优化措施，在多个方面取得了显著成效。基于 PyTorch + Ray 的定制化基础设施显著缩短了训练时间，训练效率得到明显提升。原生 MXFP8 训练使模型在部署阶段无需量化即可高效运行，有效降低了推理能耗。通过数据质量提升，每个参数的实际性能得到明显改善，参数性能得到优化。同时，通过智能调度和并行优化，最大化计算资源使用效率，资源利用率得到显著提高。

碳排放透明化

白鹿 AI 所有发布的模型均包含完整的碳足迹元数据，涵盖：

• 训练过程的 CO₂ 当量排放量
• 训练地点及使用的能源类型
• 硬件配置与训练时长
• 采用的优化措施与节能技术

未来研究方向

白鹿 AI 将继续在以下方向深化研究，进一步降低 AI 的环境影响：

• 架构进一步优化：探索更高效的模型架构设计，提升参数效率
• 训练流程改进：持续优化分布式训练策略，降低通信和计算开销
• 数据质量提升：深化数据精细化处理技术，用更少数据训练更好模型
• 能源管理优化：开发更智能的碳感知调度系统，最大化可再生能源使用
• 全生命周期优化：从训练到部署的端到端能效优化
• 监控体系完善：建立更精确的碳排放追踪和评估机制

行业协作与透明化

白鹿 AI 致力于推动绿色 AI 技术的发展和普及：

• 公开模型训练的碳足迹数据，提高行业透明度
• 发布碳足迹评估方法和最佳实践
• 与学术界和产业界合作，推动绿色 AI 标准制定
• 探索更多创新技术方案，降低 AI 的环境影响

结语

人工智能的快速发展不应以牺牲地球环境为代价。通过训练端系统性优化、数据集精细化处理和碳排放实时监控，白鹿 AI 探索了一条提升模型性能效率的同时降低环境影响的技术路径。

从 Transformer 的诞生到大规模模型的广泛应用，AI 技术的每一次演进都为优化提供了新的机会。白鹿团队通过高性能训练基础设施、原生低精度训练、数据质量提升和绿色计算基础设施的综合应用，在实践中证明了技术创新与环境保护可以相互促进。

面对 AI 时代的环保挑战，行业需要更多研究者和开发者共同探索绿色 AI 的实现路径，通过精确的碳排放监控、持续的技术优化和负责任的开发实践，构建既强大又可持续的 AI 系统，让人工智能真正成为推动人类进步的绿色动力。