超长上下文时代的代码模型
随着智能体 AI 工作负载的爆发式增长，上下文窗口已成为制约模型能力的关键瓶颈。在代码代理、多仓重构、跨服务迁移等场景中，模型需要同时理解大量文件、依赖关系与历史变更，传统的 32K、128K 甚至 256K 上下文已难以满足复杂任务需求。
白鹿最新发布的 BaiLu-Apex-120B 将上下文窗口扩展至 100 万 token（1M），采用 MoE 混合架构（Mamba + MoE + Attention 混合，配合多 token 预测），专为代码理解与软件工程自动化场景深度优化。在此基础上，我们进一步发布 BaiLu-Apex-OpenClaw —— 面向 OpenClaw 智能体生态的 RL 强化版本，原生支持 OpenClaw 接入，在保持 1M 上下文能力的同时，显著增强安全边界，成为企业级智能体接入的理想选择。
BaiLu-Apex-120B：1M 上下文的 MoE 混合代码模型
BaiLu-Apex-120B 是白鹿·龙腾（BAILU-APEX）系列最新发布的旗舰代码模型，总参数量约 120B，激活参数约 12B，采用 MoE 混合架构（Mamba-2 + MoE + Attention 混合，配合多 token 预测 MTP），面向代码任务进行全链路优化。
核心特性
- 100 万 token 上下文：支持最长 1M token 的输入窗口，可一次性加载大型代码库、多项目依赖与完整技术文档，为复杂代理任务提供充足的信息基础。
- MoE 混合架构：采用 Mamba-2 状态空间模型（SSM）、MoE 混合专家与 Attention 的交替堆叠设计。Mamba-2 通过线性复杂度处理长序列，MoE 层实现专家路由与稀疏激活（约 12B 激活参数），配合多 token 预测（MTP）共享权重设计，支持原生推测解码（Speculative Decoding），在超长上下文中兼顾推理质量与生成速度。
- 面向代码任务：在 SWE-Bench、代码补全、重构、测试生成等场景深度优化，能够理解跨文件依赖、调用栈与项目结构。
- BF16 / F8 混合精度：支持 BF16 与 F8_E4M3 量化，关键层（如 latent 投影、MTP 层、QKV 投影、embedding）保持 BF16 以保障训练稳定性，其余线性层可采用 F8 以降低显存占用，适配 A100、H100 等数据中心级 GPU 部署。
| 规格项 | BaiLu-Apex-120B |
|---|---|
| 总参数量 | 约 120B |
| 上下文长度 | 最高 1M tokens |
| 架构 | MoE 混合（Mamba-2 + MoE + Attention + MTP），约 12B 激活参数 |
| SWE-Bench Verified | 65.5% |
| 主要场景 | 代码理解、重构、测试生成、多仓迁移 |
与 BaiLu-Apex-172B 的对比
白鹿 APEX 系列同时提供 BaiLu-Apex-172B，在 SWE-Bench Verified 上达到 79.8% 的更高通过率，但上下文窗口为 192K tokens。两者定位不同：
| 规格项 | BaiLu-Apex-120B | BaiLu-Apex-172B |
|---|---|---|
| 参数量 | 约 120B | 约 172B |
| 上下文长度 | 1M tokens | 192K tokens |
| SWE-Bench Verified | 65.5% | 79.8% |
| 适用场景 | 超长上下文、智能体、多仓分析 | 单任务代码修复、高精度场景 |
若任务需要加载大型代码库、多文档检索或 OpenClaw 等智能体长上下文工作流，BaiLu-Apex-120B 的 1M 上下文更具优势；若以单仓、单任务代码修复为主且追求更高通过率，BaiLu-Apex-172B 更为合适。
BaiLu-Apex-OpenClaw：原生支持 OpenClaw 的 RL 强化版
BaiLu-Apex-OpenClaw 是 BaiLu-Apex-120B 的强化学习（RL）升级版本，参数量扩展至约 139B。整个 RL 训练在白鹿伦理承诺框架下完成，确保模型在获得更强智能体能力的同时，严格遵循安全与伦理准则。RL 阶段采用 MoE 优化训练栈（分组矩阵乘、Split LoRA 等），并结合长上下文训练技术（分块交叉熵、梯度检查点、Tiled MLP 等），在单卡 80GB 级 GPU 上支持 500K+ 上下文的高效微调，为 1M 上下文智能体能力奠定基础。
OpenClaw 智能体适配
OpenClaw 是面向终端与开发环境的智能体框架，需要模型具备工具调用、多步推理、长上下文理解与安全边界意识。BaiLu-Apex-OpenClaw 针对 OpenClaw 的接入协议与工作流进行了专门优化：
- 1M 上下文支持：与基础版一致，支持最长 100 万 token 上下文，满足智能体对大型代码库与多文档的检索与理解需求。
- 工具调用与多步推理：在 RL 阶段强化了工具使用、命令执行与多轮协作能力，支持 Qwen3 Coder 格式的 tool call 解析，能够按
OpenClaw 规范完成复杂任务编排。推理时可配置
enable_thinking开启/关闭思考链，或使用low_effort降低推理 token 消耗。 - API 接入：可通过白鹿 API 平台以模型 ID
bailu-apex-openclaw直接接入，兼容 OpenAI Chat Completions API，便于与 OpenClaw、Cline、Claude Code 等智能体框架集成。
增强安全措施
在智能体场景中，模型可能被请求执行高危操作，如删除数据库、清空存储、执行不可逆的系统命令等。BaiLu-Apex-OpenClaw 在白鹿伦理框架下进行了系统性安全强化：
- 敏感操作拒绝：有效拒绝所有涉及删库、最大备份覆盖、不可逆数据销毁等敏感安全问题的请求。即使请求以「已有最大备份」「测试环境」「演练」等名义提出，模型仍会坚守安全边界，不提供可被滥用的操作指导。
- 可调安全阈值：支持根据企业合规需求调整安全阈值，在严格模式与适度灵活之间取得平衡，适配不同行业与场景。
- 宪法式对齐：继承白鹿 Constitutional AI 机制，模型在生成前会隐式评估输出是否符合安全原则，对边界案例进行自我修正或明确拒绝。
| 规格项 | BaiLu-Apex-OpenClaw |
|---|---|
| 总参数量 | 约 139B（RL 强化后） |
| 上下文长度 | 最高 1M tokens |
| 适配框架 | OpenClaw |
| PinchBench | 85.4% |
| 安全特性 | 敏感操作拒绝、可调安全阈值、宪法式对齐 |
| API 模型 ID | bailu-apex-openclaw |
PinchBench 基准：85.4% 任务成功率
PinchBench 是 Kilo Code 团队开发的开源基准测试系统，用于评估大型语言模型作为 OpenClaw 编码代理核心的表现。该系统运行一组固定真实世界任务，计算代理的任务完成成功率，同时记录执行速度和成本。所有结果通过公开排行榜 pinchbench.com 显示。
BaiLu-Apex-OpenClaw 在 PinchBench 上达到 85.4% 的任务成功率，跻身 OpenClaw 智能体模型第一梯队。
PinchBench · OpenClaw LLM Model Benchmarking
Success Rate by Model · 截至 2026 年 3 月 18 日
数据来源：pinchbench.com · Powered by Kilo Code
白鹿伦理框架下的 RL 训练
BaiLu-Apex-OpenClaw 的 RL 训练严格遵循白鹿 AI 的伦理承诺：训练端第三方模型审核、Constitutional AI 宪法式监督、API 层实时安全检测，以及多维度伦理框架。
强化学习规模与架构
BaiLu-Apex-OpenClaw 基于 BaiLu-Apex-120B 预训练模型，通过大规模强化学习构建。RL 阶段采用异步 GRPO（Group Relative Policy Optimization）在多环境（数学、代码、工具调用、多轮对话、结构化输出等）中并行优化。训练与推理在独立 GPU 上解耦，结合 MTP（多 token 预测）加速 rollout 生成，并通过 RLHF 进一步打磨对话质量。面向编码任务的强化学习可随规模扩大持续提升智能水平，改进在处理具有挑战性的任务时最为显著。
在 MoE 模型 RL 训练中，白鹿采用分组矩阵乘（torch._grouped_mm）与自定义 Triton MoE 核，显著降低显存占用并加速专家前向计算；同时使用
Split LoRA 等参数高效微调策略，避免对全量专家权重做 merge，在长序列下获得更好的内存与吞吐表现。长上下文 RL 则依赖分块交叉熵损失（chunked
cross-entropy）、激活卸载式梯度检查点，以及 Tiled MLP 等长序列训练技术，使 500K+ 上下文微调在单卡 80GB GPU 上可行，为 1M
上下文智能体能力提供训练基础。相关技术实践可参考 Unsloth 500K 上下文微调 与 MoE
加速训练 文档。
思考型推理与自适应策略
BaiLu-Apex-OpenClaw 是「思考型」模型：在响应查询时，模型会生成思考 token（thinking token，对应
<think>...</think>
格式），对代码库进行推理并规划下一步操作。思考阶段对智能体能力至关重要。为在速度与智能之间取得平衡，模型被训练为：在简单问题上以尽量少的思考快速作答，而在困难问题上则持续思考，直到找到令人满意的答案。用户可通过
enable_thinking 或 low_effort 参数灵活控制推理深度与 token 消耗。MoE 微调时建议在数据集中保持约
75% 推理样本与 25% 非推理样本的比例，以维持模型的推理能力。
自我总结与长任务支持
为处理运行时间更长的智能体任务，BaiLu-Apex-OpenClaw 具备自我总结（self-summarize）能力。当可用上下文即将耗尽时，模型会生成有用的总结，并基于总结继续探索解决方案；在困难样例上，该过程可递归触发多次。自我总结使模型在上下文长度变化时，仍能基本保持原有准确度，有效支撑 1M 上下文下的长程代理工作流。
安全边界强化
- 奖励信号与偏好数据均经过安全审核，避免模型学习到有害或高风险行为模式。
- 针对智能体场景中常见的「删库」「覆盖最大备份」「执行危险命令」等请求，模型在训练中反复强化拒绝策略，形成稳定的安全边界。
- 企业可根据自身合规要求，通过 API 参数或部署配置调整安全阈值，在保障核心安全的前提下，兼顾开发效率与灵活性。
相关思路可参考：Cursor Composer 1.5 的思考型推理与自我总结设计；Nemotron 3 的推理 token 格式与推理参数建议。
如何接入 BaiLu-Apex-OpenClaw
BaiLu-Apex-OpenClaw 已上线白鹿 API 开放平台，开发者可通过以下方式接入：
API 端点：https://bailucode.com/openapi/v1
模型 ID：bailu-apex-openclaw
协议：兼容 OpenAI Chat Completions API，支持流式与非流式调用
推荐参数：通用对话建议
temperature=1.0、top_p=1.0；工具调用与编码代理场景建议
temperature=0.6、top_p=0.95。max_new_tokens 可设为
32,768–262,144（标准提示），最高支持 1M；深度推理或长文本生成可根据显存适当提高。编码代理场景可传入
extra_body={"chat_template_kwargs": {"force_nonempty_content": true}} 以保障输出完整性。
访问 白鹿 API 开放平台 获取 API Key 与完整文档，即可将 BaiLu-Apex-OpenClaw 集成到 OpenClaw、Cline、Claude Code 等智能体环境中。
选型建议与展望
BaiLu-Apex-120B 与 BaiLu-Apex-OpenClaw 构成了白鹿在超长上下文代码模型与智能体场景的完整布局：前者为最新发布的 MoE 混合架构（Mamba-2 + MoE + Attention + MTP）代码模型，专注 1M 上下文能力；后者在此基础上通过 RL 强化实现原生 OpenClaw 接入与增强安全防护。两者均支持 100 万 token 上下文，为大规模代码库分析、多步代理任务与复杂软件工程自动化提供强大基础。
对于希望通过 OpenClaw 等智能体框架构建自动化研发平台的团队，BaiLu-Apex-OpenClaw 在能力与安全之间取得了明确平衡：既能完成高难度的代码代理任务（PinchBench 85.4%），又能有效拒绝敏感高危操作（包括删库、最大备份覆盖等），是企业级智能体接入的理想选择。