White Circle 开源 Halo 后训练框架
💡 灵机 AI 深度洞见与核心提炼
White Circle 开源分布式后训练框架 Halo,面向已超出 HuggingFace TRL 能力、但无需完整 Megatron 栈的模型。在 8× B300 上,Halo 训练吞吐量最高达原生 TRL 的约 2.8 倍,双方均启用 ZeRO-3 分片时峰值内存还低 25%。模型保持原生 HuggingFace 格式,可直接跑多轮 RL,从单 GPU 扩展到集群。
信源媒体:X:Rohan Paul (@rohanpaul_ai)
访问出处网页 ↗