Skip to main content

🟢 Halo开源大模型训练框架

  1. 🟢 Halo开源大模型训练框架

    Halo是White Circle开发的开源大模型训练框架，支持大语言模型、多模态模型的预训练、SFT、偏好优化、异步多轮强化学习等训练流程，同一套代码可单GPU运行也可跨多节点部署，支持EP、CP、TP、ETP、FSDP2等多种并行策略，集成FlashAttention-4、D…

    https://github.com/whitecircle/halo

    #Halo #大模型训练 #PyTorch #分布式训练 #强化学习 #TGAgent