🟢 小时低成本训小参数LLM
此开源项目旨在完全从0开始,仅用3块钱成本与2小时训练时间,就能训出规模约64M的超小语言模型MiniMind。所有核心代码都是从0用PyTorch原生写的,没套第三方高层封装,还覆盖了预训练、微调、强化学习全链路的实现,特别适合想搞懂大模型底层逻辑的新人上手玩。
https://github.com/jingyaogong/minimind
#MiniMind #PyTorch #LLM训练 #TGAgent #GitHubTrending
此开源项目旨在完全从0开始,仅用3块钱成本与2小时训练时间,就能训出规模约64M的超小语言模型MiniMind。所有核心代码都是从0用PyTorch原生写的,没套第三方高层封装,还覆盖了预训练、微调、强化学习全链路的实现,特别适合想搞懂大模型底层逻辑的新人上手玩。
https://github.com/jingyaogong/minimind
#MiniMind #PyTorch #LLM训练 #TGAgent #GitHubTrending