国人在GitHub开源的一个 #深度学习 系统:Colossal-AI,可用于AI大规模并行训练。仅需一半数量的GPU,便能完成相同效果的GPT-3训练工作,极大降低了项目研发成本!

该项目创始人,同时也是LAMB优化器的提出者尤洋教授,在Google实习期间,曾凭借LAMB,打破了BERT预训练世界纪录
 
 
Back to Top