语言模型预训练

Sophia是一个新颖的优化器，它可以以两倍于Adam的速度解决LLMs。