将手写高斯误差线性单元换成 PyTorch 内置函数，大语言模型训练吞吐提升约19%

一位作者分享了大语言模型训练优化案例：将手写的高斯误差线性单元（GELU）替换为 PyTorch 内置实现后，训练吞吐量从每秒2.1万令牌提升至2.5万令牌，增幅约19%，效果明显超出预期。该结果说明，在实际训练中优先使用框架已优化的函数，可能带来直接的性能收益；不过这属于单一案例，影响主要集中在相关工程实践。