Linux Lazy Unmap Flush “LUF” 将 TLB 击降率降低 97%，提高 AI LLM 性能-Linuxeden开源社区

SK 一直在开发一种称为 Lazy Unmap Flush “LUF” 的 Linux 内核功能，以延迟 TLB 刷新，直到作品集被取消映射并最终再次分配释放。

这项 Lazy Unmap Flush 工作是在使用 CXL 内存的分层内存的服务器上遇到大量 TLB 击降的迁移开销后开始的。

最终结果是最有趣和最重要的：LUF 补丁产生的 TLB 击降中断减少了约 97%。此外，使用带有大型语言模型（LLM）的 Llama.cpp 的测试程序运行时间缩短了约 4.5%。

Linux Lazy Unmap Flush “LUF” 将 TLB 击降率降低 97%，提高 AI LLM 性能

最新的 Lazy Unmap Flush 补丁通过运行具有 140GB 内存的 AI LLM 推理工作负载来证明其稳定性，从而对最新的 Lazy Unmap Flush 补丁施加了一周的压力。例如，TLB 击降中断的大幅减少和 Llama.cpp AI 运行时的几个百分点的增益是相当有希望的。

那些对这些 “request for comments” 补丁感兴趣的人可以在 Linux 内核邮件列表中找到最新的补丁。