GPU 内核,第二部分:用监督微调和 GPU 训练场教会 27B 模型写 Triton 内核

在 第一部分 里,我们剖析了 GPU 内核的底层原理——为什么算子融合和内存分块如此重要,以及 KernelBench 这类基准测试如何评估大语言模型(LLM)写出的内核是否真能跑赢 PyTorch。本文是动手实践的续篇。我们拿开源模型 Qwen3.8-27B 开刀,分两个阶段训练它写 Triton 内核:先是在 2,034 个高质量内核上做监督微调(SFT),这些内核全部在 NVIDIA H100 上重新验证过;然后把它放进一个自动化的 GPU 训练场做强化学习(RL),每个候选内核都会经过编译、正确性验证和性能跑分。 在标准的 200 道 KernelBench 题目上评估(每题只做一次贪