协同更优，顺序关键：先经典后大语言模型的软件工程优化
论文信息
论文信息
摘要
越来越多的研究工作将大语言模型（LLM）与经典优化器相结合，以解决软件工程（SE）中的配置任务。通常，经典优化器占据主导地位：它掌控搜索循环，仅在子程序（例如热启动初始种群、提出变异方案或作为代理模型替代）中调用LLM。我们报告称，反向方法——即先用廉价经典学习器的结果对LLM进行初始化——具有巨大价值。
我们将这种方法命名为SNAP2。在超过100个SE任务上的应用表明，它是所有研究过的方法中唯一最优的：在85%的任务中达到顶级水平，超越单独运行同一LLM的方法（75%），也超越所有经典优化器保持控制的方法。同时，它的成本更低：相对于单独使用LLM的方法，它大约节省30%的令牌用量，运行速度快1.4倍，因为经典设置完成了廉价工作，而LLM仅用于收尾。
我们的结论是：孤立研究经典学习器或LLM是不明智的——将两者结合，并关注结合的顺序，具有重大价值。