LLM4MTLs：模型转换语言的自动化生成与实证评估
LLM4MTLs：模型转换语言的自动化生成与实证评估
[提交于2026年6月23日]
作者： Bowen Jiang, Nathan Hagel, Haowei Cheng, Benedikt Jutz, Arne Lange, Weixing Zhang, Rahul Sharma, Ralf Reussner, Anne Koziolek
摘要： 模型转换语言（MTLs）是用于将符合给定元模型的模型转换为其他模型（包括文本模型如源代码）的领域特定语言。开发正确的模型转换具有挑战性，既需要语言特定知识，也需要领域知识，这推动了使用大语言模型（LLMs）进行MTL代码生成的动机。然而，由于训练数据和可执行示例有限，LLM生成的MTL代码往往在语法上不合法或在语义上无法开箱即用。本文提出了LLM4MTLs，一个用于构建和比较LLM生成的MTL代码的提示策略的自动化工作流，并附带了评估套件和实证评估。该工作流系统地探索了结合少样本提示（few-shot prompting）、语法提示（grammar prompting）和辅助方法包含的提示构建方式，并使用语法和语义指标对其进行评估。我们构建了一个跨越四种MTL（ATL、ETL、QVTo和Reactions语言）的评估套件，其中包含可执行参考脚本和手动编写的测试套件，并在三个LLM上进行评估。我们发现，少样本提示在所有四种MTL上持续改善了语法质量，而语义正确性的提升则不均匀且依赖于具体语言。对于ATL，Pass@1在所有策略和模型上保持不变，这表明少样本提示更容易改善表层语法而非深层转换语义。当与少样本示例结合使用时，语法提示能稳定代码生成，但在某些模型-语言组合中单独使用时可能无效甚至适得其反。将辅助方法作为互补增强器也可能是有益的。最后，LLM的选择会影响某些MTL（尤其是ETL和QVTo）的语法正确性和相似性，但其对语义正确性的影响仍然有限。