一般提示词生成的代码漏洞百出,通过提示词工程 (prompt programming / or prompt
engineering)来改善代码生成的质量
使用一个数据集(涉及7000余条经过提示词工程的提示词),在3个LLM上探讨代码生成的质量、相似性等。
结果:发现了一些提示词工程对于代码生成的优化无用。并且需要在质量和正确性上做出权衡
结合标题和摘要,本文探究的是提示词工程对于代码生成的影响。
结论:
1.在代码生成上提示词工程并没有想象的那么有作用
2.提供要生成的函数示例,要生成的函数类型,函数签名,能够显著提高代码生成的正确率
3.正确性和质量二者不可兼得。
后续工作:
研究代码生成的其它度量(如性能);
探索研究结果是否适用于其它的代码生成任务(line completion, program repair, or the generation
of full applications)。
