自动补全，即应用程序预测文本输入中的下一个条目，在当代消息传递和其他写作任务中已经得到广泛的使用。它也是用于计算机编程的集成开发环境（IDE）最重要的特性之一。最近的研究表明，自动补全可以通过深度学习来实现，通过使用从程序员的 IDE 活动中收集的真实数据集进行的训练，软件语言模型能够显著提高准确性。然而，不太流行的编程语言的一个常见问题是，可用的 IDE 数据集可能不足以用来训练 AI 模型。
Facebook 的一个研究团队在一篇论文中展示了如何利用迁移学习（Transfer Learning）功能对自动完成预测任务进行微调，来实现对非 IDE、非自动完成和不同语言示例代码序列的预训练。该方法将模型准确性在非常小的微调数据集上提高了 50%以上，在 50k 标记的示例上提高了 10%以上。
