LLMs擅长理解和生成人类般的文本，使其能够理解并生成模仿人类语言的回应，改善机器与人类之间的沟通。这些模型在语言翻译、摘要、问答、文本生成、情感分析等各种任务中具有多样性和适应性。它们的灵活性使其可以在各行各业和各种应用中使用。
然而，LLMs有时会出现错觉，导致产生可信的错误陈述。GPT模型等大型语言模型在语言理解和生成方面非常先进，但由于多种原因，仍然可能产生虚构的响应。如果向模型提供的输入或提示是模糊的、矛盾的或误导性的，模型可能会基于它对输入的理解生成错误的响应。
Google DeepMind的研究人员通过提出一种称为FunSearch的方法来克服这一限制。它将预训练的LLM与评估器相结合，可以防止虚构和错误的想法。FunSearch通过组合多个重要因素，将初始评分较低的程序演变为评分较高的程序，以发现新知识。FunSearch生成能够解决问题的程序。
FunSearch作为一个迭代过程运行，在每个周期中，系统从当前程序池中选择特定的程序。然后，这些选定的程序经过LLM处理，LLM在其基础上进行创新性扩展，生成经过自动评估的新程序。其中最有前景的程序被重新引入现有程序池中，建立起一个自我增强的循环。
研究人员抽样表现较好的程序，并将其作为提示输入LLMs以改进它们。他们从一个初始程序开始，作为骨架，并只发展管控部分的关键程序逻辑。他们设置一个贪婪的程序骨架，并通过在每一步上放置优先级函数来做决策。他们使用基于岛屿的进化方法来维持一个多样化的程序池。他们异步地扩展它，以扩大他们的方法的适用范围，寻找新的结果。
FunSearch使用与装箱问题相同的一般策略。它不是将物品放入容量最小的箱子中，而是仅当放置物品后适应度非常紧密时才将物品分配给容量最小的箱子。这种策略消除了不太可能填充的小箱隙。FunSearch的一个关键组成部分是，它在程序空间中运行，而不是直接搜索构造。这使得FunSearch具有真实世界应用的潜力。
当然，这只是初始阶段。FunSearch的进展将自然地与LLMs的整体发展相一致。研究人员致力于扩展其功能，以解决社会中的各种重要科学和工程挑战。