评估大规模语言模型（LLMs）在处理新知识方面是具有挑战性的。北京大学的研究人员引入了KnowGen，一种通过修改现有实体属性和关系来生成新知识的方法。名为ALCUNA的基准评估LLMs在知识理解和区分能力方面的能力。他们的研究表明，LLMs在新知识与内部知识推理方面经常遇到困难。这强调了在将LLMs应用于新场景时要谨慎，并鼓励LLMs在处理新知识方面的发展。
像FLAN-T5、GPT-3、OPT、LLama和GPT-4这样的LLMs在各种自然语言任务中表现出色，并应用于商业产品。现有的基准评估它们的性能，但依赖于现有知识。研究人员提出了Know-Gen和ALCUNA基准来评估LLMs在处理新知识方面的能力。它强调了在使用LLMs处理新场景或专业知识时需要谨慎，并旨在推动该领域的发展。
LLMs在各种任务中表现出色，但现有的基准可能需要衡量它们处理新知识的能力。提出了新的标准来解决这一差距。由于信息的不断演变，评估LLMs在新知识上的表现非常重要。重叠的训练和测试数据可能会影响记忆评估。构建一个新的知识基准是具有挑战性但必要的。
Know-Gen是一种通过修改实体属性和关系来生成新知识的方法。它使用零-shot和少-shot方法以及具有链式思考推理形式来评估LLMs。他们的研究探讨了人工实体相似性对父级实体的影响，并评估了属性和名称相似性。在这些基准上评估了多个LLMs，包括ChatGPT、Alpaca-7B、Vicuna-13B和ChatGLM-6B。
评估LLMs在处理新知识方面的能力的ALCUNA基准的表现可以更好，特别是在新知识与现有知识之间的推理方面。ChatGPT表现最好，Vicuna是第二好的模型。少-shot设置通常优于零-shot设置，而CoT推理形式更为优越。LLMs在知识关联和多跳推理方面最困难。实体相似性对它们的理解有影响。他们的方法强调了在新知识上评估LLMs的重要性，并提出了Know-Gen和ALCUNA基准以促进这一领域的进展。
该方法仅限于生物数据，但在遵循本体表达的其他领域具有潜在适用性。由于封闭源模型和规模的限制，评估被限制在少数LLM模型上，需要与更广泛范围的模型进行评估。它强调了LLMs处理新知识的重要性，但对当前基准的限制进行了广泛的分析。它也没有解决使用Know-Gen方法生成新知识或在新知识环境中负责任使用LLMs可能涉及的潜在偏见或伦理问题。
KnowGen和ALCUNA基准可以帮助评估LLMs在处理新知识方面的能力。虽然ChatGPT表现最好，Vicuna排名第二，但LLMs在新知识与现有知识之间的推理中的表现可以更好。少-shot设置优于零-shot设置，CoT推理形式更为优越。LLMs在知识关联方面存在困难，强调了需要进一步发展。它呼吁在使用LLMs处理新知识时要谨慎，并预计这些基准将推动该领域的LLM发展。