Translate this html (keep the html code in the result) to Chinese:
康奈尔大学的研究人员进行了一项研究，解决了语言模型逆推的问题。他们发现下一个标记的概率包含了有关前文的重要信息。为了解决这个问题，他们引入了一种方法，仅使用模型当前的分布输出来重构未知的提示，他们发现这种方法非常准确。
语言模型逆推的方法是在计算机视觉中反转深度嵌入的先前研究基础上的一种新技术。它旨在通过从语言模型输出中恢复隐藏的提示来解决文本嵌入的隐私问题。这种方法是独特的，并与自然语言处理模型中的模型逆推、成员推理和模型窃取之前的研究相关。该研究强调提示恢复作为应对隐私问题的一种方法。
该研究解决了语言模型逆推的问题，旨在从模型的下一个标记概率中恢复输入提示，这在用户无法访问原始提示的情况下至关重要。他们强调了语言模型预测的可逆性，并展示了相似或准确提示的恢复。该研究探索了包括仅文本访问在内的各种访问模式，证明了有限信息下的提示恢复的可行性。
该研究引入了一种从语言模型的分布输出中恢复未知提示的方法。它使用了基于Transformer模型训练的条件语言模型，将下一个标记的概率映射到标记。使用编码器-解码器Transformer中的交叉注意力，将向量展开为伪嵌入。在Llama-2 7b数据集上的实验展示了反转提示的定性示例。他们建立了基线，包括越狱字符串，以进行性能比较。
研究提出的逆推方法在Instructions-2M测试集中恢复提示方面表现出色，超过了few-shot提示和GPT-4。它在各种模型访问场景下取得了成功，实现了显著的BLEU分数和标记级别F1的Llama-2 7b数据集。还探讨了对不同大小的模型的可转移性，展示了在代码生成任务中的良好性能。定性分析显示，重构的提示与主题相关且句法相似，表明逆推方法在准确恢复语言模型输出的提示方面非常有效。
总之，该研究显示语言模型逆推是一种可靠的方法，可以从模型的输出分布中恢复提示。为了防止逆推攻击，重要的是实施防御机制，如添加噪音和设置限制访问。实验证明模型概率分布可以通过启用采样进行重构。但建议限制对top-logits的访问，并为提示保护将温度设为0。结果证实，语言模型逆推是一种有效的方法，可以准确地从语言模型中恢复隐藏的提示。
语言模型逆推的未来工作可以深入研究输入单个后缀以生成多个下一个标记预测，而不仅仅是在末尾。研究可以关注不同大小和领域的模型之间逆推的可转移性。研究对各种防御机制的影响，包括添加噪音和限制访问top-logits，提供了一个有价值的探索方向。将标记嵌入与概率值相结合的参数化可以提高逆推模型的性能。将该方法应用于代码生成等多样任务的探索将提供对其更广泛用途的洞察。进一步分析还需要了解提示恢复的限制和挑战，特别是在处理专有名词和改进句法相似性方面。