今天的主要搜索方法通常依赖于关键词匹配或向量空间相似度来估计查询和文档之间的相关性。然而，当使用整个文件、论文甚至书籍作为搜索查询时，这些技术往往面临困难。
基于关键词的检索
虽然关键字检索在短期查找方面表现出色，但它们无法捕捉长篇内容所需的语义。一个正确讨论“云平台”的文档可能会被一个寻求“AWS”专业知识的查询完全忽略。在长篇文本中，确切的术语匹配经常面临词汇不匹配的问题。
向量相似度搜索
现代向量嵌入模型如BERT将意义压缩为几百个数值维度，准确估计语义相似性。然而，由于计算爆炸，具有自注意力的转换器架构在512-1024个标记之外无法扩展。
没有完全摄取文档的能力，结果会导致“词袋”部分嵌入丢失了分散在各个部分中的细微意义。语境在抽象中丢失。
过高的计算复杂性也限制了对大多数实际语料库的微调，限制了准确性。无监督学习提供了一种替代方案，但缺乏可靠的技术。
在一篇最近的论文中，研究人员通过重新构想超长查询和文档的相关性来解决这些陷阱。他们的创新为AI文档搜索开辟了新的潜力。
长文档的问题
当查询超过几千个词时，当前的主流搜索范例无法有效运作。面临的主要问题包括：
- 像BERT这样的转换器具有二次自注意力复杂度，使得对超过512-1024个标记的序列变得不可行。它们的稀疏注意力选择会损害准确性。
- 基于词汇的模型通过精确的词项重叠匹配无法推断长篇文本的语义相似性。
- 大多数领域集合缺乏标记训练数据，这需要……