四海吧 Posts

由Google Research的研究工程师Eltayeb Ahmed和高级研究科学家Subhrajit Roy发布 阅读对年轻学生有很多好处，比如更好的语言和生活技能，而且阅读的乐趣已被证明与学业成就相关。此外，学生通过阅读报告表明情绪健康得到改善，也有更好的常识和对其他文化的更好理解。在线和离线阅读材料数量庞大，找到适合年龄、相关和有吸引力的内容可能是一项具有挑战性的任务，但帮助学生做到这一点是促使他们参与阅读的必要步骤。提供学生相关阅读材料的有效推荐有助于保持学生的阅读兴趣，这就是机器学习（ML）的用武之地。 ML在构建各种数字内容的推荐系统中得到广泛应用，范围从视频到书籍到电子商务商品。推荐系统在各种数字平台上被用于帮助用户发现相关且有吸引力的内容。在这些系统中，根据用户喜好、用户参与度以及推荐项，ML模型经过训练以为每个用户推荐项目。这些数据为模型提供了强有力的学习信号，使其能够推荐可能感兴趣的项目，从而提高用户体验。 在“STUDY: 社会感知时间因果解码推荐系统”中，我们提出了一种在教育环境中针对有听觉障碍学生的有声书内容推荐系统，考虑到阅读的社交性质。我们与教育非营利组织Learning Ally合作开发了STUDY算法，旨在通过学校全员订阅计划为学生提供有声书籍，推广阅读。通过利用Learning Ally图书馆中丰富的有声书籍，我们的目标是帮助学生找到合适的内容，提升他们的阅读体验和参与度。受到“一个人的同伴当前在读什么对他们找到有趣的阅读材料有重大影响”的事实的启发，我们共同处理在同一教室里的学生的阅读参与历史。这使得我们的模型能够从学生所在社交群体（在本例中是教室）中获得当前流行的实时信息。 数据 Learning Ally拥有一个大型的针对学生的有声书籍数字图书馆，非常适合构建社交推荐模型以帮助提高学生的学习成果。我们获得了两年的匿名化有声书籍消费数据。所有学生、学校和分组的数据均经过匿名化处理，仅由Google生成的随机ID标识，无法追溯到真实实体。此外，所有可能识别的元数据仅以聚合形式共享，以保护学生和机构免受重新识别。数据包括学生与有声书籍的互动的时间戳记录。对于每个互动，我们有一个匿名化的学生ID（包括学生的年级水平和匿名化的学校ID）、有声书籍标识符和日期。虽然许多学校将同一年级的学生分配到多个教室，但我们利用这些元数据做出简化的假设，即同一学校和同一年级水平的学生在同一个教室。虽然这为构建更好的社交推荐模型提供了基础，但重要的是要注意，这并不能使我们重新识别个人、班级群体或学校。 STUDY算法 我们将推荐问题构建为点击率预测问题，在此问题中，我们建模用户在特定项目上与用户特征和项目互动历史序列之间的条件概率。先前的工作表明，Transformer模型是适用于建模这个问题的广泛使用的模型类别，这是由Google Research开发的。当每个用户独立处理时，这变成了一个自回归序列建模问题。我们使用这个概念框架来建模我们的数据，然后将这个框架扩展为创建STUDY方法。 虽然这种点击率预测方法可以建模一个个用户过去和未来的项目偏好之间的依赖关系，并且可以在训练时学习跨用户的相似性模式，但它不能在推理时建模不同用户之间的依赖关系。为了认识到阅读的社交性质并解决这个缺点，我们开发了STUDY模型，它将每个学生阅读的多个书籍序列连接成一个单一序列，从多个学生在同一个教室中收集数据。 然而，这种数据表示需要仔细处理，以便可以由transformers模型建模。在transformers中，注意力掩码是控制哪些输入可以用于为哪些输出提供预测的矩阵。使用先前序列中的所有令牌来提供输出的预测模式导致传统上在因果解码器中找到的上三角形注意力矩阵。然而，由于输入到STUDY模型的序列没有时间顺序，尽管其各个子序列是有序的，标准的因果解码器不再适合此序列。当尝试预测每个令牌时，模型不允许关注序列中在其之前的每个令牌；其中一些令牌可能具有较晚的时间戳，包含的信息在部署时将不可用。 在这个图中，我们展示了通常在因果解码器中使用的注意力掩码。每一列代表一个输出，每一行代表一个输入。在特定位置的矩阵条目的值为1（显示为蓝色）表示模型在预测相应列的输出时可以观察到该行的输入，而值为0（显示为白色）表示相反。 STUDY模型基于因果变压器，通过用基于时间戳的灵活注意力掩码替换三角形矩阵注意力掩码，允许在不同子序列之间进行注意力。与常规变压器相比，后者不允许在不同子序列之间进行注意力，并且在序列内部具有三角形矩阵掩码，STUDY在序列内部保持因果三角形注意力矩阵，并且具有依赖于时间戳的序列之间的灵活值。因此，序列中任何输出点的预测都受到相对于当前时间点的过去发生的所有输入点的影响，无论它们在序列中的当前输入之前还是之后出现。这种因果约束非常重要，因为如果在训练时不强制执行，模型可能会学习使用未来的信息进行预测，而这在实际部署中是不可用的。 在（a）中，我们展示了一个顺序自回归变压器，具有因果注意力，它逐个处理每个用户；在（b）中，我们展示了一个等效的联合前向传递，其结果与（a）相同；最后，在（c）中，我们展示了通过在注意力掩码中引入新的非零值（显示为紫色），我们允许信息在用户之间流动。我们通过允许预测基于较早时间戳的所有交互，无论交互是否来自同一用户，来实现这一点。 实验 我们使用Learning Ally数据集训练了STUDY模型，并与多个基准模型进行了比较。我们实现了一个自回归点击率变压器解码器，我们称之为“Individual”，一个k最近邻基准模型（KNN），以及一个可比较的社交基准模型，社交注意力记忆网络（SAMN）。我们使用第一个学年的数据进行训练，使用第二个学年的数据进行验证和测试。 我们通过测量用户实际交互的下一个项目在模型的前n个推荐中的时间百分比来评估这些模型，即hits@n，对于不同的n值。除了在整个测试集上评估模型之外，我们还报告了模型在两个比整个数据集更具挑战性的测试集子集上的得分。我们观察到学生通常会在多个会话中与有声读物进行交互，因此仅仅推荐用户最后阅读的书籍将是一个强大的平凡推荐。因此，第一个测试子集，我们称之为“非连续”，是指我们只关注每个模型在学生与与之前交互不同的书籍进行推荐时的性能。我们还观察到学生会重读他们过去阅读过的书籍，因此可以通过限制为每个学生推荐仅限于他们过去阅读过的书籍来实现对测试集的强大性能。尽管向学生推荐旧的喜爱书籍可能有价值，但推荐系统的很大价值来自于推荐用户新的、未知的内容。为了衡量这一点，我们在测试集的子集上评估模型，其中学生第一次与某个标题进行交互。我们将这个评估子集命名为“新颖”。…