准确追踪用户交互行为是促进计算机智能能力提升的基石。这项任务在开发和训练智能系统中起着至关重要的作用。这些系统的有效性取决于对用户交互行为的仔细检查和系统记录。
Duck AI的研究人员开发了DuckTrack，以准确记录各种输入，以便能够将这些数据用于正确训练计算机智能代理。DuckTrack通过与主要操作系统兼容的用户友好型桌面应用程序提供了一种同步收集鼠标、键盘、屏幕视频和音频数据的方法。
此外，DuckTrack启动了社区数据收集倡议。这一开源努力邀请贡献者参与收集多样化的计算机交互数据。DuckTrack在所有主要操作系统上运行流畅，并且使用Python创建。DuckTrack的特色概述展示了其对鼠标和键盘动作的精确记录和回放能力。研究人员表示，将屏幕录制与OBS集成可以进一步提升其多功能性。
对于DeepTrack，在绘图任务中结构相似性指数（SSIM）始终超过0.9。每个事件都以0.03ms ± 0.4ms的较低误差范围进行记录，超过了市场上现有跟踪器的准确性。DuckTrack在性能指标方面具有卓越的表现，这使其成为追求顶级跟踪和回放解决方案的可靠选择。
但DuckTrack也存在某些限制。在回放过程中模拟双击或三击实际上是一个挑战，影响了这些动作的准确性。此外，DuckTrack无法记录触控板手势，并且在涉及原始信息（如游戏）的情况下存在一些限制。开发人员正在积极努力解决这些限制，并通过持续与社区互动来提高DuckTrack的功能。
研究人员在不同系统上进行了DuckTrack的测试，包括运行macOS Sonoma 14.0的M2 Pro MBP 14以及运行PopOS! 22.10（基于Ubuntu）和Windows 10 22H2的Intel i7-10510U System76 Lemur Pro 9。他们在ReCAPTCHA任务上测试了DuckTrack，这是人类运动的代理，结论是它在十次尝试中表现出100％的成功率。虽然硬件差异可能会略微影响性能，但跨操作系统的准确性一致性强调了DuckTrack的可靠性。
研究人员将很快宣布有关贡献和设置数据收集的详细指南，鼓励集体努力来改进和完善DuckTrack的功能。
DuckTrack在收集计算机交互数据方面被证明是一项革命性的工具。凭借对精度的执着、不断的社区参与和对改进的重视，DuckTrack成为寻求卓越回放和跟踪功能的个人和企业的首要选择。DuckTrack正在为更精密和无缝的多模式计算机交互体验铺平道路。
在此处下载适用于您的系统的预构建应用程序。