Trey Doig 是 Pathlight 的联合创始人兼首席技术官。Trey 在科技行业拥有超过十年的经验，曾在 IBM、Creative Commons 和 Yelp 担任工程师。Trey 是 Yelp 餐厅预订项目的首席工程师，负责将 SeatMe 功能整合到 Yelp.com 上。Trey 还在该公司规模扩大以支持 10 倍客户增长时，领导开发了 SeatMe Web 应用程序。
Pathlight 帮助面向客户的团队通过实时洞察客户对话和团队表现来提高绩效和效率。Pathlight 平台自主分析数百万数据点，使组织的每个层面了解业务前线的情况，并确定为创造可复制成功而采取的最佳行动。
你最初对计算机科学的吸引是什么？
我在记忆中一直在玩电脑。我 12 岁时开始学习 Scheme 和 Lisp 编程，并很快开始为我和我的朋友构建各种应用，主要是网页开发。
后来，当我申请大学时，我对电脑实际上已经感到厌倦，开始着眼于进入设计学院。在被几所设计学院拒绝和候补录取后，我决定报读计算机科学专业，并从此没有再回头。被设计学院拒绝录取最终证明是我生活中最有价值的拒绝之一！
你曾在 IBM、Yelp 和其他公司担任职位。在 Yelp ，你所参与的一些最有趣的项目是什么，你从这些经验中得出了哪些关键的经验教训？
我通过我们之前的公司 SeatMe 被 Yelp 收购后加入了 Yelp，从第一天起，我被委以将我们的预订搜索引擎整合到 Yelp.com 的首页的责任。
短短几个月后，我们成功地在 Yelp 的规模上实现了该搜索引擎的驱动，这在很大程度上要归功于 Yelp 内部为 Elasticsearch 构建的强大基础设施。也归功于那里出色的工程领导，使我们可以自由行动，做到最擅长的事情：快速交付。
作为会话智能公司 Pathlight 的首席技术官和联合创始人，你正在帮助从零开始构建 LLM Ops 基础设施。你可以讨论部署 LLMOps 基础设施时需要组装的不同元素，例如如何管理提示管理层、内存流层、模型管理层等。
在 2022 年底，我们致力于开发和尝试大型语言模型（LLMs），这一冒险迅速导致我们仅仅四个月后成功推出了 GenAI 原生会话智能产品。这个创新产品将来自不同渠道（文本、音频或视频）的客户交互整合到一个综合平台上，实现了对客户观点的无与伦比的深度分析和理解。
在处理这个复杂的过程中，我们精心转录、净化和优化数据，使其最适合 LLM 处理。这个工作流程的一个关键环节是从转录中生成嵌入，这是我们的基于 RAG 的标记、分类模型和复杂摘要的有效性的基础步骤。
真正使这个冒险与众不同的是这个领域的新奇和未知性。我们发现自己处于一个独特的位置，同时与整个社区共同开创和发现最佳实践。这种探索的一个显著例子是提示工程，包括监控、调试和确保应用程序生成提示的质量控制。值得注意的是，我们目前看到了许多初创公司正在提供专门针对这些更高级需求的商业工具，包括协作功能以及高级的日志记录和索引功能。
然而，对我们来说，重点始终不变地放在加强 LLMOps 基础设施的基础层面上。从优化编排、托管模型到建立强大的推断 API，这些底层组件对我们的使命至关重要。通过将我们的资源和工程能力引导到这里，我们确保我们的产品不仅能迅速进入市场，而且立足于一个坚实可靠的基础之上。
随着业界的演变和更多商业工具的问世以解决更高级的复杂性问题，我们的战略使我们能够无缝地集成这些解决方案，进一步提升我们的产品，并加速我们在重新定义会话智能方面的旅程。
Pathlight CI 的基础由多个 LLM 后端驱动，使用超过一个 LLM 并处理它们的不同速率限制会遇到哪些挑战？
LLMs和GenAI以极快的速度发展，这使得任何严重依赖这些技术的商业应用都必须能够与最新优秀的训练模型同步，不管这些模型是专有托管服务还是部署于您自己的基础设施中的FOSS模型。尤其是在您的服务需求增加且速率限制阻止所需的吞吐量时。
幻觉是建立和部署LLMs的任何公司都面临的常见问题，Pathlight如何解决这个问题？
在LLM的严肃应用中，幻觉问题是一个巨大的挑战，就我认为人们通常所指的幻觉而言。对于不同的提示，预期结果存在一定程度的不确定性和不可预测性。解决这个问题的方法有很多种，其中一些包括微调（即利用最高质量的可用模型来生成微调数据）。
Pathlight为旅游与酒店、金融、游戏、零售与电子商务、联系中心等不同市场领域提供不同的解决方案，您能讨论一下在这些市场背后使用的生成AI有何不同吗？
能够立即应对这么多不同领域的需求是GenerativeAI最独特和有价值的方面之一。能够访问在整个互联网上训练的模型，并拥有广泛领域知识，这是我们现在正在经历的突破的独特品质。这是AI最终将证明自己的方式，在其普及性方面，鉴于其目前的发展轨迹，这一点肯定会尽快实现。
您能讨论一下Pathlight如何使用机器学习自动化数据分析和发现隐藏的洞见吗？
当然可以！多年来，我们在构建和发布多个机器学习项目方面积累了深厚的经验。我们最新功能Insight Streams背后的生成模型，就是我们如何利用机器学习创建的产品，直接揭示关于客户的你所不知道的内容的一个很好的例子。这项技术利用了AI Agent概念，能够生成逐渐演化的洞见集合，使得手动分析的及时性和深度变得不可能。随着时间的推移，这些流媒体能够自然地从自身中学习。
数据分析或数据科学家、业务分析师、销售员、客户运营人员或任何公司指定来负责分析客户支持数据的人，一直被大量重要的请求所困扰。深层次的分析通常需要复杂系统和大量数据。
对于LLMs和AI的浪潮，您个人的观点是什么样的突破可以期待？
我个人对LLMs培训和调优方法的发展非常乐观，以及在更广泛领域和多模态领域上取得的进展。我相信，在许多方面，FOSS已经“和”GPT4一样好，但托管这些模型的成本仍然是大多数公司关注的问题。