建立一个酷炫的演示很容易,但建立一个最终产品并不容易。

2022年秋天,我正在做一个很酷的项目。是的,你猜对了——在公司特定数据上微调LLMs。
然而,不久之后,ChatGPT发布了,震撼了世界。我试图构建一个特定的LLM有什么意义呢?已经有一个非常强大的机器存在了。
我一直是Bert的超级粉丝,所以当ChatGPT发布时,我也被这种热潮所吸引。谁不会呢?AI的承诺就像一个闪亮的新玩具,我渴望去尝试。在这篇文章中,我想分享作为一个(NLP)数据科学家的旅程,他渴望用genAI来产生影响。
我在2023年初开始参与GenAI项目,当时大老板想要在这项新技术上做些什么。我意识到我有多幸运,不是每个高管都愿意探索GenAI的前沿。我陪同老板与微软讨论使用GenAI的情况,在我们的情况下,这意味着在我们雇主的一些用例中使用chatGPT系列模型。很快,我们被加入到AzureOpenAI的用户列表中,派对正式开始。
建立一个酷炫的演示很容易
有14亿种使用OpenAI模型的方式,但我需要让它与公司的技术堆栈和安全策略相适应。
对于一个项目,我必须为AI应用程序开发前端和后端解决方案。在一周内,有10亿件事我需要学习。我必须在Azure上部署一个chatGPT模型的端点,供我在应用程序中使用。就前端而言,我使用Streamlit构建了应用程序。那相对容易。仅仅一天,我就可以在本地运行一个应用程序了。现在应用程序已经构建完成,是时候向世界展示了。
说实话,这并不容易。我需要确保应用程序符合公司的安全策略。我们没有一个标准的部署应用程序的工作流程,所以我必须自己解决很多问题。我需要学习如何使用yml文件进行Azure流水线和通过Azure的Web应用程序服务部署本地应用程序。我的日子也充满了解决正确的访问权限的过程……