Meta发布了新的开源Llama 2，引发了关于大型语言模型（LLMs）用例的讨论。然而，对于许多人来说，在本地硬件上访问和运行Llama 2仍然是一个重要的障碍。为了解决这个问题并使Llama 2的能力普及化，Meta与高通合作，优化该模型以在设备上使用，利用高通的AI能力骁龙芯片。
Meta和高通的合作旨在在设备上实现Llama 2，并利用新的AI能力骁龙芯片的功能。通过在设备上运行模型，开发人员可以减少云计算成本，并为用户提供增强的隐私，因为没有数据传输到外部服务器。设备上的AI处理还可以实现生成式AI而无需互联网连接，并且可以根据用户的偏好对模型进行个性化。
高通的Hexagon处理器为其骁龙芯片配备了各种AI功能，包括微瓦推断、张量核心以及SegNet、标量和矢量工作负载的专用处理。将Llama 2整合到高通AI堆栈中，进一步优化了在设备上运行AI模型。
Meta从第一款LLaMA模型的泄露中吸取了教训，该模型最初仅向研究人员和学术机构开放。然而，互联网上的泄露导致了开源LLM创新的爆发，产生了各种改进版的LLaMA。开源社区做出了重大贡献，创建了可以在设备上运行的版本，使LLM更加易于访问更广泛的受众。
为了应对泄露事件，Meta在Llama 2的发布中采取了不同的方式，积极接受开放和合作。与高通的合作使芯片制造商了解了模型的内部工作原理，使他们能够优化骁龙芯片上的性能。这种合作预计将与高通的骁龙8 Gen 3芯片在2024年发布同时进行。
开源社区也预计在Llama 2的开发中发挥关键作用。将行业对设备上AI的势头与开放的LLM生态系统结合起来，这一举措被视为朝着培育活跃的设备上AI生态系统的众多步骤中的第一步。
专家预测，开源LLM可能会引领一代新的以AI为动力的内容生成、智能助手、生产力应用等。在设备上本地运行LLM的能力为设备上的AI处理开启了众多可能性，并支持AI能力在边缘的不断增长趋势，例如苹果在M1芯片中加入神经引擎和微软的混合AI Loop工具包。
总的来说，Meta和高通之间的合作标志着向AI模型普及化迈出了重要的一步，为开发人员创造AI应用程序开辟了令人兴奋的机会，并引领着类似于iPhone应用商店繁荣的设备上AI生态系统的新时代。