介绍

 

最近人工智能（AI）特别是生成式AI领域的突破引起了公众的想象，并展示了这些技术在推动经济和社会机遇的新时代方面的潜力。其中一个突破就是Meta的Llama 2，它是他们开源大型语言模型的下一代。

Meta的Llama 2是通过混合使用公开可用的数据进行训练的，并且设计用于驱动OpenAI的ChatGPT、Bing Chat和其他现代聊天机器人等应用程序。Meta声称，Llama 2的性能显著提高，超过了之前的Llama模型。该模型以预训练形式在AWS、Azure和Hugging Face的AI模型托管平台上提供微调，使其更易于访问和运行。您还可以在此处下载模型。

但是Llama 2与其前身和其他大型语言模型有何不同？让我们深入研究其技术细节和影响。

 

技术细节和性能

 

Llama 2有两个版本：Llama 2和Llama-2-Chat。Llama-2-Chat经过微调，适用于双向对话。两个版本都进一步分为不同复杂程度的模型：70亿参数、130亿参数和700亿参数的模型。这些模型训练使用了2万亿个标记，比第一代Llama模型多40％，其中包括超过100万个人类注释。

Llama 2的上下文长度为4096，并且采用了强化学习和人类反馈，具体用于Llama-Chat-2的训练安全性和帮助性。根据Meta的说法，Llama 2在推理、编码、熟练度和知识测试等方面优于其他LLMs，如Falcon和MPT。

   

此外，Llama 2经过优化，可以在装有高通骁龙设备技术的Windows电脑和智能手机上本地运行，这意味着我们可以预期从2024年开始不依赖云服务的AI应用程序。

 

“这些由骁龙提供动力的新设备上的AI体验可以在没有连接或飞行模式下工作。”

—高通（资料来源：CNET）

 

开源和安全性

 

Llama 2的关键之一是其开源性质。Meta相信通过公开提供AI模型，可以让每个人受益。这种开放性使得企业和研究界都能够获得构建和扩展自己难以实现的工具，为研究、实验和开发提供了无数机会。

Meta还强调安全性和透明度。Llama 2经过”红队测试”，即通过生成对抗提示来测试模型的安全性，以进行模型的微调，包括内部和外部测试。Meta公开披露了模型的评估和调整过程，促进了开发过程的透明度。

 

 

结论

 

Llama 2在发展生成式AI领域方面尽力而为。其改进的性能、开源性质以及对安全性和透明度的承诺使得Llama 2成为广泛应用的有希望的模型。随着越来越多的开发者和研究者获得访问权限，我们可以预期创新的AI解决方案的激增。

在我们继续前进的过程中，继续解决AI模型中存在的挑战和偏见将至关重要。然而，Meta对安全性和透明度的承诺为整个行业树立了一个积极的先例。随着Llama 2的发布，我们现在在生成式AI工具库中又多了一个可用的工具，而且这种开放访问是一个持续的承诺。

    Matthew Mayo (@mattmayo13) 是一名数据科学家，也是VoAGI的主编，这是一个重要的在线数据科学和机器学习资源。他的兴趣包括自然语言处理、算法设计和优化、无监督学习、神经网络和自动化机器学习方法。Matthew拥有计算机科学硕士学位和数据挖掘研究生文凭。他的电子邮箱地址是editor1 at VoAGI[dot]com。