本周，成千上万的黑客将在拉斯维加斯对最新的生成式人工智能平台进行调整、扭曲和探索，以构建更可信赖和包容的人工智能。
NVIDIA正在与黑客社区合作，建立测试下一代人工智能的最佳实践，参与业界领先的LLM解决方案（包括NVIDIA NeMo和NeMo Guardrails）的首次测试。
由AI Village、SeedAI和Humane Intelligence主办的Generative Red Team Challenge将是拉斯维加斯Black Hat和DEF CON安全会议上一系列研讨会、培训课程和NVIDIA领导人出席的活动之一。
这个挑战给黑客们提供了许多可利用的漏洞，承诺将是对新兴人工智能技术进行现实检验的第一个机会。
“人工智能使个体能够创造和构建以前不可能的事物，”SeedAI创始人、Generative Red Team Challenge联合组织者之一Austin Carson表示。“但是，如果没有一个庞大、多样化的社区来测试和评估这项技术，人工智能将只是其创造者的镜像，让社会的大部分人落后。”
与黑客社区的合作正值全球范围内关注人工智能安全的集中推动，拜登-哈里斯政府已经获得了在先进生成模型上工作的领先人工智能公司的自愿承诺，这一消息在全球都引起了轰动。
“AI Village汇集了关注AI系统影响和潜在恶意使用的社区，”AI Village创始人、Generative Red Team Challenge联合组织者之一Sven Cattell表示。“在DEFCON 29上，我们与Twitter的Rumman Chowdhury的前团队一起举办了第一次算法偏见悬赏活动。这是第一次，一家公司允许公众访问他们的模型以进行审查。”
本周的挑战对于人工智能的发展来说是一个关键步骤，这得益于黑客社区在创建和现场测试新兴安全标准方面发挥的领导作用，黑客社区的理念是怀疑、独立和透明。
NVIDIA的技术对于人工智能至关重要，NVIDIA在生成式人工智能革命开始时就已经参与其中。2016年，NVIDIA创始人兼首席执行官黄仁勋亲自交付给OpenAI首台NVIDIA DGX AI超级计算机，这是ChatGPT的动力源泉，推动了大型语言模型的突破。
NVIDIA DGX系统最初用作人工智能研究工具，现在在全球各地的企业中运行24/7，用于优化数据和处理人工智能。
管理咨询公司麦肯锡估计，生成式人工智能在63个用例中每年能为全球经济增加2.6万亿至4.4万亿美元的价值。
这使得安全和信任成为整个行业关注的焦点。
这就是为什么NVIDIA的员工参与了上周的面向安全专业人员的Black Hat会议以及本周的DEF CON聚会。
在Black Hat会议上，NVIDIA举办了为期两天的机器学习培训课程，介绍了污染规模化训练数据集的风险，并参与了关于人工智能在安全领域潜在益处的座谈会。
在DEF CON上，NVIDIA赞助了一场关于破解主板管理控制器风险的演讲。这些专用服务处理器监控计算机、网络服务器或其他硬件设备的物理状态。
通过Generative Red Team Challenge和AI Village Prompt Detective工作坊的一部分，DEF CON的数千名参与者将能够演示提示注入、试图引诱不道德行为并测试其他技术以获得不适当的回应。
Anthropic、Cohere、Google、Hugging Face、Meta、NVIDIA、OpenAI和Stability等公司构建的模型，以及微软的参与，将在由Scale AI开发的评估平台上进行测试。
因此，每个人都会变得更聪明。
“我们正在促进思想和信息的交流，同时解决风险和机会，”AI Village领导团队成员、Humane Intelligence联合创始人Rumman Chowdhury表示。“黑客社区接触到不同的思想，社区合作伙伴获得了未来的新技能。”
作为开源软件，NeMo Guardrails于四月份发布，可以帮助开发人员引导生成式人工智能应用程序创建出色的文字回复，并确保智能、LLM驱动的应用程序准确、适当、主题相关和安全。
为了确保透明性并能够在多种环境中使用该技术，经过数年研究的NeMo Guardrails是开源的，NeMo对话式人工智能框架的大部分代码已经在GitHub上以开源形式提供，为开发者社区的巨大能量和工作在AI安全方面做出了贡献。
参与DEF CON社区的互动有助于NVIDIA与NeMo Guardrails共享所学，并从社区中学习。
该活动的组织者包括SeedAI、Humane Intelligence和AI Village，计划分析数据并公布他们的发现，包括过程和经验，以帮助其他组织进行类似的实践。
上周，组织者还发布了研究提案的征集，并在24小时内收到了来自领先研究者的多个提案。
“由于这是首次举办规模化生成式人工智能系统的现场黑客活动，我们将共同学习。” Chowdhury说道。“能够复制这个实践并将人工智能测试交给成千上万的人是关键。”
生成式红队挑战赛将于8月10日至13日在DEF CON 31的AI Village举行，地点位于拉斯维加斯的凯撒宫论坛。