Tag: Generative AI

ChatGPT已经变得流行，影响人们的工作方式和他们可能在网络上找到的内容。许多人，甚至那些尚未尝试过的人，都对AI聊天机器人的潜力感到好奇。生成式AI模型的普及已经改变了潜在危险的性质。在“暗网论坛”上的最新帖子中，可以看到FraudGPT的出现。网络犯罪分子已经调查了从这一趋势中获利的方法。 Netenrich的研究人员发现了一种有前途的新人工智能工具，名为“FraudGPT”。这个AI机器人专门为恶意活动而构建，包括发送钓鱼邮件、开发破解工具、进行卡盗刷等。该产品可以在多个暗网市场和Telegram应用上购买。 FraudGPT是什么？ 与ChatGPT类似，但增加了生成用于网络攻击的内容的能力，FraudGPT可以在暗网和Telegram上购买。2023年7月，Netenrich的威胁研究团队成员首次注意到它的广告。FraudGPT的一个卖点是它需要ChatGPT不响应可疑查询的保障和限制。 根据提供的信息，该工具每周或两周更新一次，使用了几种不同类型的人工智能。订阅是购买FraudGPT的主要支付方式。月度订阅费用为200美元，年度会员费用为1700美元。 它是如何工作的？ Netenrich团队花钱使用了FraudGPT。布局与ChatGPT非常相似，左侧边栏显示用户的请求历史记录，而聊天窗口占据了大部分屏幕空间。用户只需将问题输入到提供的框中，然后点击“Enter”即可获得回答。 其中一种测试用例是与银行相关的钓鱼邮件。用户的输入很少，只需要在查询格式中包含银行的名称，FraudGPT就能完成工作。它甚至指示在文本中放置恶意链接的位置。欺诈性登陆网站主动向访问者索取个人信息正是FraudGPT的能力范围。 FraudGPT还被要求列出最常访问或利用的在线资源。这对黑客在计划未来攻击时可能有用。该软件的在线广告吹嘘它可以生成有害代码，组装难以检测的恶意软件，寻找漏洞并找到目标。 Netenrich团队还发现，FraudGPT的供应商曾经为雇佣提供黑客服务的广告。他们还将同一人与一个名为WormGPT的类似程序联系起来。 FraudGPT的调查强调了警惕性的重要性。目前尚不清楚黑客是否已经使用这些技术开发出新的危险。然而，FraudGPT和类似的有害程序可能帮助黑客节省时间。钓鱼邮件和登陆页面可以在几秒钟内编写或开发。 因此，消费者必须继续警惕任何对其个人信息的要求，并坚持其他网络安全最佳实践。网络安全行业的专业人士应该及时更新他们的威胁检测工具，特别是因为恶意行为者可能使用类似FraudGPT的程序直接针对和进入关键计算机网络。 FraudGPT的分析是一个深刻的提醒，黑客将随着时间的推移调整他们的方法。但开源软件也存在安全漏洞。使用互联网或从事保护在线基础设施的工作的任何人都必须跟上新兴技术及其带来的威胁。关键是在使用像ChatGPT这样的程序时记住所涉及的风险。

大型语言模型（LLM）席卷世界。这些超高效和高效的模型是人工智能的现代奇迹。它们具备理解上下文、生成文本和连贯对话的能力，已经能够重新定义人与机器之间的沟通。研究人员一直致力于通过一种被称为参数高效调整（PEFT）的过程改善基础大型语言模型的性能，该过程涉及在小而强大的Open-Platypus数据集上优化LLM。 最近，来自波士顿大学的研究人员团队推出了Platypus，这是一组独特的改进和结合的大型语言模型，其性能无与伦比，并且目前在HuggingFace的Open LLM排行榜上保持领先地位。精心策划的数据集Open-Platypus是其中的基石之一，该数据集经过精心挑选，从各种其他免费数据集中选择出来，并且已经向公众开放。它是更大数据集的较小子集，专注于改善LLM性能的关键要素。 在利用特定领域信息的同时，团队的目标是保持预训练LLM的强大先验知识，并对LoRA模块进行微调和合并。通过微调，可以将模型定制为特定任务，同时保留初始训练中积累的更全面的知识。当合并LoRA模块时，将多个组件结合在一起，产生更强大的LLM。由于协同作用，模型的潜在潜力和专业领域知识可以被揭示出来。 工作的一个关键方面是对测试数据的严格验证工作以及识别训练数据中的潜在污染。一些全面的检查支持Platypus系列模型的可靠性和准确性，并且披露此验证过程的方法可能作为进一步的现场研究指南。 Platypus系列模型覆盖了各种模型大小，在量化LLM指标方面表现出色。它在全球Open LLM排行榜上名列前茅，这一壮举证明了该策略的有效性。团队分享了他们的模型在使用较小部分的微调数据和计算资源时与其他最先进的微调LLM一样出色的性能。例如，一个13B的Platypus模型只需使用一张A100 GPU和仅25k个问题就可以在令人瞩目的5小时内成功训练。这种令人难以置信的效率凸显了Open-Platypus数据集的优秀水平，并为该领域的进一步发展铺平了道路。 贡献可以总结如下： 引入了Open-Platypus，这是一个包含11个公共文本数据集的紧凑数据集，旨在增强LLM的STEM和逻辑知识。 这个主要由人设计的问题组成的数据集，在最小的微调时间和成本下提供了强大的性能。 团队分享了排除类似数据以减小数据集大小和冗余的过程的描述。 探索了LLM训练集中数据污染的挑战以及数据过滤过程。 分享了针对专业微调LoRA模块的选择和合并方法的解释，为提高LLM的整体性能做出了贡献。

在增强日本生成式人工智能领域迈出重要一步的同时，Stability AI，即稳定AI，是稳定扩散背后的开创性生成式AI公司，推出了其首个日语语言模型（LM），名为日语StableLM Alpha。这一重要发布引起了广泛关注，因为该公司声称其LM是面向日本说话者的最精通的公开可用模型。这一主张通过与其他四个日语LM进行全面基准评估得到了证实。 这个新推出的日语StableLM Alpha，拥有70亿参数的令人印象深刻的架构，是Stability AI在技术进步方面的承诺的明证。该模型是一种多功能高性能工具，适用于各种语言任务。它在多个分类中胜过了同行，成为行业领导者。 日语StableLM Base Alpha 7B商业版本计划在广泛认可的Apache License 2.0下发布。这个专门的模型是通过对包括7500亿个日语和英语文本令牌在内的庞大数据集进行广泛训练而精心打造的，这些数据集是从在线资源库中精心挑选的。 这一成就的基础还得归功于协作努力。Stability AI利用了EleutherAI Polyglot项目的日本团队的专业知识，最终形成了由Stability AI的日本社区创造的数据集。这一集体努力还得益于使用了EleutherAI的GPT-NeoX软件的扩展版本，这是Stability AI开发过程的基石。 作为一项并行创新，日语StableLM Instruct Alpha 7B又是一个显著的里程碑。这个模型主要用于研究目的，专门用于研究应用。它通过一种称为有监督微调（SFT）的方法，利用多个开放数据集，展示了遵循用户指令的独特能力。 这些模型通过EleutherAI的语言模型评估工具进行了严格的评估。这些模型在句子分类、句对分类、问答和句子摘要等各个领域经受了审查，并取得了令人印象深刻的平均得分54.71%。Stability AI认为，这一性能指标无疑将日语StableLM Instruct Alpha…

加州大学圣塔克鲁兹分校的研究团队引入了一种名为文本到图像关联测试（Text to Image Association Test）的新工具。该工具解决了文本到图像生成人工智能系统中的无意偏见。这些系统以其从文本描述中生成图像的能力而闻名，但往往会在其输出中再现社会偏见。在助理教授的带领下，该团队开发了一种量化的方法来衡量这些复杂的偏见。 文本到图像关联测试提供了一种结构化的方法来评估各个维度上的偏见，如性别、种族、职业和宗教。这一创新工具在2023年计算语言学协会（ACL）会议上进行了介绍。它的主要目的是量化和识别先进生成模型（如稳定扩散）中的偏见，这些模型可以放大生成的图像中现有的偏见。 该过程涉及向模型提供一个中性提示，如“孩子学习科学”。随后，使用性别特定的提示，如“女孩学习科学”和“男孩学习科学”。通过分析从中性和性别特定提示生成的图像之间的差异，该工具量化了模型响应中的偏见。 研究发现，稳定扩散模型展示了与常见刻板印象一致的偏见。该工具评估了诸如科学和艺术之间的联系以及男性和女性等属性之间的联系，并分配分数以指示这些联系的强度。有趣的是，该模型出人意料地将深肤色与愉快联系在一起，将浅肤色与不愉快联系在一起，与典型假设相反。 此外，该模型显示了科学和男性、艺术和女性、职业和男性以及家庭和女性之间的关联。研究人员强调，他们的工具还考虑到了图像中的上下文元素，包括颜色和温暖度，这使其与先前的评估方法有所区别。 受到社会心理学中隐性关联测试的启发，UCSC团队的工具在T2I模型的开发阶段中量化了偏见的进展。研究人员预计，这种方法将为软件工程师提供更精确的模型偏见度量，有助于识别和纠正人工智能生成内容中的偏见。通过定量指标，该工具促进了持续努力以减轻偏见并监测随时间推移的进展。 研究人员收到了ACL会议上的学术同行们的鼓舞和兴趣，许多人对这项工作的潜在影响表示热情。该团队计划在模型训练和改进阶段提出缓解偏见的策略。这个工具不仅揭示了人工智能生成图像中的偏见，还提供了纠正和增强这些系统整体公正性的手段。