最近，AI研究实验室的科学家们发布了GOAT-7B-Community模型，该模型通过使用GoatChat应用的数据对LLaMA-2 7B模型进行了改进。Meta的LLaMA v2 7B经过微调，成为了最先进的GOAT-7B-Community模型，利用了从GoatChat应用获得的新颖、细粒度的数据集。
“对齐”在创建大型语言模型（LLM）中至关重要。这是一种模型可以拒绝回答其认为不道德或非法的问题的思想，基于其教育和经验。对齐对于道德AI实施至关重要，但也给模型优化带来了新的障碍。
研究人员注意到，通过对齐生成的回答很少提供客户所需的精确细节。这些反应通常更为温和，表明不愿意详细阐述。解决这个问题是至关重要的，如果要构建一个可靠的模型，为问题提供深入和完整的回答。他们发现，对齐过滤器并不能消除所有不当建议。因此，对齐通常会导致丢弃大量的数据集。这相当于案例中总信息的三分之一左右。
鉴于这个问题，研究人员开发了一种新的清理数据集的技术。此外，他们进行了一项受管制的实验，以全面了解对齐回复对模型性能的影响。
科学家们是如何受教的
配备八个A100 NVIDIA GPU的高性能节点为深度学习计算提供了支持。研究人员选择了bfloat16浮点格式和DeepSpeed ZeRO-3优化作为训练过程的基础。他们对模型进行了三次迭代，每隔一个时期保存一次进展。然而，经验证据显示，执行一个时期后，质量开始下降。这促使他们重新思考他们的策略，并选择进行一次训练时期并进行一次中途检查。常用的评估语言模型的标准，如MMLU和BigBench Hard，用于评估GOAT-7B-Community模型。团队目前正在分析所有模型，并将很快发布他们的研究结果。
用途
大语言模型和聊天机器人的研究是GOAT-7B-Community的主要关注点。自然语言处理、机器学习和人工智能的学者和爱好者将发现它特别有用。
限制
尽管具有令人印象深刻的推理能力，该模型仍然存在与其相对较小的规模（7B模型被认为是“小型”LLM）相关的问题。其中最明显的问题是“幻觉”。这些“幻觉”是一个不断阻碍解决的障碍，随着LLM的改进和扩展。
“幻觉”是人工智能研究中非常强调的一个持久性问题。最终目标是开发出能够产生逻辑上正确、符合语法的答案，并忠实于所提供事实的模型。
风险和偏见
由于GOAT-7B-Community模型使用了公共和专有数据进行训练，因此该模型的可靠性不高，可能会返回与现实相悖的结果。因此，GOAT-7B-Community模型可能产生不准确、有偏见甚至令人反感的结果。
主要观察
- 没有比这更好的免费7B模型。
- 良好的MMLU结果的关键是多样化和高质量的数据集。
- 与当前的13B模型相比，7B的表现令人钦佩。
- 然而，尺寸限制仍然存在。
未来发展方向
研究人员正在进行几个令人兴奋的项目，将将AI研究推向新的高度。他们正在撰写一篇科学论文，深入探讨不同数据集处理和收集方法对模型推理能力的显著提升。他们发现，如何策划和处理数据对于监督指导微调的成功具有重要影响。他们所得到的见解可能对推进AI领域具有关键作用，研究人员急于与更广泛的社区分享这些见解。他们还将目光投向深度学习的更加雄心勃勃的目标。研究人员已经在开发更大的LLaMA v2模型，特别是13B和70B变体。这些大规模模型将使我们能够进一步进行实验，并推动目前在AI建模方面的可能性的边界。
进入深度学习研究和模型训练的旅程才刚刚开始。研究人员全力以赴研究LLMs和AI双胞胎技术的所有关键挑战，旨在解锁通过人类反馈进行强化学习的非凡潜力（RLHF）。