Press "Enter" to skip to content

8 search results for "What's AI"

使用Optimum和Transformers管道加速推理

推理已经在Optimum中登陆,并支持Hugging Face Transformers管道,包括使用ONNX Runtime进行文本生成。 BERT和Transformers的采用继续增长。基于Transformer的模型不仅在自然语言处理中实现了最先进的性能,还在计算机视觉、语音和时间序列中取得了突破。💬 🖼 🎤 ⏳ 公司现在正从实验和研究阶段转向生产阶段,以便在大规模工作负载中使用Transformer模型。但是,默认情况下,BERT及其相关模型相对于传统的机器学习算法而言速度较慢、体积较大且复杂。 为了解决这个挑战,我们创建了Optimum – Hugging Face Transformers的扩展,以加速像BERT这样的Transformer模型的训练和推理。 在本博客文章中,您将学到: 1. 什么是Optimum?ELI5 2. 新的Optimum推理和管道功能 3. 加速RoBERTa进行问答的端到端教程,包括量化和优化 4. 当前限制 5. Optimum推理常见问题解答…

Leave a Comment

Can't find what you're looking for? Try refining your search: