当地时间11月4日，微软公司宣布，其Azure ND GB300 v6虚拟机，在运行Meta的Llama2 70B大模型时，推理速度达到了惊人的每秒110万个token。微软首席执行官萨提亚·纳德拉表示：“这一行业纪录的实现，得益于我们与英伟达长期的联合创新，以及我们在生产级规模运行人工智能方面的专业能力。”...
当地时间11月4日，微软公司宣布，其azure nd gb300 v6虚拟机，在运行meta的llama2 70b大模型时，推理速度达到了惊人的每秒110万个token。
微软首席执行官
萨提亚·纳德拉表示：
“这一行业纪录的实现，得益于我们与英伟达长期的联合创新，以及我们在生产级规模运行人工智能方面的专业能力。”
新一代Blackwell Ultra GPU助力，性能功耗双双优化
这一破纪录的性能，主要得益于基于NVIDIA GB300 NVL72系统的Azure ND GB300虚拟机。该系统在单个机架内，集成了72颗NVIDIA Blackwell Ultra GPU和36颗NVIDIA Grace CPU。
为验证其性能，微软在18个虚拟机上，分别运行了MLPerf Inference v5.1基准测试。结果显示，其总计推理吞吐量达到了每秒110万个token，超越了此前在同一机架上、使用上一代ND GB200 v6虚拟机所创下的每秒86.5万个token的纪录。
与上一代的NVIDIA GB200相比，其推理性能提升了27%，而功耗仅增加了17%，能效比显著优化。
行业里程碑：首次突破百万Token大关
独立的性能验证机构Signal65对此次测试结果进行了认证。其副总裁指出：“这一里程碑的意义，不仅在于行业首次突破了每秒百万token的大关，更在于它是在一个专为满足现代企业动态使用需求和数据治理要求而设计的平台上实现的。”
Signal65还补充道，与NVIDIA H100世代相比，GB300在机架级测试中，实现了近10倍的推理性能提升，同时能效比也提高了近2.5倍。这一巨大的技术飞跃，无疑将为未来AI应用的普及和发展，提供更为强大的算力支持。
相关推荐：
打破创作边界，无限可能无限制生成文章的AI
SEO产品推广：如何通过搜索引擎优化提升产品曝光与销售
AI写文章关键词：智能写作的未来与应用
AI对不起，这个Adobe应用程序不是可用,ai520880999
AI.生成重新定义创造力的新纪元
SEO优化怎样？让你的网站脱颖而出！
如何获取优质网站外链？可以从这四个方面入手！
SEO网站的基本术语
阿里AI不能用是什么原因？揭开背后深层次的真相,ai安装160
AI一键生成原创文章，让创作更高效更轻松！
ChatGPT启动时遇到问题？快速解决方案让你畅享智能对话体验,求全排列ai小于min ai
SEO优化是怎么操作的？揭秘高效的SEO优化策略
AI免费生成：释放创造力的秘密武器
SEO优化的是什么？揭开SEO背后的神秘面纱
AI写作，每个人生成的一样吗？
SEO设置化学品关键词时是否需要带缩写？,ai进dcs几根线
ChatGPT支付时银行卡被拒绝？教你几招轻松解决问题！,钱学森班ai
SEO优化价格：让您的企业在竞争激烈的市场中脱颖而出,elsa ai
SEO么？让你的品牌从此登顶搜索引擎，流量暴增的秘密武器！
SEO优化免费：如何通过免费SEO优化提升网站排名，吸引更多流量
AI助手不需要登陆-畅享便捷生活，随时随地高效工作,ai粉彩
自动写文章AI：高效创作工具，开启写作新纪元
ChatGPT常见问题汇总：解答你关于AI的一切疑惑,ai00510
个人网站如何竞争关键字，提升搜索引擎排名？,ai infi
AI公众号项目怎么样？打造未来商业的全新机会
如何辨别一篇论文是否具备原创性？五大核心要素告诉你真相,创作工厂ai写作
高效提升创作力，标题生成器在线助你一键打造爆款标题,人机ai猎鹰
SEO排名优化流程详解：提升网站排名的必备技巧，让你的站点脱颖而出！,刘德华ai天王
ChatGPT中文版下载免费版：智能对话新时代，尽在,讯飞ai学习机代理
SEO与SEM的不同：深度解析两大网络营销手段的优势与应用
