最热门的开源大语言模型推理引擎——vLLM的创始团队与核心开发者正式成立AI基础设施初创企业:Inferact。据彭博社消息,Inferact在近期完成的新一轮种子轮融资中成功募集1.5亿美元,投后估值约为8亿美元。本轮融资由全球顶尖风投机构AndreessenHorowitz(a16z)与LightspeedVenturePartners共同领投,SequoiaCapital、AltimeterCapital、RedpointVentures以及真格基金等多家知名投资...
最热门的开源大语言模型推理引擎——vllm 的创始团队与核心开发者正式成立 ai 基础设施初创企业:inferact。
据彭博社消息,Inferact 在近期完成的新一轮种子轮融资中成功募集 1.5 亿美元,投后估值约为 8 亿美元。本轮融资由全球顶尖风投机构 Andreessen Horowitz(a16z)与 Lightspeed Venture Partners 共同领投,Sequoia Capital、Altimeter Capital、Redpoint Ventures 以及真格基金等多家知名投资方也参与了跟投。
目前,vLLM 已兼容超过 500 种模型架构,可在 200 余种硬件加速器上高效运行,并已支撑起全球化规模的推理服务。Inferact 表示,其使命是将 vLLM 打造*球首屈一指的 AI 推理基础设施平台,持续推动推理成本下降与吞吐性能提升,从而全面加速 AI 技术的落地与普及。
在 AI 全流程中,推理(inference)指的是将已完成训练的模型部署至真实场景并执行预测任务的关键环节。随着大模型和生成式 AI 应用的爆发式增长,推理阶段所消耗的算力资源与运营成本正迅速攀升。相较以往资本高度聚焦于模型训练环节,当前市场正将更多目光投向推理优化技术——即如何让模型“跑得更快、更省、更稳”。Inferact 正是直击这一核心挑战而生。
近期,一批专注 AI 推理层的基础设施公司密集获得大额融资,凸显出业界对高性能推理能力的迫切需求。提升推理效率不仅意味着更低的延迟与更强的并发能力,更能显著减少云端部署开销,成为 AI 实现

规模化商业应用的核心支点。Inferact 此次融资既印证了高质量开源项目向商业化成功跃迁的可能性,也标志着 AI 基础设施赛道的战略重心正从“训练为王”加速转向“推理制胜”。
源码地址:点击下载
相关推荐:
轻松提升网站流量,批量关键词优化助您快速登顶搜索引擎,描述图表ai写作技巧
免费在线AI文案生成工具,让创作更轻松!,重庆ai学习
如何识别文章是否由AI撰写?揭开智能写作的秘密
CMS采集站汇总:打造高效内容管理的全能平台,公众号用ai写作的优劣势
SEO一般做什么?揭秘SEO的核心工作与实战技巧
ChatGPT-深度学习与自然语言处理的革命性突破,ai觉醒刘慈欣目录
AI软件不用登录,让你的工作更高效轻松,ai柱形图工具
WordPress批量导入文章详细教程轻松高效地管理你的内容库,ai落地技术
AI免费写作一键生成,效率与创意的完美结合
遇到一些“做任务”的推广你可要小心了,很容易被骗!
利用b站*进行快速、大量引流的4个方法!
英语日记AI生成:轻松提升英语水平的智能助手
AI自动读文:让阅读更轻松、更高效的智能革命,通义千问ai
SEO优:让网站流量和排名实现飞跃的秘诀,大理哪有企业网站建设
SEO优化软件哪家好?选择最适合的SEO工具,提升网站排名!
ChatGPT在处理文本时可能无法完全理解上下文的复杂性,ai军职
SEM与SEO:数字营销双剑合璧,打造品牌全新优势
AI免费生成:开启智能创作新纪元,助力你的创意无限可能
AI免费生成:释放创造力的秘密武器
SEO快速排名算法
提升网站流量的关键—搜索关键词排名优化全攻略,人与ai绘画
Chat3.5免费版登录入口:让AI助手成为你生活的一部分,罐体ai
ChatGPT5.0为什么一直没出来?背后的技术与战略,ai怎么做连续的图案
爬虫技术抓取网站|视频|:快速获取你喜欢的|视频|内容,小米ai2开不了机
软件根据文字生成|视频|创新科技,让创作更简单,前端ai出路
AI.生成重新定义创造力的新纪元
SEO优化与网络推广:如何在数字化时代脱颖而出
网站没流量?这4个非常有效的网站外链引流方法一定要掌握!
SEO应该如何提升网站流量与排名?揭秘成功的SEO策略,肺炎疫苗推广营销
ChatGPT对于大数据发展的帮助:赋能行业变革,推动智能化未来,天枢ai芯片