8354
-1
2万
管理员
“SGLang-TorchTPU 目前已在 Meta 的生产环境中运行,实现这一目标离不开 Meta、Google 和 SGLang 团队的三方紧密合作,使该技术栈达到生产就绪状态。它为我们提供了一个非常成熟、PyTorch 原生的服务栈,能够轻松集成到我们现有的 AI 基础设施中,并具备我们在 TPU 上高效运行前沿工作负载所需的性能、可靠性和灵活性。”Meta 的 PyTorch-TPU 负责人 Zongwei Zhou 表示。
“在 RadixArk,TorchTPU 在我们于多种芯片上推出 SGLang 支持的过程中极大地提升了我们的开发速度。它为我们提供了一条通往原生 TPU 加速的无痛路径,将巨大的效率提升和灵活的计算选择直接传递给我们的客户,”RadixArk 首席技术官兼联合创始人 Banghua Zhu 表示。
“Inferact 的使命始终是让高性能推理在整个 AI 生态系统中变得可访问、可靠且具有成本效益。我们非常高兴能合作推出 TorchTPU,并将 vLLM 的一流支持带到 TPU 上。通过将 PyTorch 优化的 TPU 能力直接桥接到 vLLM,开发者可以立即在 TPU 上运行生产工作负载,获得他们期望从我们的栈中获得的高吞吐量、低延迟和内存效率,”Inferact 首席执行官兼联合创始人 Simon Mo 表示。
使用道具 举报
本版积分规则 发表回复 回帖后跳转到最后一页
admin
发表主题 8354
吾爱分享综合资源网 —— 资源/素材/视频/会员制一站式服务平台,专注设计资源、IT教程、电商项目与育儿教育,让每一次下载都值得。
周一至六 10:00-21:00
吾爱分享综合资源网