推理服务 - 巨门云计算

Get Started

云推理服务

巨门云平台能根据需求在数千个GPU之间进行自动扩展以提供优化的推理服务，让你就能从容应对用户数量和算力需求的增长。

联系试用

巨门云推理服务提供了一种现代化运行推理的方式，其性能更优，延迟最小，且比其他传统技术平台更具成本效益。

看看我们的解决方案有何不同

传统云提供商构建的架构是为了满足一般用途和托管环境，而不是计算密集型的用例, 大多具有以下局限:

通过 Kubernetes 部署容器化的工作负载，可以增加可移植性，减少复杂性，并总体上降低成本

根据需求自动扩缩容器，以迅速满足用户需求，这比依赖于其他云服务提供商的虚拟机实例的扩展要快得多。一旦接收到新的请求，我们可以做到如下的响应速度:

KServe 提供了在 Kubernetes 上进行无服务器推理的能力，它为常见的机器学习框架（如 TensorFlow、XGBoost、scikit-learn、PyTorch 以及 ONNX）提供了易于使用的界面，以解决生产环境模型服务的需求

7

巨门云的原生Kubernetes网络设计将功能融入网络结构中，因此您无需管理 IP 和 VLAN，就能获得所需的功能，速度和安全性。