多租户Kubernetes在AI、安全计算及数据服务中的用例

论文评估了在HPE Cray EX超算（Isambard-AI）上部署Kubernetes的多租户用例，包括AI、安全/机密计算和数据服务。两个设计用例：医疗健康领域的可信研究环境，以及结合KubeRay、Ray和vLLM的分布式AI模型托管服务。研究发现Kubernetes是对批处理系统的补充，而非替代，并讨论了挑战和未来发展方向。

传统批处理系统缺乏公有云用户习惯的灵活性和可复现性，Kubernetes可补充这些能力。在超算平台上引入Kubernetes，为敏感数据和混合工作负载提供了新选择，有助于提升科研效率和安全性。

Kubernetes提供容器编排、灵活调度和资源隔离，支持多租户和机密计算。借助KubeRay、Ray和vLLM，可实现分布式AI模型服务的沙箱化和持久化。它作为批处理系统的补充服务，在超算平台上扩展了云原生能力。

对使用超算资源的团队，Kubernetes可提升部署效率和资源利用率，支持更复杂的AI工作负载，并为敏感数据提供安全计算环境，但可能需要额外运维投入，且部署复杂。

• 在超算或高性能计算环境中，提供基于Kubernetes的托管服务，用于AI模型训练和推理。
• 开发面向医疗健康领域的可信研究环境，支持敏感数据的机密计算和多租户隔离。
• 结合KubeRay、Ray和vLLM，提供分布式模型托管服务，实现弹性伸缩和资源隔离。
• 为企业提供Kubernetes-as-a-Service解决方案，简化部署并支持混合工作负载调度。

• Kubernetes在HPE Cray EX上的实际性能开销和网络延迟数据尚未公布。
• 生产级Kubernetes-as-a-Service的具体功能和SLA尚不清楚。
• 资源调度和优先级管理在多租户场景下的实施细节未明确。