云原生時代，Kubernetes(K8s) 已經成為云原生應用編排、管理的事實標準，越來越多的應用選擇向 Kubernetes 遷移。

在 CAE 仿真、動漫渲染、物理化學、石油勘探、生命科學、氣象環境等需要進行大規模數據計算的領域，HPC(高性能計算) 作為傳統的分布式計算模式，有著廣泛的應用。在這些相關領域的從業者中，也有很多人希望能將 HPC 應用遷移到容器中運行，通過 Kubernetes 強大的功能來進行作業管理。開源的 Volcano 項目就是一個很好的解決方案。

Volcano 是一個基于 Kubernetes 的云原生批量計算平臺，也是 CNCF 的首個容器批量計算項目，主要用于 AI、大數據、基因、渲染等諸多高性能計算場景，對主流通用計算框架均有很好的支持。它提供面向高性能負載的調度策略、完善的作業生命周期管理、異構硬件管理、面向高性能負載的性能優化等能力，目前在很多領域都已落地應用。

業界在使用一些計算框架進行大規模運算時，由于不同框架對作業管理、并行計算等要求不同，導致在高計算密度情況下，資源需求波動大，缺乏高級調度能力。同時也導致了后續部署運維復雜等問題。

Volcano 面向主流計算框架提供統一的批量調度平臺，提高資源利用率。同時還提供通用的作業管理、Fair-share，Gang ，bin-pack，preempt，reservation等高級調度算法，簡化運維管理。目前 Volcano 已經支持幾乎所有的主流計算框架，包括 MindSpore、TensorFlow、Kubeflow、MPI、PyTorch、飛槳、Spark、Flink、HOROVOD 等。

Volcano 支持的部分計算框架

Volcano 整體架構

Volcano 利用聲明式的 CRD 定義 API，主要有 3 個核心的 API：Volcano Job、PodGroup、Queue。

Volcano Job 是對高性能作業通用定義，PodGroup 提供了Job 中 Task 的管理能力，Queue為作業排隊、公平調度提供了基礎。

Volcano 的架構

Volcano 核心組件主要包含三個：Admission、ControllerManager、Scheduler 。

Admission 對 Volcano CRD API 提供校驗能力;

ControllerManager 負責對 Volcano CRD 進行資源管理;

Scheduler 對作業供豐富的調度能力。

Volcano社區概況

Volcano 起源于 kube-batch 項目，這個項目最初的目的是解決 Kubernetes 中的分組調度問題。隨著 AI 和大數據服務開始要求 Kubernetes 提供更強大、更靈活的調度，kube-batch 與各種場景特定的實踐相結合，提供了更豐富的調度能力，同時增加了作業管理、數據管理、運行時管理、異構硬件管理等，形成了一個統一的批處理系統，并被重新命名為Volcano。2020 年 4 月，Volcano 項目由華為云正式貢獻給 CNCF，成為 CNCF 迎來的首個容器批量計算項目。

在開源開放、廠商中立的社區治理下，目前 Volcano 在代碼托管平臺上已獲得了 2k+star，430+fork，有 290+ 來自國內外的開發者參與代碼貢獻。Volcano 社區擁有 9位Maintainer，12 位 Reviewer，有超過50家企業與科研機構參與項目合作，合作伙伴包括華為、騰訊、百度、愛奇藝、滴滴出行、京東、建信金融科技等。在未來，Volcano 將在企業數字化、云原生轉型過程中發揮越來越重要的作用。