Apache Mesos: 分布式系统内核

What is Mesos

Apache Mesos 是一个分布式系统内核——将多台机器的 CPU、内存、存储等资源抽象为统一资源池的集群管理器。它提供资源隔离和共享能力，允许多种分布式应用框架（Spark、Hadoop、Jenkins 等）在同一集群上动态共享资源。

核心创新是两级调度模型：

• Master 用可插拔分配策略决定给每个框架分配多少资源
• 框架调度器 决定接受哪些资源、在哪些节点上运行哪些任务
• 这种薄接口让 Mesos 能扩展到数千节点，同时框架独立演化

Mesos 不是一个调度器——它是资源管理器，把调度决策委托给各应用框架。这区别于 Slurm（HPC 专用）和 Kubernetes（容器编排+内置调度）。

• 当前版本: 1.12.0，Apache 2.0 许可证，C++ 为主
• 起源于 UC Berkeley（2011 NSDI 论文），现由 Apache 软件基金会维护

架构

graph TB
    subgraph "Management"
        master[mesos-master<br/>Allocator]
        zk[(ZooKeeper)]
    end

    subgraph "Frameworks"
        fw1[Spark Scheduler]
        fw2[Marathon Scheduler]
        fw3[Custom Framework]
    end

    subgraph "Compute Nodes"
        agent1[mesos-agent<br/>node1]
        agent2[mesos-agent<br/>node2]
        agent3[mesos-agent<br/>nodeN]
    end

    master --- zk
    master -->|resource offers| fw1
    master -->|resource offers| fw2
    master -->|resource offers| fw3
    fw1 -->|accept/launch| agent1
    fw2 -->|accept/launch| agent2
    fw3 -->|accept/launch| agent3
    master --- agent1
    master --- agent2
    master --- agent3

核心 Daemon

插件/模块系统

通过动态库（.so）在运行时加载，约 12 种可插拔接口：

核心概念

数据模型（Protobuf）

Task 生命周期：

stateDiagram-v2
    [*] --> STAGING
    STAGING --> STARTING
    STARTING --> RUNNING
    RUNNING --> FINISHED
    RUNNING --> FAILED
    RUNNING --> KILLED
    RUNNING --> ERROR
    RUNNING --> LOST : agent lost
    RUNNING --> UNREACHABLE : agent partitioned
    FINISHED --> [*]
    FAILED --> [*]
    KILLED --> [*]
    ERROR --> [*]
    LOST --> [*]

调度器 API（v1 HTTP）

Events（master → scheduler）： SUBSCRIBED、OFFERS、INVERSE_OFFERS、RESCIND、UPDATE、FAILURE、ERROR、HEARTBEAT

Calls（scheduler → master）： SUBSCRIBE、ACCEPT、DECLINE、REVIVE、KILL、ACKNOWLEDGE、RECONCILE、SUPPRESS

10 种 Offer 操作

核心算法：层级 DRF 分配器

默认分配器 HierarchicalDRFAllocatorProcess 实现主导资源公平性（DRF） + 层级角色 + 配额支持。

DRF 原理：

• 每个框架/角色有一个主导份额 = max(cpu_share, mem_share, disk_share)
• 排序器按主导份额升序排列（“最穷“的优先获得资源）
• 分配后该框架的主导份额上升，排名下降
• 保证多资源维度的 max-min 公平性

两阶段分配：

Algorithm: __generateOffers()

Stage 1 — 配额感知分配:
  for each agent (随机顺序):
    for each role in DRF顺序:
      for each framework in DRF顺序:
        分配预留资源 + 满足配额保证的无预留资源
        更新配额跟踪 + headroom 跟踪

Stage 2 — 尽最大努力分配:
  for each agent (重新随机):
    for each role in DRF顺序:
      for each framework in DRF顺序:
        分配剩余资源（受配额限制 + headroom 约束）

资源预留模型

与 Kueue、Slurm 对比

参考

• Apache Mesos 官网
• Mesos: A Platform for Fine-Grained Resource Sharing (NSDI 2011)