面向对象存储的高性能 POSIX 缓存文件系统
Fuel 在数据消费集群提供本地 NVMe 缓存加速,通过 FUSE 接口对训练应用透明暴露。当前以阿里云 OSS 为主要实现后端,架构上支持扩展其他 S3 兼容对象存储。
面向自动驾驶 ML 训练场景的消费侧缓存加速层:
- 数据存储:训练数据均存储在对象存储(阿里云 OSS)上
- 数据特征:海量小文件(传感器帧 JPEG/PNG/PCD)+ 大文件(点云、视频片段)
- 访问模式:一次写、多次读,无追加写,对写性能不敏感
- 部署形态:先本地裸机,后 K8s(DaemonSet / CSI Driver / Sidecar)
- 通过 FUSE 挂载,对训练框架(PyTorch / TensorFlow / Ray)提供 POSIX 兼容接口
- 本地 NVMe 缓存为对象存储的字节镜像(不做数据格式转换)
- 支持 Redis / MySQL 元数据引擎,跨节点共享元数据索引
- 支持本地裸机部署和 K8s 部署
- 不是完整的文件系统或对象存储 — 不管理数据生命周期,对象存储是数据的唯一真相来源
- 不修改对象存储原始数据 — 缓存是字节镜像,不做格式转换(区别于 JuiceFS)
- 不是分布式缓存系统 — 数据缓存各节点独立,不做跨节点数据共享(元数据可跨节点共享)
- 不支持随机写 / 追加写 — 仅支持"一次写多次读"语义
- 不替代编排层 — Fuel 是数据面,编排层(Fluid 等)是控制面,两者解耦
| 组件 | 选型 |
|---|---|
| 语言 | Go 1.21+ |
| FUSE 库 | github.com/hanwen/go-fuse/v2 |
| 对象存储 SDK | github.com/aliyun/aliyun-oss-go-sdk/oss |
| 元数据引擎(可选) | Redis (github.com/redis/go-redis/v9) / MySQL (github.com/go-sql-driver/mysql) |
| 监控 | github.com/prometheus/client_golang |
| 日志 | go.uber.org/zap |
设计遵循 8 条硬约束,详见 ARCH_SPEC.md §2。核心不变量:
- INV-1: 对象存储是数据真相来源,所有缓存层可丢失、可重建
- INV-2: 缓存是对象存储对象的字节镜像,路径一一对应
- INV-3: 写路径不改变对象存储中的对象格式
- INV-4: 元数据引擎是可选的加速层,三种模式可切换、可降级
- INV-5: FUSE 进程与编排层解耦
- INV-6: 单节点数据缓存,不做跨节点数据共享
- INV-7: 模块边界通过 Go interface 隔离
- INV-8: 对象存储后端可插拔
| 文档 | 说明 |
|---|---|
| ARCH_SPEC.md | 完整架构设计:系统架构图、模块分解、接口定义、数据流、一致性模型、配置规范、部署规范、实施路线 |
| IMPL_DESIGN.md | 实现设计:接口变更决策、模块定义、关键实现细节 |
| PLAN.md | 实施计划:分阶段任务、交付物、风险与依赖 |
| AGENTS.md | AI 编码助手工作规范:不变量、代码生成约束、禁止事项 |
当前处于设计阶段,代码尚未实现。实施路线分 5 个阶段:
- Phase 1 — 只读 MVP(模式 A: 直查对象存储)
- Phase 2 — 性能优化
- Phase 3 — 元数据引擎(模式 B/C)+ 写路径
- Phase 4 — 生产化(K8s 部署 + 监控 + 故障恢复)
- Phase 5 — K8s 深度集成(CSI + Webhook + 编排层)
Apache 2.0