Skip to content
wsq2333Public

About

a consumer side fuse-client with local cache

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

32 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Fuel

面向对象存储的高性能 POSIX 缓存文件系统

Fuel 在数据消费集群提供本地 NVMe 缓存加速,通过 FUSE 接口对训练应用透明暴露。当前以阿里云 OSS 为主要实现后端,架构上支持扩展其他 S3 兼容对象存储。

项目背景

面向自动驾驶 ML 训练场景的消费侧缓存加速层:

  • 数据存储:训练数据均存储在对象存储(阿里云 OSS)上
  • 数据特征:海量小文件(传感器帧 JPEG/PNG/PCD)+ 大文件(点云、视频片段)
  • 访问模式:一次写、多次读,无追加写,对写性能不敏感
  • 部署形态:先本地裸机,后 K8s(DaemonSet / CSI Driver / Sidecar)

是什么

  • 通过 FUSE 挂载,对训练框架(PyTorch / TensorFlow / Ray)提供 POSIX 兼容接口
  • 本地 NVMe 缓存为对象存储的字节镜像(不做数据格式转换)
  • 支持 Redis / MySQL 元数据引擎,跨节点共享元数据索引
  • 支持本地裸机部署和 K8s 部署

不是什么

  • 不是完整的文件系统或对象存储 — 不管理数据生命周期,对象存储是数据的唯一真相来源
  • 不修改对象存储原始数据 — 缓存是字节镜像,不做格式转换(区别于 JuiceFS)
  • 不是分布式缓存系统 — 数据缓存各节点独立,不做跨节点数据共享(元数据可跨节点共享)
  • 不支持随机写 / 追加写 — 仅支持"一次写多次读"语义
  • 不替代编排层 — Fuel 是数据面,编排层(Fluid 等)是控制面,两者解耦

技术栈

组件 选型
语言 Go 1.21+
FUSE 库 github.com/hanwen/go-fuse/v2
对象存储 SDK github.com/aliyun/aliyun-oss-go-sdk/oss
元数据引擎(可选) Redis (github.com/redis/go-redis/v9) / MySQL (github.com/go-sql-driver/mysql)
监控 github.com/prometheus/client_golang
日志 go.uber.org/zap

架构不变量

设计遵循 8 条硬约束,详见 ARCH_SPEC.md §2。核心不变量:

  • INV-1: 对象存储是数据真相来源,所有缓存层可丢失、可重建
  • INV-2: 缓存是对象存储对象的字节镜像,路径一一对应
  • INV-3: 写路径不改变对象存储中的对象格式
  • INV-4: 元数据引擎是可选的加速层,三种模式可切换、可降级
  • INV-5: FUSE 进程与编排层解耦
  • INV-6: 单节点数据缓存,不做跨节点数据共享
  • INV-7: 模块边界通过 Go interface 隔离
  • INV-8: 对象存储后端可插拔

文档

文档 说明
ARCH_SPEC.md 完整架构设计:系统架构图、模块分解、接口定义、数据流、一致性模型、配置规范、部署规范、实施路线
IMPL_DESIGN.md 实现设计:接口变更决策、模块定义、关键实现细节
PLAN.md 实施计划:分阶段任务、交付物、风险与依赖
AGENTS.md AI 编码助手工作规范:不变量、代码生成约束、禁止事项

状态

当前处于设计阶段,代码尚未实现。实施路线分 5 个阶段:

  1. Phase 1 — 只读 MVP(模式 A: 直查对象存储)
  2. Phase 2 — 性能优化
  3. Phase 3 — 元数据引擎(模式 B/C)+ 写路径
  4. Phase 4 — 生产化(K8s 部署 + 监控 + 故障恢复)
  5. Phase 5 — K8s 深度集成(CSI + Webhook + 编排层)

License

Apache 2.0

About

a consumer side fuse-client with local cache

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages