Data-Centric AI 学习指南
OpenDCAI Tutorial 是面向 Data-Centric AI (DCAI) 方向的系统性学习指南,由 PKU-DCAI 实验室维护。本项目整合了 DCAI 各核心研究方向的课程、论文和实战教程,帮助初学者从基础概念到动手实践,快速建立对 Data-Centric AI 的全面认识。
Data-Centric ML 是研究使用数据生成、选择与配比等方法实现大规模、高效以及提升模型表现的研究方向。与以模型为中心 (Model-Centric) 的思路不同,DCAI 强调通过改进数据质量、数据组织和数据流程来系统性地提升 AI 系统的效果。
如果你会一点 Python,但还不熟悉大模型,先走下面这条路线。你不需要先通读所有论文,也不需要准备显卡。
- 认识大模型:读 00 前置知识,以复旦 NLP 团队的《大规模语言模型:从理论到实践》为默认教材,按主题选读;配合术语与样本说明,分清推理、预训练、微调和 RAG。
- 做第一个实验:运行数据纠错与去重实验。只需 Python 标准库,用固定模型方法和测试集比较不同训练数据,查看哪些预测发生了变化。
- 理解 DCAI 的问题:进入 01,再按 05 数据处理 → 04 数据评估 → 03 数据生成 → 02 数据选择与配比 学习。先完成每章的小练习,再选择论文深入。
- 选择后续实践:有合适 GPU、理解训练与评测后做 08 数学微调;想组织数据流程看 09 工具与系统;想用文档辅助问答看 10 RAG。多模态和强推理方向见 06、07,可按兴趣选学。
学习时间因基础而异。第一阶段的完成标准是:能解释一条训练样本、跑出对照结果,并说清哪些操作只使用训练集。复旦教材的具体阅读范围和自测题见 00。
编号用于定位材料,不要求按编号逐章通读。已有基础的同学可以直接查找研究方向。
| 编号 | 模块 | 说明 |
|---|---|---|
| 00 | 前置知识 | 复旦教材选读、LLM 基本概念、无需 GPU 的首个实验 |
| 01 | DCAI 基础 | MIT DCAI 2024、华盛顿大学 DCAI 课程、领域综述 |
| 02 | 数据选择与配比 | Data Selection、Data Mixing 方法与论文 |
| 03 | 数据生成 | LLM 驱动的合成数据生成、可控数据生成 |
| 04 | 数据评估 | 文本、图像、视频与多样性评估 |
| 05 | 数据处理 | Data Cleaning、Data Filtering、Scaling Laws |
| 06 | 多模态数据侧 | Image/Video LLMs、Data-Centric VLMs |
| 07 | 强推理模型与数据 | AI4Math、Code、Science 推理数据 |
| 08 | 实战:LLM 数学微调 | 基于 LLaMA-Factory + GSM8K 的完整微调 Pipeline |
| 09 | DCAI 工具与系统 | DataFlow 数据准备 + DataFlex 数据训练 |
| 10 | RAG、数据抽取与智能助手 | GraphRAG、Raptor、DataMind Agentic RAG |
- 刚入门:先看每章的“第一次学习”,完成一个小任务;论文列表留作之后查阅。列表中的“必读”指深入该研究方向时的重点材料。
- 已有 ML/LLM 基础:可以从 01 或感兴趣的方向进入。08 的微调实践需要额外的训练环境,先阅读该章的运行条件。
- 准备做研究:结合论文的问题、数据、评价指标和实验设置阅读;不要只记录模型分数,也要记录失败案例。
- 复旦 NLP 大语言模型教材 -- 本指南的默认 LLM 前置阅读,按 00 中的主题选读
- PKU-DAIR Starter Guide -- 实验室入门指南
- PKU-DAIR Starter Guide - DCML 方向 -- Data-Centric ML 论文与课程列表
- MIT DCAI 2024 -- MIT Data-Centric AI 课程
- UW DCAI -- 华盛顿大学 Data-Centric AI 课程
欢迎通过 PR 贡献新的教程、补充论文列表或完善现有内容。每个模块文件夹下的 README.md 包含该方向的核心资源,可直接在其中添加内容。
Copyright © 2025 by PKU-DCAI. All rights reserved.