DVC(Data Version Control)
资源介绍
DVC 是数据版本控制与机器学习实验管理的命令行工具,把大体积数据和模型的版本信息记录在 Git 仓库中,实际文件存放在云存储或其他远端;可定义处理流水线,依赖变化时只重跑受影响的步骤,并用 dvc exp 在本地运行和对比实验。适合需要保证数据与结果可复现的机器学习和数据密集型课题组。
- 功能 1: 数据与模型版本化,Git 中只保存元信息,文件存放在 S3、Azure、Google Cloud、SSH 等远端
- 功能 2: 流水线定义依赖与输出,只重跑受影响步骤
- 功能 3: dvc exp 在本地运行、对比和应用实验
- 功能 4: VS Code 扩展支持实验追踪与数据管理
- 功能 5: 命令行接口便于封装为 Skill 供智能体调用
资源信息
- 提供方
- Treeverse(lakeFS,企业;2025-11 从 Iterative 接手)
- 类型
- 工具 / 代码库
- 分类
- 实验与数据分析
- 运行环境
- 工具或库
- 适用场景
- 机器学习、计算机视觉、生物信息等数据密集型课题组。典型场景是为论文实验固定数据集和模型版本,合作者拉取同一版本的数据即可复现结果。
- 许可证(收录时)
- Apache-2.0
- 源码
- GitHub
