DVC(Data Version Control)
資源介紹
DVC 是數據版本控制與機器學習實驗管理的命令行工具,把大體積數據和模型的版本信息記錄在 Git 倉庫中,實際文件存放在雲存儲或其他远端;可定義處理流水線,依赖變化時只重跑受影響的步驟,並用 dvc exp 在本地運行和對比實驗。適合需要保證數據與結果可復現的機器學習和數據密集型課題組。
- 功能 1: 數據與模型版本化,Git 中只保存元信息,文件存放在 S3、Azure、Google Cloud、SSH 等远端
- 功能 2: 流水線定義依赖與輸出,只重跑受影響步驟
- 功能 3: dvc exp 在本地運行、對比和應用實驗
- 功能 4: VS Code 扩展支持實驗追蹤與數據管理
- 功能 5: 命令行接口便於封裝為 Skill 供智能體調用
資源資訊
- 提供方
- Treeverse(lakeFS,企業;2025-11 從 Iterative 接手)
- 類型
- 工具 / 代碼庫
- 分類
- 實驗與數據分析
- 運行環境
- 工具或庫
- 適用場景
- 機器學習、計算機視覺、生物信息等數據密集型課題組。典型場景是為論文實驗固定數據集和模型版本,合作者拉取同一版本的數據即可復現結果。
- 許可證(收錄時)
- Apache-2.0
- 原始碼
- GitHub
