DVC(Data Version Control)

treeverse實驗與數據分析收錄於

資源介紹

DVC 是數據版本控制與機器學習實驗管理的命令行工具,把大體積數據和模型的版本信息記錄在 Git 倉庫中,實際文件存放在雲存儲或其他远端;可定義處理流水線,依赖變化時只重跑受影響的步驟,並用 dvc exp 在本地運行和對比實驗。適合需要保證數據與結果可復現的機器學習和數據密集型課題組。

  • 功能 1: 數據與模型版本化,Git 中只保存元信息,文件存放在 S3、Azure、Google Cloud、SSH 等远端
  • 功能 2: 流水線定義依赖與輸出,只重跑受影響步驟
  • 功能 3: dvc exp 在本地運行、對比和應用實驗
  • 功能 4: VS Code 扩展支持實驗追蹤與數據管理
  • 功能 5: 命令行接口便於封裝為 Skill 供智能體調用

資源資訊

提供方
Treeverse(lakeFS,企業;2025-11 從 Iterative 接手)
類型
工具 / 代碼庫
分類
實驗與數據分析
運行環境
工具或庫
適用場景
機器學習、計算機視覺、生物信息等數據密集型課題組。典型場景是為論文實驗固定數據集和模型版本,合作者拉取同一版本的數據即可復現結果。
許可證(收錄時)
Apache-2.0
原始碼
GitHub