NewtonBench(港科大 KnowComp)
資源介紹
NewtonBench 是香港科技大學 KnowComp 組發布的評測基准,用於衡量大模型智能體發現科學規律的能力。它對万有引力、庫仑定律、傅里葉定律等經典物理定律做系統性改寫,避免模型凭記忆作答,要求智能體通過交互式實驗收集數據並歸纳規律,共 324 個任務,覆蓋 12 個物理領域,論文收錄於 ICLR 2026。適合研究 AI 科學家、科學發現智能體與推理評測的研究者。
- 功能 1: 324 個科學規律發現任務,覆蓋 12 個物理領域
- 功能 2: 對經典定律做系統性改寫,降低記忆作答的影響
- 功能 3: 按定律难度與系統復雜度两個维度分級
- 功能 4: 支持纯推理智能體與代碼辅助智能體两種評測設置
- 功能 5: 已集成到 NVIDIA NeMo Gym 作為強化學習環境
資源資訊
- 提供方
- 香港科技大學 HKUST-KnowComp 組(宋陽秋副教授團隊,大學實驗室官方)
- 類型
- 數據集 / 模型
- 分類
- 科研智能體與深度研究
- 運行環境
- 數據集或模型
- 適用場景
- 研究科學發現智能體、AI 科學家與大模型推理評測的研究者;典型場景為評估或訓練自研科研智能體的規律歸纳能力、對比不同模型的科學推理表現。
- 許可證(收錄時)
- MIT
- 原始碼
- GitHub
