問題與依據
基準 main@d333e4e,並包含尚未合併的 #143 、#144 。
最小設計
在既有 result JSON 增加小型、output-only 的 runtime 描述;在啟動時解析一次、每次實際執行取用同一份 immutable 值。必要欄位建議:
coreVersion / sourceSha(可取得時)
bundleDigest / launcherDigest(可取得時)
runner / runnerVersion
model / effort / providerRouteId
promptHash / policyHash
reviewBudgetMs
qualification: { policyVersion, reportId, matchStatus }
這是建議欄位,不要求一次為每個 runner 實作全部 metadata。無法獨立取得者必須標 unknown 或 operator_attested,不从模型文字猜、不假造相容,也不把操作人員宣告當成 provider 證明。
實作步驟
在 runner 解析邊界收集實際生效 的值,不只是 caller inputs。ACP launcher 私下選 model 時,上游不知道就記 unknown,不能沿用 README 的預設 model。
使用者畫面僅顯示「工具版本/AI 服務/組態是否與受測版本一致」。其餘放可展開的技術資料與 redacted JSON;使用者不必理解 lane、SHA、hash 才能使用。
擴充現有 eval runner-environment 身分處理,為 ACP 記錄可公開的 launcher digest、harness version、auth-source 類型。驗證與生成器共用既有契約,不另建 registry。
配置與已知 qualification 報告完全對應時才標 tested。未知或不同組態標「未完成同組態評測」,不要把自訂 lane 全部禁止使用;能力不足或安全配置失敗仍依 [P2] 依 runner 能力選擇審查流程,禁止無 repo 工具的 HTTP lane 宣稱完成 deep review #146 /[P2] 修正 #143 委派 runner 路徑遺失 codex_proxy_required 的限制 #147 拒絕。
README、benchmark 與「推薦安裝組態」從同一個小型版本檔產生/檢查,清楚區分 benchmark-selected、package default、operator-selected,避免散落多個 deployed 宣告。
JSON/日誌不得包含 API key、token、auth.json、完整私有 URL、使用者家目錄、原始認證 store;不得以低熵秘密的 digest 代替遮蔽。hash 僅針對可公開的 artifact/policy bytes。
缺少非必要 metadata 不使原本成功 review 無故失敗;但不足以重現的 lane 繼續不能取得公開 leaderboard 的 verified 標記。
驗收
不做的事
不建 SaaS control plane、集中 telemetry、完整供應鏈證明平台或通用 credential vault。先重用既有 release.json/eval manifest/result JSON。Digest 只識別 bytes,不宣稱是可信簽章或 runtime 隔離證明。
相關與交付
#142 管 launcher allowlist 的相容契約;本 issue 管執行身份與報告可比性。先做不影響模型輸入的 metadata,再按專案規則 gate;若碰 scorer/qualification semantics,必須宣告 Class R。使用者安裝不需要本機執行 87-fixture 評估。
問題與依據
基準
main@d333e4e,並包含尚未合併的 #143、#144。privateEnvironment: true使公開 leaderboard 生成器拒絕該報告。不能靠放寬檢查讓它上榜。RunStat/ReviewResult已有部分執行統計,但不足以完整回答「這份結果是哪個部署組態產生」。現有 README、eval 決策、host 預設也不能統稱為同一個 deployed lane。最小設計
在既有 result JSON 增加小型、output-only 的
runtime描述;在啟動時解析一次、每次實際執行取用同一份 immutable 值。必要欄位建議:這是建議欄位,不要求一次為每個 runner 實作全部 metadata。無法獨立取得者必須標
unknown或operator_attested,不从模型文字猜、不假造相容,也不把操作人員宣告當成 provider 證明。實作步驟
驗收
不做的事
不建 SaaS control plane、集中 telemetry、完整供應鏈證明平台或通用 credential vault。先重用既有 release.json/eval manifest/result JSON。Digest 只識別 bytes,不宣稱是可信簽章或 runtime 隔離證明。
相關與交付
#142 管 launcher allowlist 的相容契約;本 issue 管執行身份與報告可比性。先做不影響模型輸入的 metadata,再按專案規則 gate;若碰 scorer/qualification semantics,必須宣告 Class R。使用者安裝不需要本機執行 87-fixture 評估。