Skip to content

[P2] 記錄實際執行的 review lane,補齊 ACP 身分與 benchmark/安裝版本對應 #149

Description

@frankekn

問題與依據

基準 main@d333e4e,並包含尚未合併的 #143、#144。

最小設計

在既有 result JSON 增加小型、output-only 的 runtime 描述;在啟動時解析一次、每次實際執行取用同一份 immutable 值。必要欄位建議:

coreVersion / sourceSha(可取得時)
bundleDigest / launcherDigest(可取得時)
runner / runnerVersion
model / effort / providerRouteId
promptHash / policyHash
reviewBudgetMs
qualification: { policyVersion, reportId, matchStatus }

這是建議欄位,不要求一次為每個 runner 實作全部 metadata。無法獨立取得者必須標 unknown 或 operator_attested,不从模型文字猜、不假造相容,也不把操作人員宣告當成 provider 證明。

實作步驟

  1. 在 runner 解析邊界收集實際生效的值,不只是 caller inputs。ACP launcher 私下選 model 時,上游不知道就記 unknown,不能沿用 README 的預設 model。
  2. 使用者畫面僅顯示「工具版本/AI 服務/組態是否與受測版本一致」。其餘放可展開的技術資料與 redacted JSON;使用者不必理解 lane、SHA、hash 才能使用。
  3. 擴充現有 eval runner-environment 身分處理,為 ACP 記錄可公開的 launcher digest、harness version、auth-source 類型。驗證與生成器共用既有契約,不另建 registry。
  4. 配置與已知 qualification 報告完全對應時才標 tested。未知或不同組態標「未完成同組態評測」,不要把自訂 lane 全部禁止使用;能力不足或安全配置失敗仍依 [P2] 依 runner 能力選擇審查流程,禁止無 repo 工具的 HTTP lane 宣稱完成 deep review #146/[P2] 修正 #143 委派 runner 路徑遺失 codex_proxy_required 的限制 #147 拒絕。
  5. README、benchmark 與「推薦安裝組態」從同一個小型版本檔產生/檢查,清楚區分 benchmark-selected、package default、operator-selected,避免散落多個 deployed 宣告。
  6. JSON/日誌不得包含 API key、token、auth.json、完整私有 URL、使用者家目錄、原始認證 store;不得以低熵秘密的 digest 代替遮蔽。hash 僅針對可公開的 artifact/policy bytes。
  7. 缺少非必要 metadata 不使原本成功 review 無故失敗;但不足以重現的 lane 繼續不能取得公開 leaderboard 的 verified 標記。

驗收

  • CLI、GitHub 與 ACP 均記錄實際可證明的 runtime;未知值不冒充已知。
  • host 改變 runner/model/effort 後,下次結果的 runtime 跟著改變;同一份 review 中途不漂移。
  • 完全相同/版本不同/未知 launcher 三種狀態有測試,不能誤標同組態 qualification。
  • eval: record the DeepSeek Harness (acp) lane on the direct DeepSeek API #144 的報告只有在身份契約完整、可驗證後才能通過生成器;不加私有例外跳過檢查。
  • secret-redaction 測試包含 endpoint userinfo、query credential、家目錄、passthrough env。
  • cached result 舊版相容;runtime 不送回模型,不改 prompt/finding/verdict。

不做的事

不建 SaaS control plane、集中 telemetry、完整供應鏈證明平台或通用 credential vault。先重用既有 release.json/eval manifest/result JSON。Digest 只識別 bytes,不宣稱是可信簽章或 runtime 隔離證明。

相關與交付

#142 管 launcher allowlist 的相容契約;本 issue 管執行身份與報告可比性。先做不影響模型輸入的 metadata,再按專案規則 gate;若碰 scorer/qualification semantics,必須宣告 Class R。使用者安裝不需要本機執行 87-fixture 評估。

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions