audit(ci): triage 13 test failures unmasked by segfault fix (#266)

[Wolfvin]

Mengapa

Sebelum PR #266 (pin tree-sitter<0.26), setiap run CI segfault di test_large_file_parsing.py dan mengabort SELURUH suite (exit 139) sebelum test lain jalan — jadi CI tidak pernah benar-benar hijau di full suite. Setelah #266, suite jalan tuntas (CI run 29249756715: 16 failed, 2515 passed). 3 sudah diperbaiki di PR #270 (sarif SyntaxError + _auto_setup regresi). Sisa 13 failure ini pre-existing (mayoritas repro di Windows DAN Linux — bukan env-only) dan perlu triase + fix.

Bukti: CI run 29249756715 job "Test Suite" — 13 nama di bawah persis dari log itu.

13 Failure (grup per area)

A. Formatter/output layer drift (kemungkinan dari #195 umbrella refactor)

• test_formatters_phase2::test_help_lists_new_formats — --format choices di argparse cuma {json,markdown,ai,sarif,compact,graphml} (6), tapi CodeLens klaim 11 formatter (text/junit-xml/emacs/vim/gitlab-sast hilang dari choices).
• test_confidence::test_dead_code_json_output_has_schema_version — KeyError schema_version
• test_confidence::test_secrets_json_output_has_schema_version — KeyError schema_version
• test_confidence::test_json_format_has_schema_version — KeyError schema_version

B. Search pagination (compact)

• test_compact_format::test_search_offset_advances — KeyError matches
• test_compact_format::test_search_pagination — KeyError status

C. scan performance / timeout

• test_cli::test_scan_with_format_long_does_not_crash — TimeoutExpired 60s (scan . --format json men-scan dir scripts/ nyata; >120s lokal fresh)
• test_cli::test_scan_with_format_short_does_not_crash — TimeoutExpired 60s (-f json)
  → Dua angle: (1) test cuma perlu cek argparse, harusnya scan fixture kecil bukan .; (2) scan penuh scripts/ >120s = kandidat perf regresi terpisah.

D. diff-scope / misc

• test_diff_scope::test_diff_base_before_subcommand — -1 not greater than -1
• test_diff_scope::test_valid_ref_produces_diff_scope_in_output — No JSON in output
• test_cli::TestCheckCommandArgs::test_check_full_cli_invocation_with_positional — check <ws> --format json output kosong (bukan JSON)
• test_codelensignore::test_actual_target_dir_is_ignored — assert False is True
• test_hybrid_engine::test_deep_unsupported_command_sets_hint — path bug scripts/scripts/codelens.py (test path construction)

Konteks

Failure ini bukan regresi baru — mayoritas repro di Windows DAN Linux, tapi selalu tertutupi karena segfault test_large_file_parsing.py mengabort pytest (exit 139) sebelum test lain jalan. Setelah PR #266 (pin tree-sitter<0.26) menghilangkan segfault, suite jalan tuntas dan 13 failure ini muncul — pertama kalinya full-suite Linux bisa dilihat. Grup A (formatter choices + schema_version) kemungkinan drift dari #195 umbrella refactor.

Tujuan

CI Test Suite job hijau di Linux — atau tiap failure sisa didokumentasikan eksplisit sebagai env-only dengan bukti. Tiap dari 13 diklasifikasi (longstanding vs regresi + commit penyebab); yang genuine (output-contract drift) diperbaiki.

Constraint

• JANGAN skip test buta untuk "menghijaukan" CI — grup A/B indikasi bug produk nyata (output shape drift). Skip = menyembunyikan bug.
• JANGAN longgarkan assertion tanpa root-cause; klasifikasi vs baseline dulu.
• Boleh dipecah jadi sub-issue per-area kalau satu PR terlalu besar; tiap sub-issue tetap 5 blok.

Metodologi triase (WAJIB per item)

Untuk tiap failure: clone bersih di commit pra-#195 (c722f4a atau lebih lama), jalankan test spesifik. Kalau gagal di baseline juga → longstanding (fix product/test). Kalau lolos di baseline → regresi dari refactor tertentu (bisect). JANGAN skip test buta — grup A/B/C indikasi bug produk nyata (output shape drift), bukan cuma test-debt.

Definition of Done

• Tiap 13 failure diklasifikasi: longstanding vs regresi (dengan commit penyebab)
• Grup A (formatter choices + schema_version) diperbaiki atau di-sub-issue — ini output contract yang consumer andalkan
• Grup C: test argparse dibuat pakai fixture kecil (cepat); perf scan dievaluasi terpisah kalau terbukti regresi
• CI Test Suite job hijau di Linux (0 failed), atau failure sisa didokumentasikan eksplisit sebagai env-only dengan bukti

[Wolfvin]

Group A (output-contract drift) RESOLVED via PR #283: test_help_lists_new_formats (11 --format choices exposed) + TestEndToEndSchemaVersion ×3 (schema_version stamped in default json). Verified 96 passed.

Sisa terbuka di #271: Group B (compact search pagination — test_search_pagination/test_search_offset_advances, keduanya masih gagal), Group C (scan-timeout argparse tests), Group D (diff_scope/codelensignore/hybrid_engine path/check-positional).

[Wolfvin]

Group B root-cause (BOS, diverifikasi langsung) — BUKAN sekadar test stale, ini regresi kontrak. test_compact_format.py::TestSearchPagination gagal karena commands.search.execute (SEMUA mode: semantic/regex/symbol) mengembalikan envelope umbrella {s, st, r} tanpa field pagination matches/offset/limit/has_more/status. Refactor umbrella #195 tampaknya menghilangkan pagination search (fitur issue #17) dari output.

Ini keputusan kontrak, bukan tweak test:

• Opsi A: kembalikan pagination di envelope {s,st,r} baru (mis. st bawa offset/limit/total_count/has_more; item ter-slice di r) — pulihkan fitur [PERF] Token-efficient output: structured compact format for all MCP tools #17, lalu update test ke envelope baru.
• Opsi B: pagination memang sengaja di-drop di refactor(commands): consolidate 78 commands → 12 focused commands #195 → update test untuk mencerminkan itu (tapi kehilangan kemampuan paginate hasil search besar = penurunan fungsi nyata untuk agent).

Rekomendasi: Opsi A (pagination search berguna untuk agent di hasil besar; #17 membangunnya sengaja). Butuh keputusan sebelum fix — jangan ubah output contract terburu-buru. Tandai sebagai sub-item yang butuh design-call, bukan quick-fix.

[Wolfvin]

Status akurat 13 failure (per 2026-07-13, sesi audit)

FIXED & verified lokal (9):

• scan-format argparse ×2 → PR test(cli): fast fixtures for scan-format argparse tests + fix doubled scripts path (refs #271) #284 (fixture kecil)
• check-positional → PR test(cli): fix doubled scripts path in check-positional test (refs #271 Group D) #287 (doubled scripts/scripts path)
• codelensignore nested-dir → PR fix(ignore): fallback matcher ignores nested build dirs (refs #271 Group D) #285 (fallback matcher)
• schema_version ×3 + formatter --help → PR fix(output): expose all 11 --format choices + schema_version in json (refs #271 Group A) #283
• hybrid_engine doubled-path → PR test(cli): fast fixtures for scan-format argparse tests + fix doubled scripts path (refs #271) #284
• (sarif format sudah lebih dulu di PR fix: sarif f-string SyntaxError + _auto_setup gate regression (unmasked by #266) #270)

BLOCKED — butuh keputusan produk (2):

• compact search pagination ×2 (Group B) = regresi kontrak refactor(commands): consolidate 78 commands → 12 focused commands #195: pagination search hilang dari output umbrella. Opsi A (pulihkan pagination di envelope {s,st,r}) vs B (terima drop + update test). Rekomendasi A. Bukan quick-fix.

BLOCKED — Linux-only, tak bisa direproduksi lokal (2):

• diff_scope test_diff_base_before_subcommand + test_valid_ref_produces_diff_scope — lolos di Windows lokal, gagal di Linux CI ("No JSON in output"). HIPOTESIS: efek sekunder mass-scan hang (fix: sarif f-string SyntaxError + _auto_setup gate regression (unmasked by #266) #270→fix(cli): narrow auto_setup gate — broad gate caused hours-long CI hang #274) — codelens dgn --diff-base kemungkinan kena scan lambat/timeout sebelum fix(cli): narrow auto_setup gate — broad gate caused hours-long CI hang #274. Bisa jadi SUDAH lolos setelah fix(cli): narrow auto_setup gate — broad gate caused hours-long CI hang #274; perlu CI run bersih untuk konfirmasi (runner sedang mati/quota).

Catatan: beberapa dari 13 mungkin efek sekunder mass-scan hang, bukan bug independen. Butuh 1 CI run Linux bersih (setelah runner pulih) untuk melihat sisa nyata. Windows-env failures (geteuid, path separator) BUKAN bagian 13 Linux ini.