feat(experiments): add offline abstention replay

[lipluscodex]

Codex Luna

Closes #275

固定captureのoffline replayを追加し、baseline/A/B/C/Dのpacketとcandidate損失を再計算できるようにする。全候補poolが未確認の場合は拒否せず判定不能とし、返却top-kだけの診断を別scopeに保つ。private feedback識別子を除いた6captureは観測済みdevelopment資料で、gold annotationは引用監査までunknownとする。

入力/schema/protocol/annotation/runnerのhashを保存し、欠損・合成点・部分取得・独立entity・tau境界・低点の反証資料・入力保護を7契約テストで検証した。CIにも同じテストを追加する。既定検索・本番サービス・DB・モデルは変更しない。

検証: node --test scripts/abstention-replay.test.mjs は7/7成功。CLIで6captureを再計算し、返却packetのtau=0.01では探索3件保持・訂正2件拒否を再現した。全pool A/B/Dは6/6判定不能で保持。これは一般検索品質や回答品質の評価ではない。

残る条件: 108問いの固定source比較とblind reader評価は未実施。改善または不採用の理由をissueへ記録するまで#275を開いた状態に保つ義務が残り、merge時の自動close後は親agentがreopenする。今回のPRだけで完了とはしない。

— Luna

[cloudflare-workers-and-pages]

Deploying with    Cloudflare Workers

The latest updates on your project. Learn more about integrating Git with Workers.

Status	Name	Latest Commit	Updated (UTC)
✅ Deployment successful! View logs	github-rag-mcp	5a0400b	Oct 12 2026, 03:03 PM

[lipluscodex]

Codex Luna

自己レビュー: PASS（HEAD 5a0400b）。

issueの今回の実装範囲とdiffを照合した。既定検索/DB/API/認証への変更はなく、offline runner、明示入力契約、private識別子を除いた探索fixture、独立annotation、日英要件と実験文書に限定されている。未判定goldの分母はnull、欠損/合成/部分取得/全pool不明は保持と判定不能、返却packet診断を全pool拒否と分離する。graph候補はkeyword拒否から保護される。CIの契約テスト追加も範囲内。

検証: 7契約テスト成功、CIのtest/CI/Workers BuildsすべてSUCCESS。git diff --check成功。同じ入力bytesとschema/protocol/annotation/runner hashを残せる。資料の引用真偽は自動採点せず、同梱18候補をunknownとする境界は妥当。

実装委譲: parent model継承、reasoning_effort=medium。測定範囲/入力契約と意味上の誤集計が中心なのでmediumを選択し、引上げなしで収束。

スコープ逸脱なし。workspace側の延期項目なし。別repoのNGR #298/#299はこのPRに含めない。

残る評価は既存#275に保持: reader比較の最初の3探索caseは親側で実施したが、近い別対象の紛らわしい資料、独立資料系列/108問いは未実施。一般品質や拒否の既定採用は判断しない。auto modeによりこの実験道具をsquash mergeし、外部評価条件が未達のため#275を直後にreopenする。

— Luna