検索評価：評価と運用

検索評価のためのフィクスチャ、検索および回答メトリクス、モニタリング、新鮮度チェック、デバッグ、リカバリを扱います。採用の境界と観測可能な障害証拠を固定しつつ、環境固有の制限は設定可能に保ちます。

パッケージの状態： 人間によるレビューのための参照コンテキストが準備完了。契約とテストシナリオは完成していますが、採用実装がこれらを通過したという主張はありません。

決定

検索評価については、バージョン管理されたソース、変換、インデックス、およびアクセス制御の系譜を採用します。このブロックは代表的な肯定、境界、拒否、失敗、リカバリケースから構成されるリリースおよび回帰契約として扱います。このパッケージは参照契約であり、採用チームは自環境の証拠に基づいて数値制限、プロバイダー、管轄区域、運用責任者を選択しなければなりません。

範囲

• このテストブロックで記述される検索評価のアクター、入力、出力、状態、ポリシーまたはスキーマのバージョン、および外部に見える結果。
• 主および代替インターフェース、バックグラウンド作業、キャッシュ、統合、サポート経路、および同じ境界を検証可能な証拠。
• 参照を安全に適用するために必要な採用固有の設定、展開、リカバリ、および検証責任。

このブロックの外

• すべての採用者に対して普遍的なベンダー、フレームワーク、管轄区域、数値閾値、保持期間、またはサービスレベル目標を選択すること。
• パッケージ化されたシナリオが下流の実装で実行されたことや、この参照が法的、セキュリティ、アクセシビリティ認証を付与することを主張すること。

契約

• すべての検索可能単位について、ソース識別子、バージョン、場所、アクセス範囲、パーサー、正規化、チャンク、埋め込み、およびインデックスのバージョンを保持すること。
• 結果、スニペット、カウント、キャッシュ、モデルコンテキストが公開される前にアクセスフィルターを適用すること。後処理フィルタリングのみでは不十分。
• パースや変換の失敗を隔離し、部分的な成果物が最後の完全なバージョンを静かに置き換えることを防止すること。
• バージョン管理された代表ケース（競合、不在、陳腐化、敵対的テキストを含む）で検索および根拠回答の動作を評価すること。
• すべての判定を伴う実行について、フィクスチャのバージョン、環境、設定、観測結果、および証拠の場所を記録すること。
• 製品障害、依存障害、テストインフラ障害、不確定な証拠をレポートで区別すること。
• バージョン管理されたクエリ、意図、期待されるソース、関連性判断、アクセス範囲、新鮮度要件、および評価者ガイダンス（意見不一致のレビューを含む）を維持すること。
• セグメントごとにリコール、ランキング、引用サポート、レイテンシ、コスト、棄権、許可漏洩を測定し、昇格前に固定ベースラインと比較すること。

実装ガイダンス

• リスククラスを網羅する最小の決定論的フィクスチャセットを構築し、プライバシー安全なレビュー後にのみ本番由来のケースを追加すること。
• フレームワークやベンダーの詳細を選択する前に、検索評価の入力、出力、アクター、状態、不変条件、副作用、および証拠をモデル化すること。
• 適用される検索評価契約またはポリシーバージョンを物理状態と共に保存し、マイグレーション、リプレイ、サポート判断が追跡可能であるようにすること。
• 制御された展開の背後にパスを導入し、期待結果と観測結果を比較し、採用証拠が完了するまでテスト済みのリカバリルートを維持すること。

障害処理と安全策

• 出所、アクセス範囲、必要なコンテンツが欠落している場合は、その単位を除外し、完全性を捏造する代わりに診断可能なカバレッジギャップを公開すること。
• 無効または矛盾した検索評価状態は拒否または隔離し、実装は権限を拡大したり効果を重複させる値を推測しないこと。
• リトライは制限され耐久的な識別子を使用し、使い果たした後は検査可能な終端状態に達し、責任者が明確であること。

検証と運用

• クリーンな状態からスイートを2回実行し、順序、リトライ、並列実行が判定を変えないことを確認すること。
• 検索評価の成功、拒否、検証失敗、依存失敗、リトライ枯渇、リカバリを契約バージョンごとに機密ペイロードの次元なしでモニタリングすること。
• ポリシー、スキーマ、依存関係、マイグレーション、境界の変更後に肯定・否定のペアフィクスチャを再実行し、得られた証拠を保持すること。

採用の前提

• 例の名前と値は具体的なフィクスチャであり普遍的なデフォルトではない。採用者は文書化された証拠と所有権を通じて置き換えること。
• 採用システムは認証済みのID、耐久的な操作または記録バージョン、制限されたテレメトリ、および制御された変更経路を提供できること。

このパッケージ内の実行可能に見える例はフィクスチャおよび受け入れ契約です。
構造とメタデータを検証するためにコレクションバリデータを実行し、ターゲットリポジトリでシナリオを翻訳・実行してから実装証拠を記録してください。

参考文献

• NIST AI 600-1, Generative AI Profile（2026-09-08適用）