矛盾する情報源:パイプラインの実装とメタデータ
知識パイプラインが矛盾する主張を証拠を伴う関係として記録し、類似性や新しさだけで真実を静かに選択することなく検索可能にする方法を定義します。
パッケージの状態: 参照コンテキストが人間によるレビュー準備完了。契約とテストシナリオは完了していますが、採用実装がそれらを通過したという主張はありません。
決定
両方の情報源バージョンを保持し、主張レベルの矛盾候補を抽出し、出所、範囲、時間、権限、レビュー状態を付加します。検索は明示的な解決ポリシーを適用できますが、未解決の重要な矛盾の存在は保持しなければなりません。
範囲
- 主張の識別、主語/述語/値、修飾語、情報源の出所、矛盾エッジ、権限ポリシー、レビュー、置換、検索動作。
- 同一範囲と時間内で全てが成立し得ない数値的、カテゴリ的、手続き的主張。
- 認可安全な矛盾開示。
このブロックの外側
- オープンウェブの自動ファクトチェック。
- 正規化なしに異なる範囲、日付、定義を矛盾とみなすこと。
契約
- 主張は正確な情報源バージョンと証拠範囲、加えて可能な場合は正規化された主語、述語、値、単位、範囲、有効時間を記録します。
- 矛盾は重複する範囲と時間内で互換性のない値を必要とし、不確実性や欠落修飾語は明示的に残します。
- 情報源の権限はバージョン管理されたプロジェクトポリシーであり、検索スコアから推測されません。
- 解決済みの矛盾は、保持ポリシーで削除が要求されない限り、失われた証拠と解決理由を保持します。
- 要求者は認可された証拠のみを見て、隠された情報源名、件数、値を知りません。
- 回答コンテキストは未解決の矛盾を示し、1つの裏付けのない文に統合せずに異なる引用を提供します。
実装ガイダンス
- 共有主張キーと互換性のない正規化値を用いて候補を生成し、重要なケースをレビューに回します。
- 抽出信頼度は情報源の権限や解決信頼度と区別して保持します。
- 1つの情報源が明示的に古いバージョンを置換する場合は、矛盾とは別に置換をモデル化します。
- 矛盾状態を検索特徴量としてインデックス化し、高リスク述語には証拠の多様性を強制します。
障害処理と安全策
- 単位や範囲が調整できない場合は、矛盾ではなく曖昧な関係としてラベル付けします。
- 優先情報源がアクセス不能になった場合は、認可された証拠から見える解決を再計算します。
- 抽出が変更された場合は、新しいものが矛盾回帰テストを通過するまで古い主張生成を保持します。
検証と運用
- 矛盾候補数、確認済み精度、未解決期間、高リスク述語、可視証拠カバレッジ、回答引用数を両側で測定します。
- 解決は権限ポリシーバージョンとレビュアー証拠を監査します。
- インデックスや回答プロンプト変更後に既知の矛盾フィクスチャを検査します。
このパッケージの実行可能に見える例はフィクスチャおよび受け入れ契約です。
コレクションのルートから python tools/validate.py を実行してパッケージ構造とメタデータをチェックし、対象リポジトリでシナリオを実装・実行してください。
採用の前提
example.yamlの名前や数値は採用プロファイルであり、普遍的なデフォルトではありません。- 採用チームはアクター、データクラス、エラー語彙、所有権を自システムにマッピングする必要があります。
参考文献
- 外部の規範的な情報源は不要です。本パッケージはプロジェクトの決定を定義します。