Definiert die Ranking-Grenze, Ziele, harte Einschränkungen, Tie-Breaking, Erklärungsevidenz und Offline-zu-Online-Gates, die benötigt werden, um die Ergebnisreihenfolge sicher und reproduzierbar zu ändern.
Paketstatus: Referenzkontext bereit für menschliche Überprüfung. Der Vertrag und die Testszenarien sind vollständig, es wird jedoch nicht behauptet, dass eine übernehmende Implementierung diese bestanden hat.
Entscheidung
Rangiere nur autorisierte Kandidaten, die durch Retrieval erzeugt wurden. Trenne nicht verhandelbare Berechtigungs- und Richtlinieneinschränkungen vom bewerteten Ziel, versioniere jede Feature- und Modellvereinbarung und verwende deterministisches Tie-Breaking.
Umfang
- Ranking-Eingaben, Ziele, Einschränkungen, Feature-Verfügbarkeit, Ausgabe, Gleichstände, Bewertung, Rollout und Rollback.
- Ein Ergebnislisten-Ranker, der nach der Kandidatenermittlung arbeitet.
- Segmentierte Relevanz- und Schutzmetriken.
Außerhalb dieses Blocks
- Kandidatengenerierung oder Definition von Geschäftspolitik.
- Annahme, dass Klicks unverzerrte Relevanzlabels sind.
Vertrag
- Der Ranker führt niemals gefilterte oder nicht autorisierte Elemente wieder ein.
- Harte Einschränkungen werden vor oder um die Bewertung herum angewendet und im Antwortprofil benannt.
- Jede Anfrage protokolliert Ranker-Version, Feature-Schema-Version, Kandidatensatz-Identität und Experimentzuweisung.
- Fehlende Features verwenden einen dokumentierten Wert oder Fallback-Pfad; sie erben kein Gedächtnis von einem vorherigen Kandidaten.
- Gleichstände werden durch einen expliziten stabilen Schlüssel nach Anwendung der Score-Toleranz aufgelöst.
- Eine Veröffentlichung besteht Offline-Relevanzschwellen und Online-Sicherheitsleitplanken für jedes geschützte Segment.
Implementierungsrichtlinien
- Erstelle einen typisierten Feature-Vertrag mit Quelle, Aktualität, Nullsemantik, Bereich und Leakage-Review.
- Verwende kontrafaktische oder randomisierte Daten, wenn Effekte aus verzerrten Interaktionslogs geschätzt werden.
- Behalte eine interpretierbare Regel-Basislinie für Fallback und Vergleich.
- Trenne Nutzermetriken von Marktplatz-, Umsatz- oder Richtlinienzielen und protokolliere deren Priorität.
Fehlerbehandlung und Schutzmaßnahmen
- Wenn das Modell oder der Feature-Service nicht verfügbar ist, rufe die deklarierte Basislinie auf und zeige deren Ranker-Version an.
- Bei inkompatiblem Feature-Schema lehne das Modell-Laden ab, anstatt unbekannte Felder stillschweigend zu füllen.
- Bei Verletzung von Schutzleitplanken rolle die Zuweisung auf das zuletzt akzeptierte Profil zurück und bewahre die Experiment-Evidenz.
Verifikation und Betrieb
- Verfolge nDCG/MRR/success@k, Abdeckung, Kalibrierung wo anwendbar, Feature-Fehlermeldungen, Latenz, Stabilität und Schutzleitplanken nach Segment.
- Prüfe große Positionsänderungen und unerwartete Konzentrationen.
- Pflege eingefrorene Evaluationssets sowie zeitbasierte Sets zur Erkennung von Drift.
Die ausführbaren Beispiele in diesem Paket sind Fixtures und Akzeptanzverträge. Führe
python tools/validate.py vom Sammlungsstamm aus, um Paketstruktur und Metadaten zu prüfen; implementiere und führe dann die Szenarien im Ziel-Repository aus.
Annahmen zur Übernahme
- Namen und numerische Werte in
example.yamlsind ein Übernahmeprofil, keine universellen Standardwerte. - Das übernehmende Team muss Akteure, Datenklassen, Fehler-Vokabular und Eigentum auf sein System abbilden.