Langzeitspeicher: Bewertung, Kosten und Abläufe
Behandelt Bewertungsszenarien, Qualitätsmetriken, Latenz- und Kostenlimits, Überwachung, Fallback und Vorfallmanagement für Langzeitspeicher. Es legt Annahmegrenzen und beobachtbare Fehlerbelege fest und hält gleichzeitig umgebungsspezifische Limits konfigurierbar.
Paketstatus: Referenzkontext bereit zur menschlichen Überprüfung. Der Vertrag und die Testszenarien sind vollständig, es wird jedoch nicht behauptet, dass eine übernehmende Implementierung diese bestanden hat.
Entscheidung
Für Langzeitspeicher wird eine versionierte Orchestrierungsrichtlinie und eine explizite Modellaufruf-Grenze übernommen. Der Block wird als Release- und Regressionsvertrag behandelt, der aus repräsentativen positiven, Grenz-, Ablehnungs-, Fehler- und Wiederherstellungsfällen besteht. Dieses Paket ist ein Referenzvertrag: Das übernehmende Team muss numerische Grenzen, Anbieter, Rechtsräume und operative Verantwortliche anhand von Belegen in der eigenen Umgebung auswählen.
Umfang
- Die Langzeitspeicher-Akteure, Eingaben, Ausgaben, Zustände, Richtlinien- oder Schemaversionen und extern sichtbaren Ergebnisse, die durch diesen Testblock beschrieben werden.
- Primäre und alternative Schnittstellen, Hintergrundarbeiten, Caches, Integrationen, Supportpfade und Belege, die dieselbe Grenze testen können.
- Übernahmespezifische Konfiguration, Rollout, Wiederherstellung und Verifikationsverantwortlichkeiten, die für eine sichere Anwendung der Referenz erforderlich sind.
Außerhalb dieses Blocks
- Die Wahl eines universellen Anbieters, Frameworks, Rechtsraums, numerischen Schwellenwerts, Aufbewahrungszeitraums oder Service-Level-Objectives für jeden Übernehmer.
- Die Behauptung, dass die verpackten Szenarien gegen eine nachgelagerte Implementierung ausgeführt wurden oder dass diese Referenz eine rechtliche, Sicherheits- oder Barrierefreiheitszertifizierung gewährt.
Vertrag
- Speichere die Prompt-, Tool-, Retrieval-, Modell- und Richtlinienversionen, die benötigt werden, um jedes wesentliche Ergebnis zu reproduzieren oder zu erklären.
- Validieren Sie strukturierte Ausgaben vor jeglichen Nebeneffekten; fehlerhafte oder unvollständige Ausgaben sind ein Fehler, keine teilweise Autorität.
- Trennen Sie nicht vertrauenswürdige Benutzer- oder abgerufene Inhalte von Systemrichtlinien und kennzeichnen Sie jedes Kontextobjekt mit Ursprung und Vertrauenskategorie.
- Begrenzen Sie Tokens, Toolaufrufe, Latenz und Ausgaben pro Anfrage; das Überschreiten einer Grenze führt zu einem benannten Fallback statt unbeschränkter Fortsetzung.
- Erfassen Sie Fixture-Version, Umgebung, Konfiguration, beobachtetes Ergebnis und Belegort für jeden entscheidungsrelevanten Lauf.
- Trennen Sie Produktfehler, Abhängigkeitsfehler, Testinfrastrukturfehler und unklare Belege in Berichten.
- Speichern Sie nur vom Benutzer autorisierte dauerhafte Fakten mit Quelle, Subjekt, Zweck, Vertrauen, Sichtbarkeit, Erstellungs- und Überprüfungszeit, Ablauf und Richtlinienversion.
- Ermöglichen Sie Benutzern, Speicher zu inspizieren, zu korrigieren, zu vergessen und zu begrenzen, ihn für die aktuelle Aufgabe neu zu autorisieren und zu verhindern, dass Zusammenfassungen oder abgeleitete Merkmale stillschweigend zur dauerhaften Wahrheit werden.
Implementierungsleitfaden
- Erstellen Sie den kleinsten deterministischen Fixture-Satz, der Risikoklassen abdeckt, und fügen Sie Produktionsfälle erst nach datenschutzsicherer Überprüfung hinzu.
- Modellieren Sie Langzeitspeicher-Eingaben, -Ausgaben, Akteure, Zustände, Invarianten, Nebeneffekte und Belege, bevor Sie Framework- oder Anbieterdetails auswählen.
- Speichern Sie die anwendbare Langzeitspeicher-Vertrags- oder Richtlinienversion mit materiellem Zustand, damit Migrationen, Wiedergabe und Supportentscheidungen zuordenbar bleiben.
- Führen Sie den Pfad hinter kontrolliertem Rollout ein, vergleichen Sie erwartete und beobachtete Ergebnisse und behalten Sie eine getestete Wiederherstellungsroute, bis Übernahmebelege vollständig sind.
Fehlerbehandlung und Schutzmaßnahmen
- Anbieterfehler, unsichere Ausgaben oder erschöpftes Budget führen zu einem begrenzten Fallback und bewahren korrelationssichere Diagnosedaten.
- Ungültiger oder widersprüchlicher Langzeitspeicherzustand wird abgelehnt oder isoliert; die Implementierung schätzt niemals einen Wert, der Autorität erweitert oder Effekte dupliziert.
- Wiederholungen sind begrenzt und verwenden dauerhafte Identität; nach Erschöpfung erreicht die Arbeit einen inspizierbaren Endzustand mit verantwortlichem Eigentümer.
Verifikation und Betrieb
- Führen Sie die Suite zweimal aus einem sauberen Zustand aus und bestätigen Sie, dass Reihenfolge, Wiederholungen und parallele Ausführung das Urteil nicht verändern.
- Überwachen Sie Langzeitspeicher-Erfolg, Ablehnung, Validierungsfehler, Abhängigkeitsfehler, Erschöpfung von Wiederholungen und Wiederherstellung nach Vertragsversion ohne sensible Nutzlastdimensionen.
- Führen Sie gepaarte positive und negative Fixtures nach Richtlinien-, Schema-, Abhängigkeits-, Migrations- oder Grenzänderungen erneut aus und bewahren Sie die resultierenden Belege.
Annahmen zur Übernahme
- Namen und Werte im Beispiel sind ein konkretes Fixture, keine universellen Standardwerte; Übernehmer ersetzen sie durch dokumentierte Belege und Eigentum.
- Das übernehmende System kann authentifizierte Identität, dauerhafte Operationen oder Versionsaufzeichnungen, begrenzte Telemetrie und einen kontrollierten Änderungsweg bereitstellen.
Die ausführbar aussehenden Beispiele in diesem Paket sind Fixtures und Akzeptanzverträge. Führen Sie den Sammlungsvalidator aus, um Struktur und Metadaten zu prüfen, übersetzen und führen Sie dann die Szenarien im Ziel-Repository aus, bevor Sie Implementierungsbelege erfassen.
Referenzen
- NIST AI 600-1, Generative AI Profile (gilt ab 2026-09-08)