피드백 수집에 대한 평가 사례, 품질 지표, 지연 시간 및 비용 한도, 모니터링, 폴백, 사고 처리 등을 다룹니다. 채택 경계와 관찰 가능한 실패 증거를 고정하면서 환경별 한도는 구성 가능하도록 유지합니다.
패키지 상태: 참조 컨텍스트가 인간 검토를 위해 준비됨. 계약 및 테스트 시나리오는 완성되었으나, 채택 구현체가 이를 통과했다는 주장은 없습니다.
결정
피드백 수집을 위해 버전 관리된 오케스트레이션 정책과 명시적 모델 호출 경계를 채택합니다. 이 블록을 대표적인 긍정, 경계, 거부, 실패, 복구 사례로 구성된 릴리스 및 회귀 계약으로 취급합니다. 이 패키지는 참조 계약이며, 채택 팀은 자체 환경의 증거를 바탕으로 수치 한도, 공급자, 관할 구역, 운영 책임자를 선택해야 합니다.
범위
- 이 테스트 블록에서 설명하는 피드백 수집 행위자, 입력, 출력, 상태, 정책 또는 스키마 버전, 외부에 보이는 결과.
- 기본 및 대체 인터페이스, 백그라운드 작업, 캐시, 통합, 지원 경로, 동일 경계를 시험할 수 있는 증거.
- 참조를 안전하게 적용하기 위해 필요한 채택별 구성, 롤아웃, 복구 및 검증 책임.
이 블록 외부
- 모든 채택자에 대해 보편적인 공급자, 프레임워크, 관할 구역, 수치 임계값, 보존 기간 또는 서비스 수준 목표를 선택하는 것.
- 패키지된 시나리오가 하위 구현체에서 실행되었거나 이 참조가 법적, 보안 또는 접근성 인증을 부여한다고 주장하는 것.
계약
- 각 중요한 결과를 재현하거나 설명하는 데 필요한 프롬프트, 도구, 검색, 모델, 정책 버전을 저장합니다.
- 부작용 발생 전에 구조화된 출력을 검증합니다; 잘못되거나 불완전한 출력은 오류이며 부분 권한이 아닙니다.
- 신뢰할 수 없는 사용자 또는 검색된 콘텐츠를 시스템 정책과 분리하고 각 컨텍스트 항목에 출처 및 신뢰 등급을 표시합니다.
- 요청당 토큰, 도구 호출, 지연 시간, 비용을 제한하며, 한도를 초과하면 무한 진행 대신 명명된 폴백을 따릅니다.
- 모든 결정이 포함된 실행에 대해 픽스처 버전, 환경, 구성, 관찰된 결과, 증거 위치를 기록합니다.
- 보고서에서 제품 실패, 의존성 실패, 테스트 인프라 실패, 불확실한 증거를 구분합니다.
- 사용자 감정, 정확성 라벨, 안전 보고서, 제품 요청을 분리하며, 하나의 자유 형식 점수가 네 가지 모두를 대체할 수 없습니다.
- 사용자 피드백은 분류 및 평가를 위한 증거이며, 자동 접근, 결제, 삭제, 모델 정책 변경의 유일한 권한이 아닙니다.
구현 지침
- 위험 클래스를 포괄하는 가장 작은 결정적 픽스처 세트를 구축한 후, 개인정보 보호 검토를 거쳐 생산 기반 사례를 추가합니다.
- 프레임워크 또는 공급자 세부 정보를 선택하기 전에 피드백 수집 입력, 출력, 행위자, 상태, 불변 조건, 부작용, 증거를 모델링합니다.
- 적용 가능한 피드백 수집 계약 또는 정책 버전을 중요한 상태와 함께 저장하여 마이그레이션, 재실행, 지원 결정이 추적 가능하도록 합니다.
- 통제된 롤아웃 뒤의 경로를 도입하고 예상 결과와 관찰된 결과를 비교하며, 채택 증거가 완성될 때까지 테스트된 복구 경로를 유지합니다.
실패 처리 및 안전장치
- 공급자 실패, 안전하지 않은 출력, 예산 소진 시 제한된 폴백을 반환하고 상관관계 안전 진단 증거를 유지합니다.
- 무효하거나 모순된 피드백 수집 상태는 거부하거나 격리하며, 구현체는 권한을 확장하거나 효과를 중복하는 값을 추측하지 않습니다.
- 재시도는 한도가 있으며 내구성 있는 식별자를 사용합니다; 한도 소진 후 작업은 검사 가능한 최종 상태에 도달하며 책임자가 있습니다.
검증 및 운영
- 깨끗한 상태에서 테스트 스위트를 두 번 실행하여 순서, 재시도, 병렬 실행이 판결을 변경하지 않는지 확인합니다.
- 민감한 페이로드 차원 없이 계약 버전별로 피드백 수집 성공, 거부, 검증 실패, 의존성 실패, 재시도 소진, 복구를 모니터링합니다.
- 정책, 스키마, 의존성, 마이그레이션, 경계 변경 후 긍정 및 부정 픽스처를 다시 실행하고 결과 증거를 보존합니다.
채택 가정
- 예제의 이름과 값은 구체적인 픽스처이며 보편적 기본값이 아니므로, 채택자는 문서화된 증거와 소유권을 통해 이를 교체합니다.
- 채택 시스템은 인증된 신원, 내구성 있는 작업 또는 기록 버전, 제한된 원격 측정, 변경을 위한 통제된 경로를 제공할 수 있습니다.
이 패키지의 실행 가능한 예제는 픽스처 및 수용 계약입니다.
구조 및 메타데이터를 확인하려면 컬렉션 검증기를 실행하고, 대상 저장소에서 시나리오를 번역 및 실행한 후 구현 증거를 기록하세요.
참고 문헌
- NIST AI 600-1, 생성 AI 프로필 (2026-09-08부터 적용)