Avaliação de resposta: Requisitos e contrato de fonte

Define entradas, saídas, expectativas de qualidade, regras de fonte, restrições de acesso e comportamento em caso de falha para avaliação de resposta. Estabelece limites de adoção e evidências observáveis de falha, mantendo limites específicos do ambiente configuráveis.

Status do pacote: contexto de referência pronto para revisão humana. O contrato e os cenários de teste estão completos, mas não se afirma que uma implementação adotante os tenha aprovado.

Decisão

Para Avaliação de resposta, adote uma linhagem versionada de fonte, transformação, índice e controle de acesso. Torne explícita a promessa visível ao usuário, exclusões, autoridade e resposta a falhas, deixando os limiares medidos como escolhas de adoção. Este pacote é um contrato de referência: a equipe adotante deve escolher limites numéricos, provedores, jurisdições e responsáveis operacionais a partir de evidências em seu próprio ambiente.

Escopo

• Os atores, entradas, saídas, estados, versões de política ou esquema e resultados visíveis externamente descritos por este bloco de requisitos.
• Interfaces primárias e alternativas, trabalho em segundo plano, caches, integrações, caminhos de suporte e evidências que podem exercer o mesmo limite.
• Configuração específica de adoção, implantação, recuperação e responsabilidades de verificação necessárias para aplicar a referência com segurança.

Fora deste bloco

• Escolher um fornecedor universal, framework, jurisdição, limiar numérico, período de retenção ou objetivo de nível de serviço para todos os adotantes.
• Afirmar que cenários empacotados foram executados contra uma implementação a jusante ou que esta referência concede certificação legal, de segurança ou acessibilidade.

Contrato

• Preservar identificador de fonte, versão, localização, escopo de acesso, parser, normalização, chunk, embedding e versões de índice para cada unidade recuperável.
• Aplicar filtros de acesso antes que resultados, trechos, contagens, caches e contexto do modelo sejam expostos; filtragem pós-processamento sozinha não é suficiente.
• Isolar falhas de parsing ou transformação e impedir que um artefato parcial substitua silenciosamente a última versão completa.
• Avaliar comportamento de recuperação e resposta fundamentada em casos representativos versionados, incluindo conflitos, ausência, obsolescência e texto adversarial.
• Declarar qual ator recebe qual resultado sob cada estado material, incluindo condições indisponível, não autorizado, vazio e parcial.
• Marcar limites e políticas configuráveis como escolhas com responsáveis; não apresentar valores de exemplo como requisitos universais.
• Definir a unidade de avaliação, distribuição de tarefas, evidência de referência, critérios de correção e segurança, política de abstenção, versão do juiz e limiar de aprovação antes de pontuar respostas.
• Usar amostras representativas cegas, calibrar juízes humanos e automáticos, preservar discordâncias e justificativas, e impedir vazamento de benchmark ou referência no sistema avaliado.

Orientações para implementação

• Revisar o contrato com produto, implementação, operações, segurança e usuários afetados antes de promovê-lo além da revisão.
• Modelar entradas, saídas, atores, estados, invariantes, efeitos colaterais e evidências da Avaliação de resposta antes de selecionar detalhes de framework ou fornecedor.
• Armazenar a versão aplicável do contrato ou política de Avaliação de resposta com o estado material para que migrações, reexecução e decisões de suporte permaneçam atribuíveis.
• Introduzir o caminho por trás da implantação controlada, comparar resultados esperados e observados, e manter uma rota de recuperação testada até que a evidência de adoção esteja completa.

Tratamento de falhas e salvaguardas

• Se a proveniência, escopo de acesso ou conteúdo requerido estiver ausente, excluir a unidade e expor uma lacuna de cobertura diagnosticável em vez de fabricar completude.
• Estado inválido ou contraditório de Avaliação de resposta é rejeitado ou isolado; a implementação nunca supõe um valor que amplie autoridade ou duplique efeito.
• Retentativas são limitadas e usam identidade durável; após esgotamento, o trabalho alcança um estado terminal inspecionável com um responsável contabilizável.

Verificação e operações

• Mapear cada promessa e exclusão para pelo menos um cenário observável e confirmar que nenhum dois estados requerem resultados contraditórios.
• Monitorar sucesso, negação, falha de validação, falha de dependência, esgotamento de retentativas e recuperação da Avaliação de resposta por versão de contrato sem dimensões sensíveis de payload.
• Reexecutar fixtures positivos e negativos pareados após mudanças de política, esquema, dependência, migração ou limite e preservar a evidência resultante.

Suposições de adoção

• Nomes e valores no exemplo são um fixture concreto, não padrões universais; adotantes os substituem por evidência documentada e responsabilidade.
• O sistema adotante pode fornecer identidade autenticada, versões duráveis de operação ou registro, telemetria limitada e um caminho controlado para mudanças.

Os exemplos com aparência executável neste pacote são fixtures e contratos de aceitação. Execute o validador da coleção para verificar estrutura e metadados, depois traduza e execute os cenários no repositório alvo antes de registrar evidências de implementação.

Referências

• NIST AI 600-1, Perfil de IA Generativa (aplica-se a partir de 2026-09-08)