Abrange casos de avaliação, métricas de qualidade, limites de latência e custo, monitoramento, fallback e tratamento de incidentes para assistente de chat. Define limites de adoção e evidências observáveis de falha, mantendo limites específicos do ambiente configuráveis.
Status do pacote: contexto de referência pronto para revisão humana. O contrato e os cenários de teste estão completos, mas não se afirma que uma implementação adotante os tenha aprovado.
Decisão
Para o Assistente de chat, adote uma política de orquestração versionada e um limite explícito de chamada de modelo. Trate o bloco como um contrato de lançamento e regressão construído a partir de casos representativos positivos, de limite, negação, falha e recuperação. Este bloco de testes foca especificamente em avaliação, custo e operações. Este pacote é um contrato de referência: a equipe adotante deve escolher limites numéricos, provedores, jurisdições e responsáveis operacionais a partir de evidências em seu próprio ambiente.
Escopo
- Os atores, entradas, saídas, estados, versões de política ou esquema e resultados visíveis externamente do Assistente de chat necessários para o foco de avaliação, custo e operações deste bloco de testes.
- Interfaces primárias e alternativas, trabalhos em segundo plano, caches, integrações, caminhos de suporte e evidências que possam exercer o mesmo limite.
- Configuração específica de adoção, implantação, recuperação e responsabilidades de verificação necessárias para aplicar a referência com segurança.
Fora deste bloco
- Escolher um fornecedor universal, framework, jurisdição, limite numérico, período de retenção ou objetivo de nível de serviço para todos os adotantes.
- Afirmar que os cenários empacotados foram executados contra uma implementação a jusante ou que esta referência concede certificação legal, de segurança ou acessibilidade.
Contrato
- Persistir as versões do prompt, ferramenta, recuperação, modelo e política necessárias para reproduzir ou explicar cada resultado material.
- Validar a saída estruturada antes de qualquer efeito colateral; saída malformada ou incompleta é um erro, não autoridade parcial.
- Separar conteúdo não confiável do usuário ou recuperado da política do sistema e rotular cada item do contexto com origem e classe de confiança.
- Limitar tokens, chamadas de ferramenta, latência e gasto por requisição; ultrapassar um limite segue um fallback nomeado em vez de continuar sem limites.
- Registrar versão do fixture, ambiente, configuração, resultado observado e localização da evidência para cada execução decisória.
- Separar falha de produto, falha de dependência, falha da infraestrutura de teste e evidência inconclusiva em relatórios.
- Manter intenção do usuário, estado da conversa, evidência recuperada, resultados de ferramentas, aprovações e texto gerado como entradas versionadas distintas com limites explícitos de confiança e retenção.
- Esclarecer ambiguidade consequente, citar ou abster-se quando evidência for requerida, validar argumentos e saídas de ferramentas, e nunca tratar texto fluente como autoridade para efeito colateral.
- Para a variante de avaliação, custo e operações, aplicar este limite declarado: cobre casos de avaliação, métricas de qualidade, limites de latência e custo, monitoramento, fallback e tratamento de incidentes para assistente de chat.
Orientações de implementação
- Construa o menor conjunto determinístico de fixtures que abranja classes de risco, depois adicione casos derivados da produção somente após revisão segura para privacidade.
- Modele entradas, saídas, atores, estados, invariantes, efeitos colaterais e evidências do Assistente de chat antes de selecionar detalhes de framework ou fornecedor.
- Armazene a versão aplicável do contrato ou política do Assistente de chat com estado material para que migrações, reprodução e decisões de suporte permaneçam atribuíveis.
- Introduza o caminho por trás da implantação controlada, compare resultados esperados e observados, e mantenha uma rota de recuperação testada até que a evidência de adoção esteja completa.
Tratamento de falhas e salvaguardas
- Falha do provedor, saída insegura ou orçamento esgotado retornam um fallback limitado e retêm evidência diagnóstica segura para correlação.
- Estado inválido ou contraditório do Assistente de chat é rejeitado ou colocado em quarentena; a implementação nunca supõe um valor que amplie autoridade ou duplique um efeito.
- Retentativas são limitadas e usam identidade durável; após esgotamento, o trabalho alcança um estado terminal inspecionável com um responsável contabilizável.
Verificação e operações
- Execute a suíte duas vezes a partir de um estado limpo e confirme que ordenação, retentativas e execução paralela não alteram o veredito.
- Monitore sucesso, negação, falha de validação, falha de dependência, esgotamento de retentativas e recuperação do Assistente de chat por versão do contrato sem dimensões sensíveis de payload.
- Reexecute fixtures positivos e negativos pareados após mudanças de política, esquema, dependência, migração ou limite e preserve a evidência resultante.
Premissas de adoção
- Nomes e valores no exemplo são um fixture concreto, não padrões universais; adotantes os substituem por meio de evidência e propriedade documentadas.
- O sistema adotante pode fornecer identidade autenticada, versões duráveis de operação ou registro, telemetria limitada e um caminho controlado para mudanças.
Os exemplos com aparência executável neste pacote são fixtures e contratos de aceitação. Execute o validador da coleção para verificar estrutura e metadados, depois traduza e execute os cenários no repositório alvo antes de registrar evidência da implementação.
Referências
- NIST AI 600-1, Perfil de IA Generativa (aplica-se a partir de 2026-09-08)