Abrange casos de avaliação, métricas de qualidade, limites de latência e custo, monitoramento, fallback e tratamento de incidentes para respostas em streaming. Define limites de adoção e evidências observáveis de falha, mantendo limites específicos do ambiente configuráveis.
Status do pacote: contexto de referência pronto para revisão humana. O contrato e os cenários de teste estão completos, mas não se afirma que uma implementação adotante os tenha aprovado.
Decisão
Para respostas em streaming, adote uma política de orquestração versionada e um limite explícito de chamada de modelo. Trate o bloco como um contrato de lançamento e regressão construído a partir de casos representativos positivos, de limite, negação, falha e recuperação. Este pacote é um contrato de referência: a equipe adotante deve escolher limites numéricos, provedores, jurisdições e responsáveis operacionais com base em evidências do seu próprio ambiente.
Escopo
- Os atores, entradas, saídas, estados, versões de política ou esquema e resultados visíveis externamente das respostas em streaming descritos por este bloco de teste.
- Interfaces primárias e alternativas, trabalho em segundo plano, caches, integrações, caminhos de suporte e evidências que possam exercer o mesmo limite.
- Configuração específica de adoção, implantação, recuperação e responsabilidades de verificação necessárias para aplicar a referência com segurança.
Fora deste bloco
- Escolher um fornecedor universal, framework, jurisdição, limite numérico, período de retenção ou objetivo de nível de serviço para todos os adotantes.
- Afirmar que os cenários empacotados foram executados contra uma implementação a jusante ou que esta referência concede certificação legal, de segurança ou acessibilidade.
Contrato
- Persistir as versões do prompt, ferramenta, recuperação, modelo e política necessárias para reproduzir ou explicar cada resultado material.
- Validar a saída estruturada antes de qualquer efeito colateral; saída malformada ou incompleta é um erro, não uma autoridade parcial.
- Separar conteúdo não confiável do usuário ou recuperado da política do sistema e rotular cada item do contexto com origem e classe de confiança.
- Limitar tokens, chamadas de ferramenta, latência e gasto por requisição; ultrapassar um limite segue um fallback nomeado em vez de continuar sem limites.
- Registrar versão do fixture, ambiente, configuração, resultado observado e localização da evidência para cada execução decisória.
- Separar falha de produto, falha de dependência, falha da infraestrutura de teste e evidência inconclusiva nos relatórios.
- Definir enquadramento de eventos, ordenação, identidade de sequência, conclusão, cancelamento, heartbeat, reconexão, erro e comportamento de backpressure independentemente da animação de tokens renderizados.
- Tratar saída parcial como não comprometida, validar resultados estruturados antes de efeitos colaterais, interromper trabalho do provedor em cancelamento quando possível e manter uma identidade de correlação única durante o fallback.
Orientações de implementação
- Construa o menor conjunto determinístico de fixtures que cubra classes de risco, adicionando casos derivados da produção somente após revisão segura de privacidade.
- Modele entradas, saídas, atores, estados, invariantes, efeitos colaterais e evidências das respostas em streaming antes de selecionar detalhes de framework ou fornecedor.
- Armazene a versão aplicável do contrato ou política de respostas em streaming com o estado material para que migrações, reprodução e decisões de suporte permaneçam atribuíveis.
- Introduza o caminho por trás da implantação controlada, compare resultados esperados e observados e mantenha uma rota de recuperação testada até que a evidência de adoção esteja completa.
Tratamento de falhas e salvaguardas
- Falha do provedor, saída insegura ou orçamento esgotado retornam um fallback limitado e retêm evidências diagnósticas seguras para correlação.
- Estado inválido ou contraditório das respostas em streaming é rejeitado ou colocado em quarentena; a implementação nunca supõe um valor que amplie autoridade ou duplique um efeito.
- Retentativas são limitadas e usam identidade durável; após esgotamento, o trabalho alcança um estado terminal inspecionável com um responsável contabilizável.
Verificação e operações
- Execute a suíte duas vezes a partir de um estado limpo e confirme que ordenação, retentativas e execução paralela não alteram o veredito.
- Monitore sucesso, negação, falha de validação, falha de dependência, esgotamento de retentativas e recuperação das respostas em streaming por versão do contrato sem dimensões sensíveis do payload.
- Reexecute fixtures positivos e negativos pareados após mudanças de política, esquema, dependência, migração ou limite e preserve as evidências resultantes.
Premissas de adoção
- Nomes e valores no exemplo são um fixture concreto, não padrões universais; os adotantes os substituem por meio de evidências documentadas e propriedade.
- O sistema adotante pode fornecer identidade autenticada, versões duráveis de operação ou registro, telemetria limitada e um caminho controlado para mudanças.
Os exemplos com aparência executável neste pacote são fixtures e contratos de aceitação. Execute o validador da coleção para verificar estrutura e metadados, depois traduza e execute os cenários no repositório alvo antes de registrar evidências da implementação.
Referências
- NIST AI 600-1, Perfil de IA Generativa (aplica-se a partir de 2026-09-08)