不安定なテスト：自動化と報告

不安定なテストに関するツールの境界、CIでの実行、失敗のトリアージ、報告、メンテナンス、および品質ゲートを指定します。環境固有の制限を設定可能なまま、採用の境界と観測可能な失敗証拠を確定します。

パッケージの状態: 参照コンテキストは人間によるレビュー準備完了。契約とテストシナリオは完成していますが、採用された実装がそれらを通過したという主張はしていません。

決定事項

不安定なテストには、再現可能なフィクスチャと所有されたゲートを備えたバージョン管理されたリスクベースのテストプランを採用します。名前付きシグナル、容量制限、所有されたアラート、診断用ランブック、およびテスト済みの回復証拠で機能を運用します。このパッケージは参照契約であり、採用チームは自環境の証拠から数値制限、プロバイダー、管轄、運用オーナーを選択しなければなりません。

範囲

• この運用ブロックで説明される不安定なテストのアクター、入力、出力、状態、ポリシーまたはスキーマのバージョン、および外部に見える成果。
• 主および代替インターフェース、バックグラウンド作業、キャッシュ、統合、サポートパス、および同じ境界を行使できる証拠。
• 参照を安全に適用するために必要な採用固有の構成、展開、回復、および検証責任。

このブロックの外

• すべての採用者に対して普遍的なベンダー、フレームワーク、管轄、数値閾値、保持期間、またはサービスレベル目標を選択すること。
• パッケージ化されたシナリオが下流の実装で実行されたことや、この参照が法的、セキュリティ、アクセシビリティ認証を付与することを主張すること。

契約

• 重要な各テストを振る舞い、境界、インシデント、またはリスクにトレースし、外部に見える成果または耐久的な証拠を主張すること。
• クロック、ランダム性、識別、ネットワーク、およびデータ依存を制御し、再実行で製品欠陥とフィクスチャの不安定性を区別できるようにすること。
• 本番に敏感なデータや資格情報をフィクスチャから除外し、代表的な合成境界および悪用ケースを生成すること。
• 不安定なテストの再試行、隔離、所有権、有効期限、および削除基準を定義すること。再試行は失敗を静かな成功に変えてはならない。
• 正常、劣化、枯渇、および利用不可の状態を決定指標と明示的なオペレーターアクションで定義すること。
• フェイルオーバー、リプレイ、ロールバック、および修復中に受け入れられた作業の識別を保持し、回復が効果を重複または静かに失うことがないようにすること。
• テスト識別、シード、環境、タイミング、順序、依存、リソース圧力、および失敗の署名によって非決定性を特定し、競合する結果を再現するのに十分な証拠を保持すること。
• 所有者、範囲、有効期限、可視性、および復元基準を伴う隔離のみを行い、不安定な失敗を静かな成功に変えたり、再試行でその率やリリースリスクを隠したりしないこと。

実装ガイダンス

• 代表的な環境でランブックを実践し、回復時間、データ損失境界、および未解決の仮定を記録すること。
• フレームワークやベンダーの詳細を選択する前に、不安定なテストの入力、出力、アクター、状態、不変条件、副作用、および証拠をモデル化すること。
• 適用される不安定なテストの契約またはポリシーのバージョンを重要な状態と共に保存し、マイグレーション、リプレイ、およびサポートの決定が帰属可能なようにすること。
• 制御された展開の背後にあるパスを導入し、期待される結果と観測された結果を比較し、採用証拠が完了するまでテスト済みの回復ルートを保持すること。

失敗処理と安全策

• 壊れたテスト環境は製品の失敗とは異なるインフラ結果を報告し、必要なリリースゲートを満たせない。
• 無効または矛盾する不安定なテスト状態は拒否または隔離される。実装は権限を広げたり効果を重複させたりする値を推測しない。
• 再試行は制限され、耐久的な識別を使用する。枯渇後は作業が検査可能な終端状態に達し、説明責任のある所有者がいる。

検証と運用

• 飽和、依存障害、古い構成、およびテレメトリ損失を注入し、宣言された劣化動作を確認すること。
• 不安定なテストの成功、拒否、検証失敗、依存失敗、再試行枯渇、および回復を契約バージョンごとに監視し、機密ペイロードの次元は含めないこと。
• ポリシー、スキーマ、依存、マイグレーション、または境界の変更後に正負のペアフィクスチャを再実行し、結果の証拠を保持すること。

採用の前提条件

• 例の名前と値は具体的なフィクスチャであり、普遍的なデフォルトではない。採用者は文書化された証拠と所有権を通じてそれらを置き換える。
• 採用システムは認証済みの識別、耐久的な操作または記録バージョン、制限されたテレメトリ、および変更のための制御されたパスを提供できる。

このパッケージの実行可能に見える例はフィクスチャおよび受け入れ契約です。構造とメタデータを検証するためにコレクションバリデーターを実行し、ターゲットリポジトリでシナリオを翻訳して実行してから実装証拠を記録してください。