Webヘルスエンドポイント
レディネスカテゴリは
configuration、authentication、tls、
storage、capability、および canary_stale のみです。応答は意図的に
プロバイダー、エンドポイント、バケット名、オブジェクトキー、資格情報、および生エラーを省略します。
ディープカナリア
スケジュールされたディープカナリアは、ランダムバイトをephemeral に書き込み、SHA-256
メタデータを記録し、正確なバイトを読み取ってハッシュし、コピーして検証し、その後
両方のオブジェクトを削除します。新鮮さウィンドウ内に成功した
カナリアが存在しない場合、レディネスは canary_stale を報告します。
古いカナリアの場合:
- Webインストルメンテーションがカナリアスケジューラーを開始したことを確認する
storage.readiness、storage.operation.*、およびプロバイダーレイテンシを検査するephemeralが条件付き作成、読み取り、コピー、および削除を許可することを確認する- ワーカー/Webのクロックとイベントループ飽和を確認する
- ライフサイクルポリシーがトランザクション中にカナリアオブジェクトを削除していないことを 検証する
- 同じネットワークおよびアイデンティティコンテキストからプロバイダー契約を実行する
カテゴリトリアージ
configuration
STORAGE_CONFIG_FILE の読み取り可能性/モードと厳密なJSONを検証します。3つの
プロファイルすべてが存在する必要があります。正規プロバイダーID s3、gcs、azure、または
local を使用します。本番では local を使用できません。
authentication
ワークロードアイデンティティのバインディング、ロールスコープ、トークンオーディエンス、資格情報
ローテーションのオーバーラップ、およびプロバイダー監査拒否を確認します。Webとワーカーには一致する
アクセスが必要です。トークンを表示したり、env を実行したり、Secretデータをチケットにコピーしたりしないでください。
tls
エンドポイントDNS/SAN、プライベートCAマウント、完全な発行チェーン、有効期限、
プロキシ信頼、およびCAローテーション後のポッド再起動を確認します。検証を有効のままにし、
HTTP、--insecure、または rejectUnauthorized: false を使用してはなりません。
storage
既存のバケット/コンテナ、ルート、DNS、Egress、クォータ、スロットリング、
容量、および必須のオブジェクト操作を確認します。ヘルスチェックは欠損した
ストレージを作成しません。
capability
WORMが必要な場合、プロファイルの requireWorm、バージョニング、オブジェクト
保持/不変性、およびリーガルホールドを検証します。ポリシー
変更後は実環境適格性確認を再実行します。
スキャナー障害
症状には、増加するstorage.quarantine.depth、
storage.quarantine.oldest_age_seconds、storage.scanner.failure、アウトボックス
再試行、および最終的なデッドレターが含まれます。
clamd ソケット/ホスト、TLS CA、サーバー名、サイズ制限、タイムアウト、ネットワーク
ポリシー、エンジンヘルス、およびシグネチャ更新状態を確認します。スキャナーを復旧してから、
通常の冪等再試行を許可するか、承認済みリプレイ手順を使用します。オブジェクトは
最終的なクリーン判定まで隔離されたままにする必要があります。手動でクリーンとマークしたり、
スキャンを迂回したりしてはなりません。
ミューテーションデッドレター
storage.outbox.deadletter、storage.outbox.pending、および
storage.outbox.deadlettered を監視します。ペイロードやオブジェクトキーを不必要にエクスポートせずに、
保護された StorageMutationOutbox 記録をID/状態/操作で
検査します。
- スキャナー、権限、保持、TLS、欠損オブジェクト、またはプロバイダー 障害に分類する
- 原因を修復する
- オブジェクトが保存されたSHA-256と正確なバージョンにまだ一致することを確認する
- 承認済みの冪等キュー操作でリプレイする
- 完了と監査エビデンスを確認する
移行とリコンシリエーション
storage.migration.result、
storage.reconciliation.missing、
storage.reconciliation.orphan_observed、
storage.reconciliation.orphan_confirmed、およびリコンシリエーションアウトボックス修復
メトリクスを監視します。
- 期待される欠損オブジェクトは、隔離/整合性失敗 状態に戻されます。
- 孤児はまず観測され、猶予期間後にのみ確認されます。
- 移行再試行は
DEAD_LETTERに達する可能性があります。ソースを保持し、リプレイ前に 調査します。
安全な検証
専用プレフィックスとワークロード相当のアイデンティティを使用します。./scripts/storage/validate-ceph-rgw.sh を使用します。
インシデントに添付する前に出力をサニタイズします。