Der Beitrag von gestern über den recenten GitHub-Ausfall erwähnte einen übersehenen Aspekt: die fehlerhaft konfigurierte Autoskalierungspolitik auf dem Service mit dem gesättigten Istio-Sidecar. Die Politik überwachte die Serverlast, aber nicht die Sidecar-Limits, was dazu führte, dass sie nicht korrekt automatisch skaliert werden konnte.
Die Autoskalierung passt die Ressourcen basierend auf der aktuellen Last an. Obwohl die CPU-Auslastung ein gängiges Maß ist, können Dienste auch bei niedriger CPU-Auslastung gesättigt werden. Zum Beispiel können Thread-pro-Request-Modelle bei niedriger Downstream-Latenz erfahren, dass alle Threads bei I/O blockieren, wie es Slack 2021 erlebte.
Der Bericht von GitHub schlägt vor, dass die Autoskalierungspolitik nur die Serverlast berücksichtigt hat, während der Istio-Sidecar ignoriert wurde. Dies verdeutlicht die Komponentenersatz-Falle, die von David Woods identifiziert wurde - sich nur auf die Reparatur einzelner Komponenten zu konzentrieren, anstelle die Systeminteraktionen zu verstehen. Der Ausfall betraf mehrere interagierende Faktoren: sich ändernde Verkehrsmuster, Autoskalierungspolitik, Istio-Sidecar-Sättigung, Retry-Logik, HAProxy-Knoten-Sättigung und Authentifizierungsverkehr.
Wichtige Entitäten: Unternehmen: GitHub, Slack | Personen: David Woods
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing