Retry-Stürme: warum Retries deinen Dienst lahmlegen
Wie Retries die Last vervielfachen, warum ein Sturm seinen Auslöser überdauern kann und welche Lösungen wirken, gezeigt an einem Design, das du ausführen kannst.
Kurze Antwort: Ein Retry ist eine weitere Anfrage, und Retries passieren genau dann, wenn die Abhängigkeit schon scheitert. Bei 3 Retries bekommt eine Abhängigkeit, die die Hälfte ihrer Aufrufe ablehnt, das 1,9-Fache des Traffics; eine, die alle ablehnt, bekommt das 4-Fache. Wiederholen zwei Schichten übereinander, steigt der Multiplikator auf 16×.
Retries helfen gegen seltene, zufällige Fehler. Gegen Überlast oder ein hartes Limit bringen sie mehr Last, aber keine Erfolge. Begrenze sie mit einem Retry-Budget, verteile sie mit Backoff und Jitter, und wiederhole nur in einer Schicht.
Die Rechnung
Wenn jeder Versuch mit der Wahrscheinlichkeit p scheitert und ein Client bis zu r-mal wiederholt, werden aus einem Aufruf
im Mittel 1 + p + p² + … + pʳ Versuche. Mit der üblichen Voreinstellung von 3 Retries:
| Anteil gescheiterter Versuche | Versuche pro Aufruf | Last auf der Abhängigkeit |
|---|---|---|
| 1 % (ein gesunder Dienst) | 1,01 | +1 % |
| 10 % | 1,11 | +11 % |
| 50 % | 1,88 | +88 % |
| 90 % | 3,44 | +244 % |
| 100 % (ausgefallen oder völlig überlastet) | 4,00 | +300 % |
Schichten multiplizieren sich. Wenn ein Gateway 3-mal wiederholt, der Dienst dahinter 3-mal und der Datenbank-Client 3-mal, können aus einer Nutzeranfrage ganz unten 4 × 4 × 4 = 64 Versuche werden, wenn die Datenbank ausgefallen ist.
Warum der Sturm seinen Auslöser überdauert
Gefährlich ist die Rückkopplung. Ein kurzer Auslöser (ein Deploy, eine langsame Festplatte, ein geleerter Cache, eine Spitze) treibt einen Dienst über seine Kapazität. Timeouts und Fehler lösen Retries aus, die Retries fügen Last hinzu, die zusätzliche Last verursacht weitere Timeouts. Wenn der Auslöser verschwindet, kann der Retry-Traffic allein den Dienst über seiner Kapazität halten. Forscher nennen das einen metastabilen Ausfall: Das System verharrt stabil im Ausfall, bis jemand Last abwirft (Bronson et al., HotOS 2021).
Timeouts, die kürzer sind als die tatsächliche Latenz der Abhängigkeit, machen es schlimmer: Der Aufrufer gibt auf, die Abhängigkeit erledigt die Arbeit trotzdem, und der Retry verlangt dieselbe Arbeit noch einmal.
Ein simuliertes Beispiel: Retries gegen ein Rate Limit
Stackrigs Vorlage API with rate limit ist ein Gateway, das eine kostenpflichtige Geocoding-API mit einem harten Limit von 40 Aufrufen/s kapselt. 30 Anfragen/s kommen an, ein Antwort-Cache beantwortet die Hälfte davon, also erreichen 15 Aufrufe/s den Partner. Jeder Aufruf wird bis zu 3-mal mit Backoff wiederholt. Das sind Modellergebnisse von Stackrig für dieses Design, keine Messungen:
| Szenario | Aufrufe/s beim Partner | p99 | Fehlerrate |
|---|---|---|---|
| 1× Traffic, 3 Retries | 15 | etwa 0,3 s | 0 % |
| 3× Traffic, 3 Retries | 95 (58 % abgelehnt) | etwa 1 s | 5,6 % |
| 3× Traffic, keine Retries | 45 | etwa 0,25 s | 5,6 % |
| 3× Traffic, Cache-Trefferquote 0,5 → 0,8 | 18 | etwa 0,25 s | 0 % |
Bei 3× Traffic wollen 45 Aufrufe/s durch ein Limit von 40/s. Retries lassen die Aufrufe, die beim Partner ankommen, auf mehr als das Doppelte steigen, machen p99 etwa viermal schlechter und retten keine einzige Anfrage: Das Limit lässt so oder so 40 Aufrufe/s durchkommen, also liegt die Fehlerrate mit und ohne sie bei 5,6 %. Die Lösung, die wirkt, verringert die Nachfrage (eine bessere Cache-Trefferquote), nicht die Reaktion darauf. Sie ist auch der Hebel für die Kosten: Der Partner berechnet 0,50 $ pro 1.000 angenommene Aufrufe, also spart jeder Cache-Treffer Geld, während die abgelehnten Retries nur Zeit kosten.
Lösungen, die wirken
- Ein Retry-Budget. Erlaube Retries nur, solange sie einen kleinen Anteil des Traffics ausmachen, zum Beispiel 10 % der Anfragen pro Abhängigkeit in der letzten Minute. In einem gesunden System greift das nie; bei einem Ausfall begrenzt es den Multiplikator auf 1,1× statt 4×.
- Exponentielles Backoff mit Jitter. Backoff allein lässt jeden Client nach demselben Zeitplan wiederholen, in Wellen. Eine zufällige Verzögerung verteilt die Retries (AWS Architecture Blog).
- Wiederhole in einer Schicht. Meist an der Stelle, die dem Nutzer am nächsten ist, oder in der einen Schicht, die weiß, ob die Operation idempotent ist. Alles darunter scheitert schnell.
- Circuit Breaker. Hör nach einer Häufung von Fehlern eine Weile auf, die Abhängigkeit aufzurufen, und scheitere schnell, damit sie sich ohne deinen Traffic obendrauf erholen kann.
- Wiederhole nicht, was nicht gelingen kann. Ein 429 mit
Retry-After, ein 400 oder eine Abhängigkeit, von der bekannt ist, dass sie ausgefallen ist: Ein Retry fügt nur Last hinzu. - Timeouts aus der echten Latenz der Abhängigkeit. Setz sie über ihr p99 bei normaler Last, und gib der ganzen Anfrage eine Deadline, damit innere Retries aufhören, wenn der Aufrufer aufgegeben hat.
Das Kapitel des Google-SRE-Buchs über kaskadierende Ausfälle behandelt dasselbe Thema aus der Erfahrung im Produktivbetrieb.
Sieh es, bevor es passiert
In Stackrig hat jede Verbindung ihren eigenen Timeout, Retries mit Backoff, ein Retry-Budget und einen Circuit Breaker. Dreh den Traffic hoch oder mach eine Abhängigkeit langsamer, und der Retry-Sturm zeigt sich in den Zahlen: den Aufrufen pro Sekunde auf der Verbindung, p99 und den Fehlern. Stackrig veröffentlicht, wo sein Modell exakt ist und wo nicht; der genaue Kipppunkt eines Retry-Sturms ist eine der aufgeführten Grenzen auf Wie genau ist Stackrig?
Die Live-Demo auf der Startseite zeigt einen kleineren Verwandten des Sturms: Bei 3× Traffic laufen die Threads der API voll, während sie auf eine überlastete Datenbank warten.
„API with rate limit“ im Playground öffnen
Oder mach eine Challenge daraus: „Survive a 3× spike without errors“ (eine 3×-Spitze ohne Fehler überstehen) → Du bekommst ein Design, ein Ziel und ein Budget, und der Playground prüft deine Lösung live. Dein Fortschritt bleibt in deinem Browser.
Die App kannst du kostenlos im Browser ausprobieren, ohne Konto. Um zu erfahren, wann Pro fertig ist, trag dich in die Warteliste ein.