Stackrig

Startseite Blog

Modell

Cache-Trefferquote: was 80 % gegen 95 % für deine Datenbank bedeutet

Die Rechnung hinter Cache-Misses und was ein kalter Cache nach einem Neustart mit der Datenbank dahinter macht.

Kurze Antwort: Bei der Datenbank kommen die Misses an, nicht die Treffer. Von 80 % auf 95 % Treffer sinkt ihre Leselast von 20 % auf 5 % des Traffics: 4× weniger. Der Schritt von 95 % auf 99 % senkt sie noch einmal um den Faktor 5.

Die Kehrseite: Eine Datenbank, die für 95 % Treffer bemessen ist, übersteht einen kalt gewordenen Cache nicht. Nach einem Neustart ist jeder Lesezugriff ein Miss, bis der Cache wieder warm ist, und genau dann bricht sie zusammen.

Die Rechnung

database reads = (1 − hit ratio) × reads
Für 10.000 Lesezugriffe pro Sekunde vor dem Cache. Schreibzugriffe gehen so oder so an die Datenbank.
TrefferquoteMissesLesezugriffe der Datenbank/sgegenüber 95 %
0 % (kalter Cache)100 %10.00020×
50 %50 %5.00010×
80 %20 %2.0004×
90 %10 %1.0002×
95 %5 %5001×
99 %1 %1000,2×

Daraus folgt zweierlei. Erstens sind ein paar Punkte Trefferquote mehr wert, als sie aussehen: 95 → 90 % klingt nach einem kleinen Rückgang und verdoppelt die Leselast der Datenbank. Zweitens macht eine hohe Trefferquote abhängig: Je höher sie ist, desto größer der Abstand zwischen normaler Last und der Last bei kaltem Cache. Bei 98 % Treffern bekommt die Datenbank 50× so viele Lesezugriffe wie sonst, wenn der Cache leer ist.

Welche Trefferquote du bekommst, hängt davon ab, wie beliebt deine Keys sind, und nicht nur von der Größe des Caches. Echter Traffic ist ungleich verteilt: Wenige Produkte, Links oder Nutzer bekommen die meisten Lesezugriffe, deshalb kann ein Cache, der einen kleinen Teil der Keys hält, die meisten Anfragen beantworten. Ermittle sie (Treffer ÷ Abfragen, pro Cache), statt sie anzunehmen.

Ein simuliertes Beispiel: der Cache-Neustart

Die Vorlage Cache restart von Stackrig ist eine Produktkatalog-API: 1.500 Anfragen/s, die jeweils eines von 500.000 Produkten über Redis lesen (Cache-aside, Beliebtheit ungleich verteilt wie in echten Shops), dazu ein paar Schreibzugriffe. Redis beantwortet 98 % der Lesezugriffe, deshalb sieht das Postgres dahinter nur 30 Lesezugriffe/s und wurde klein bemessen (2 vCPU). Dann wird Redis geleert, wie bei einem Neustart oder Failover. Das sind Modellergebnisse von Stackrig für dieses Design, keine Messungen:

Modellergebnisse von Stackrig für die Vorlage Cache restart (Live-Modell, AWS-Preise). Das Aufwärmen folgt der Beliebtheit der Keys: Beliebte Produkte sind nach einer Sekunde wieder da, der Long Tail braucht Minuten.
SzenarioLast auf PostgresFehler
Warmer Cache (98 % Treffer)23 %0; p99 28 ms
Redis geleert, erste 10 s (Trefferquote 31 %)157 %38 % der Anfragen
Bis der Cache wieder warm ist–~130 s lang Fehler, ~29.000 fehlgeschlagene Anfragen
Lösung: Request Coalescing auf Redis–weiterhin ~29.000 fehlgeschlagen
Lösung: eine Read-Replica (+$240/Monat)–0

Coalescing hilft hier kaum, und genau das ist die Lehre: Es fasst gleichzeitige Misses für denselben Key zusammen, aber nach dem Leeren betreffen die Misses Tausende verschiedene Produkte. Reserve hilft, und sie kostet jeden Monat Geld. Im kleineren Design Web app with database geht dieselbe Rechnung andersherum: Ein Redis-Cache vor einem überlasteten Postgres senkt dessen Last bei 3× Traffic von 132 % auf 36 % (ebenfalls ein Modellergebnis; sieh dir die Live-Demo auf der Startseite an).

Lösungen, die funktionieren

  1. Erst aufwärmen, dann Traffic annehmen. Lade die beliebtesten Keys vorab (aus dem Zugriffsprotokoll von gestern oder vom alten Knoten), bevor ein neuer Cache-Knoten dazukommt, und starte Cache-Knoten einzeln neu, nie alle auf einmal.
  2. Request Coalescing. Lass eine Anfrage einen fehlenden Key laden, während die anderen auf sie warten (ein Lock oder „Single Flight“). Das stoppt den Ansturm auf einen beliebten Key; wie das Beispiel zeigt, hilft es nicht, wenn sich die Misses auf viele Keys verteilen.
  3. TTL-Jitter. Gib Keys leicht zufällige Ablaufzeiten, damit Keys, die im selben Moment gecacht wurden, nicht alle im selben Moment ablaufen und gemeinsam neu geladen werden.
  4. Veraltete Werte ausliefern, während aktualisiert wird. Gib den abgelaufenen Wert zurück und aktualisiere ihn im Hintergrund, wo leicht veraltete Daten in Ordnung sind.
  5. Reserve oder Lastabwurf. Bemiss die Datenbank für mehr als die Last bei warmem Cache (eine Replica, eine größere Instanz), oder begrenze die Rate der Misses, die sie erreichen, und lass den Rest schnell scheitern. Entscheide, wofür du bezahlst.

Sieh es, bevor es passiert

In Stackrig hat ein Cache eine Trefferquote, ein Aufwärmen, das nach dem Leeren der Beliebtheit der Keys folgt, und wahlweise Request Coalescing. Leere ihn in der Simulation, sieh zu, wie die Datenbank rot wird, und vergleiche die Lösungen mit ihren Kosten. Wie weit man dem Modell trauen kann, steht auf Wie genau ist Stackrig?

„Cache restart“ im Playground öffnen

Die App kannst du kostenlos im Browser ausprobieren, ohne Konto. Um zu erfahren, wann Pro fertig ist, trag dich in die Warteliste ein.

Stackrig