Citrix Bleed
Citrix Bleed brachte NetScaler-Gateways dazu, Speicher mit den Session-Tokens bereits angemeldeter Personen zurückzugeben. Mit einem Token übernahm ein Angreifer die Sitzung ohne Passwort und ohne MFA, und Patchen beendete die bereits gestohlenen Sitzungen nicht.
- Betroffen
- NetScaler 13.0, 13.1 und 14.1 vor den Builds vom Oktober 2023
- Behoben in
- 14.1-8.50, 13.1-49.15, 13.0-92.19
- Veröffentlicht
- 2023-10-10
- Aktiv ausgenutzt seit
- 2023-10-18
Was Citrix Bleed ist
Eine NetScaler-Appliance, die als VPN- oder Login-Gateway eingerichtet war, ließ sich mit einer einzigen nicht authentifizierten Anfrage dazu bringen, einen Teil ihres Speichers zurückzugeben. Darin lagen gültige Session-Tokens angemeldeter Nutzer.
Ein gestohlenes Token ist eine Sitzung, kein Passwort: Der Angreifer ist bereits an Passwort und MFA vorbei.
In den Logs erkennen
Mia hat sich einmal angemeldet. Welche Anfrage hat ihre Sitzung gestohlen?
Die Anfrage, die das Leck auslöst, hat einen anomalen Host-Header, sichtbar in den Logs der WAF oder des Proxys vor dem Gateway. Die Übernahme zeigt sich daran, dass die Sitzung eines Nutzers von zwei oder mehr Adressen aus verwendet wird, bei nur einer Anmeldung.
So funktioniert der Angriff
- 1Der Angreifer schickt eine Anfrage mit einem riesigen Host-Header
- 2Das Gateway gibt einen Teil seines Speichers zurück
- 3Der Speicher enthält Session-Tokens angemeldeter Nutzer
- 4Der Angreifer nutzt ein Token: kein Passwort, keine MFA
Warum Citrix Bleed so gefährlich war
Ein NetScaler Gateway ist die Eingangstür eines Firmennetzes: Beschäftigte erreichen darüber ihr VPN, virtuelle Desktops und interne Apps, deshalb muss es jedem im Internet antworten. Citrix Bleed steckte in einer Seite, die das Gateway ausliefert, bevor sich jemand anmeldet. Eine einzige Webanfrage ohne Konto genügte also. Der zurückgegebene Speicher konnte ein gültiges NetScaler-AAA-Session-Cookie enthalten. AAA steht für Authentifizierung, Autorisierung und Accounting, und das Cookie sagt dem Gateway, dass ein Nutzer Passwort und MFA-Prüfung schon hinter sich hat. Damit setzte der Angreifer einfach die Sitzung dieses Nutzers fort.
Die Ursache war klein. Forschende bei Assetnote fanden, dass der Code, der die OpenID-Konfigurationsantwort des Gateways baut, der Länge vertraute, die die C-Funktion snprintf meldet. Das ist die Länge, die der Text bräuchte, nicht die Länge, die tatsächlich geschrieben wurde. Wurde die Antwort größer als ihr Puffer von 131.072 Bytes, schickte das Gateway die Bytes mit, die im Speicher dahinter lagen. Das nennt man Buffer Over-Read: Lesen über das Ende eines Speicherblocks hinaus. In der Beispielantwort von Assetnote kamen etwa 16 KB mehr als der Puffer zurück. Mandiant merkt an, dass das Leck die Appliance nicht abstürzen lässt, beim Betreiber passiert also nichts Auffälliges.
Drei Dinge machten die Eindämmung schwer. Mandiant fand heraus, dass die Lücke ab Ende August 2023 als Zero-Day ausgenutzt wurde, etwa sechs Wochen vor dem Fix. Mandiant fand außerdem, dass der NetScaler-Webserver Anfragen an die verwundbare Seite nicht loggt, viele Betreiber hatten also keine Aufzeichnung des Lecks. Und Patchen beendete keine Sitzungen, die schon gestohlen waren. Wochen nach dem Fix waren ungepatchte Gateways noch häufig: Kevin Beaumont zählte am 7. November 2023 rund 5.000 ungepatchte Server, und der Forscher Yutaka Sejiyama zählte laut Tenable am 14. November mehr als 10.400 verwundbare Server, fast 30 % davon in den USA.
Ist deine Version betroffen?
- NetScaler-Befehlszeile
show ns version
Betroffen. Aktualisiere auf 13.1-49.15 / 14.1-8.50.
So erkennst du Citrix Bleed
Citrix, Mandiant und die CISA haben diese Wege veröffentlicht, um sowohl das Speicherleck als auch die anschließende Übernahme von Sitzungen zu erkennen.
- Client_ip und Source in ns.log vergleichenDas Gateway schreibt Ereignisse vom Typ SSLVPN TCPCONNSTAT nach /var/log/ns.log oder an deinen Syslog-Server. Jedes nennt den User, die Client_ip, die sich angemeldet hat, und die Source-Adresse, die die Sitzung gerade nutzt. Eine Source, die nicht zur Client_ip passt, besonders aus einem ungewöhnlichen Land oder Netz, kann eine übernommene Sitzung sein. Mobile Nutzer, die WLAN oder VPN wechseln, können harmlose Abweichungen verursachen.
- Nach einer Adresse suchen, die Sitzungen vieler Nutzer verwendetPrüfe in denselben TCPCONNSTAT-Ereignissen, ob eine einzige Source-Adresse innerhalb kurzer Zeit Sitzungen verschiedener Nutzer verwendet. Die CISA schlägt außerdem vor, VPN-Nutzer zu markieren, die mit zwei oder mehr öffentlichen IP-Adressen in verschiedenen Subnetzen oder an weit entfernten Orten verbunden sind. Gemeinsam genutzte NAT-Adressen können manche Treffer erklären. Prüfe also nach, bevor du handelst.
- WAF- oder Proxy-Logs nach langen Host-Headern durchsuchenDie verwundbaren Seiten sind /oauth/idp/.well-known/openid-configuration und /oauth/rp/.well-known/openid-configuration. NetScaler selbst loggt Anfragen an sie nicht. Nutze also eine Web Application Firewall oder ein Netzwerkgerät davor. Anfragen an diese Pfade mit einem ungewöhnlich langen Host-Header sind das Zeichen für Ausnutzungsversuche.
- Genug Logs aufbewahren, um zurückzublickenStandardmäßig behält ns.log 25 Dateien zu je 100 KB pro Log-Typ, insgesamt etwa 2,5 MB. Mandiant warnt, dass das den Zeitraum, den du untersuchen musst, womöglich nicht abdeckt. Leite die NetScaler-Logs an einen Syslog-Server oder ein SIEM weiter, damit die TCPCONNSTAT-Historie erhalten bleibt.
- Speicherabbilder vor dem Neustart untersuchenAuf einer ungepatchten Appliance liegen Core Dumps des Paket-Engine-Prozesses NSPPE in /var/core. Mandiant suchte nach sehr langen lesbaren Strings mit über 120.000 Zeichen, die zu mehr als 99 % aus dem Zeichen 0 bestehen. Sie passen zu einem übergroßen Host-Header. Zum Sichern braucht es über 5 GB freien Speicherplatz und vorher keinen Neustart, und Mandiant merkt an, dass sie einen gescheiterten Versuch nicht von einem erfolgreichen unterscheiden können.
- Herausfinden, was der Eindringling danach getan hatAuf virtuellen Citrix-Desktops prüft Mandiant die Registry-Schlüssel unter HKLM\SOFTWARE\Policies\Citrix\<session>\Evidence auf ClientName und ClientIP jeder Sitzung. Ein Standard-Hostname wie DESKTOP-######## ist dort ein Warnzeichen. Die CISA rät, nach neuen Fernzugriffstools, neuen Konten, Befehlen wie whoami, quser und net, mit Webadressen aufgerufenem mshta.exe und Dateien wie adobelib.dll in C:\Users\Public zu suchen.
Eine Logzeile prüfen
Durchsuche die Logs selbst
Finde die Anfrage, durch die Mias Sitzung abgeflossen ist.
Beheben, in dieser Reihenfolge
- 1Das Gateway patchenInstalliere den korrigierten Build. Es gibt keinen Workaround.
- 2Alle Sitzungen beendenVor dem Patch gestohlene Tokens funktionieren weiter. Ein Passwort-Reset beendet sie nicht.
- 3Prüfen, was sie getan habenPrüfe, worauf die übernommenen Sitzungen zugegriffen haben, und schließe alles, was sie angelegt haben.
Schwachstellen mit Bezug zu Citrix Bleed
Zeitleiste
- 2023-10-10NetScaler veröffentlicht den Fix
- 2023-10-18Die CISA führt die Lücke als ausgenutzt
- 2023-11-21Die CISA meldet, dass Affiliates von LockBit 3.0 die Lücke nutzen, auch gegen Boeing Distribution
Citrix-Bleed-Angriffe in freier Wildbahn
Mandiant verfolgte vier verschiedene namenlose Gruppen, die die Lücke gegen Organisationen aus Rechtsberatung und freien Berufen, Technologie und Verwaltung in Nord- und Südamerika, Europa, dem Nahen Osten, Afrika und dem Asien-Pazifik-Raum einsetzten. Nach der Übernahme von Sitzungen erkundeten sie das Netzwerk, stahlen Zugangsdaten mit Mimikatz und Speicherabbildern von LSASS (dem Windows-Prozess, der Anmeldegeheimnisse hält) und installierten Fernzugriffstools wie Atera, AnyDesk und SplashTop. Eine Gruppe setzte FREEFIRE ein, eine .NET-Backdoor, die Befehle über Slack empfing. Tenable nennt außerdem die Ransomware-Gruppe Medusa unter den Angreifern.
Affiliates der Ransomware LockBit 3.0 nutzten die Lücke breit. Im Advisory AA23-325A vom 21. November 2023 beschrieben CISA, FBI, MS-ISAC und die australische ACSC, wie Affiliates über Citrix Bleed bei Boeing Distribution Inc. eindrangen, dem Ersatzteil- und Vertriebsgeschäft von Boeing. Boeing teilte die Indikatoren. Die Affiliates installierten Tools wie AnyDesk, Splashtop und ScreenConnect, führten ein PowerShell-Skript namens 123.ps1 aus, das C:\Users\Public\adobelib.dll schrieb, legten eine geplante Aufgabe namens UpdateAdobeTask an und nutzten eine umbenannte Kopie von Plink (servicehost.exe), um Verkehr zu tunneln.
Weitere Opfer folgten. ICBC Financial Services, der US-Ableger der Industrial and Commercial Bank of China, wurde am 8. November 2023 von Ransomware getroffen, was die Abwicklung von Geschäften mit US-Staatsanleihen störte. Medien berichteten, dass LockBit dahintersteckte, und Beaumont wies darauf hin, dass ein NetScaler von ICBC wenige Tage zuvor noch nicht gegen Citrix Bleed gepatcht war, ein wahrscheinlicher, aber unbestätigter Einstiegsweg. Xfinity von Comcast erklärte, Angreifer hätten die Citrix-Lücke zwischen dem 16. und 19. Oktober 2023 ausgenutzt, nachdem der Patch verfügbar war, und seine Meldung im Bundesstaat Maine nennt 35.879.455 Personen. Zu den gestohlenen Daten gehörten Benutzernamen und gehashte Passwörter.
Wer Citrix Bleed entdeckt hat
Laut Citrix fand das eigene interne Team die Lücke. Cloud Software Group, der Eigentümer von Citrix, veröffentlichte am 10. Oktober 2023 das Bulletin CTX579459 mit korrigierten Builds, zusammen mit einer zweiten Lücke, CVE-2023-4967. Zu diesem Zeitpunkt waren keine Angriffe bekannt. Am 17. Oktober ergänzte Citrix seine Warnung um den Hinweis, dass Ausnutzung beobachtet wurde, und Mandiant berichtete am selben Tag, dass die Angriffe Ende August begonnen hatten. Die CISA nahm die CVE am 18. Oktober in ihren Katalog Known Exploited Vulnerabilities auf.
Der Name stammt von Assetnote (heute Teil von Searchlight Cyber). Der dortige Forscher Dylan Pindur verglich einen gepatchten mit einem ungepatchten Build, veröffentlichte eine technische Analyse mit Datum 24. Oktober 2023 und gab einen Proof of Concept heraus. Tenable schreibt Assetnote den Namen Citrix Bleed zu. Der Sicherheitsforscher Kevin Beaumont zeichnete das Logo. Laut Citrix sah die Shadowserver Foundation am 25. Oktober einen starken Anstieg der Ausnutzungsversuche gegen ungepatchte Appliances.
Lehren aus Citrix Bleed
Citrix Bleed zeigte, dass MFA die Anmeldung schützt, nicht die Sitzung danach. Sobald ein Session-Token abfließt, sind Passwort und zweiter Faktor für den Angreifer schon erledigt. Deshalb warnte die CISA, dass MFA hier nicht wie gedacht wirken würde. Ein Fix für diese Art von Lücke hat zwei Hälften: den Patch installieren und dann jede aktive und persistente Sitzung beenden, damit gestohlene Tokens nicht mehr funktionieren. Die Anleitung von Citrix nennt dafür die Befehle kill aaa session -all, kill icaconnection -all, kill rdp connection -all, kill pcoipConnection -all und clear lb persistentSessions.
Die Lücke zeigte auch, wie wenig viele Teams am eigenen Netzwerkrand sehen konnten. Die Appliance loggte den Angriff nicht und behielt nur wenige Megabyte eigener Logs. Verteidiger, die Gateway-Logs weitergeleitet, eine WAF davorgeschaltet und auf eine Sitzung geachtet hatten, die von zwei Orten aus genutzt wurde, konnten die Frage beantworten, ob sie getroffen worden waren. Das Advisory der CISA zu Citrix Bleed fordert Organisationen auf, innerhalb von 24 bis 48 Stunden nach der Veröffentlichung zu patchen. In diesem Fall sah Shadowserver die Ausnutzungsversuche etwa zwei Wochen nach dem Fix sprunghaft steigen.
Der Fall
Citrix Bleed: das Gateway
- Herausfinden, was das Advisory betrifft
- Wem gehört die Sitzung?
- Den Eindringling aussperren
Fragen
Stoppt ein Passwort-Reset einen Angreifer, der Citrix Bleed nutzt?
Nein. Der Angreifer hat ein Session-Token, nicht das Passwort. Nach dem Patchen die Sitzungen auf dem Gateway beenden.
Warum bewerten NVD und Citrix die Lücke unterschiedlich?
NVD bewertet sie mit 7.5 (hoch), Citrix als Hersteller mit 9.4 (kritisch). Beide beschreiben dieselbe Lücke.
Was ist Citrix Bleed?
Citrix Bleed ist CVE-2023-4966, eine Lücke in NetScaler ADC und NetScaler Gateway. Arbeitet die Appliance als VPN- oder Login-Gateway, kann eine einzige nicht authentifizierte Anfrage sie dazu bringen, einen Teil ihres Speichers zurückzugeben. Darin kann das Session-Cookie eines angemeldeten Nutzers stecken. Mit diesem Cookie kann ein Angreifer die Sitzung ohne Passwort und ohne MFA übernehmen.
Wurde Citrix Bleed gepatcht?
Ja. Citrix veröffentlichte am 10. Oktober 2023 korrigierte Builds: 14.1-8.50, 13.1-49.15 und 13.0-92.19, dazu 13.1-37.164 für 13.1-FIPS und 12.1-55.300 für 12.1-FIPS und 12.1-NDcPP. Version 12.1 ist am Ende ihrer Lebensdauer und bekommt keinen Fix. Die CISA rät deshalb zum Upgrade auf eine unterstützte Version.
Ist Citrix Bleed noch eine Bedrohung?
Ein Gateway mit korrigiertem Build und beendeten alten Sitzungen ist für diese Lücke nicht verwundbar. Ungepatchte Appliances oder solche am Ende ihrer Lebensdauer sind es weiterhin. Eine sehr ähnliche Lücke, CVE-2025-5777 oder Citrix Bleed 2, wurde 2025 veröffentlicht und ausgenutzt. Dieselben Prüfungen gelten also weiterhin.
Welche NetScaler-Konfigurationen sind von Citrix Bleed betroffen?
Vom Kunden verwaltete Appliances, die als Gateway (VPN Virtual Server, ICA Proxy, CVPN oder RDP Proxy) oder als AAA Virtual Server eingerichtet sind. Laut Citrix nicht betroffen sind Appliances, die nur für klassisches Load Balancing genutzt werden, NetScaler ADM, Citrix SD-WAN und von Citrix verwaltete Cloud-Dienste.
Wie prüfe ich, ob ich von Citrix Bleed getroffen wurde?
Such in ns.log oder auf deinem Syslog-Server nach SSLVPN-TCPCONNSTAT-Ereignissen, bei denen Client_ip und Source abweichen oder eine einzige Source die Sitzungen mehrerer Nutzer verwendet. Prüfe WAF-Logs auf Anfragen an /oauth/idp/.well-known/openid-configuration mit sehr langen Host-Headern. Findest du Anzeichen, geh von einer Kompromittierung aus und untersuche, worauf diese Sitzungen zugegriffen haben.
Wer hat Citrix Bleed den Namen gegeben?
Tenable schreibt den Namen den Forschenden bei Assetnote zu, die im Oktober 2023 die erste technische Analyse veröffentlichten. Kevin Beaumont gestaltete das Logo, und 2025 gab er der Folgelücke CVE-2025-5777 den Namen Citrix Bleed 2.