Citrix Bleed
Citrix Bleed khiến các gateway NetScaler trả về vùng bộ nhớ chứa token phiên của những người đã đăng nhập. Có token, kẻ tấn công chiếm phiên mà không cần mật khẩu hay MFA, và việc vá không chấm dứt các phiên đã bị đánh cắp.
- Bị ảnh hưởng
- NetScaler 13.0, 13.1 và 14.1 trước các bản build tháng 10 năm 2023
- Đã sửa ở
- 14.1-8.50, 13.1-49.15, 13.0-92.19
- Ngày công bố
- 2023-10-10
- Bị khai thác từ
- 2023-10-18
Citrix Bleed là gì
Một thiết bị NetScaler được cấu hình làm VPN hoặc gateway đăng nhập có thể bị buộc, chỉ bằng một request không cần xác thực, trả về một phần bộ nhớ của nó. Vùng bộ nhớ đó chứa các token phiên hợp lệ của người dùng đã đăng nhập.
Token bị đánh cắp là một phiên, không phải mật khẩu: kẻ tấn công đã vượt qua mật khẩu và MFA.
Phát hiện trong log
Mia đã đăng nhập một lần. Request nào đã đánh cắp phiên của cô ấy?
Request gây rò rỉ có header Host bất thường, thấy được trong log của WAF hoặc proxy đặt trước gateway. Việc chiếm phiên thể hiện qua phiên của một người dùng được dùng từ hai địa chỉ trở lên, trong khi chỉ có một lần đăng nhập.
Cách cuộc tấn công hoạt động
- 1Kẻ tấn công gửi một request với header Host cực lớn
- 2Gateway trả về một phần bộ nhớ của nó
- 3Phần bộ nhớ đó chứa token phiên của những người dùng đã đăng nhập
- 4Kẻ tấn công dùng một token: không cần mật khẩu, không cần MFA
Vì sao Citrix Bleed nghiêm trọng đến vậy
NetScaler Gateway là cửa chính vào mạng công ty: nhân viên vào VPN, máy tính ảo và ứng dụng nội bộ qua nó, nên nó phải trả lời bất kỳ ai trên internet. Citrix Bleed nằm trong một trang mà gateway phục vụ trước khi có ai đăng nhập, nên chỉ một request web không cần tài khoản là đủ. Vùng bộ nhớ nó trả về có thể chứa một cookie phiên NetScaler AAA hợp lệ. AAA là viết tắt của authentication, authorization và accounting (xác thực, phân quyền và ghi nhận), và cookie này là thứ cho gateway biết người dùng đã qua bước kiểm tra mật khẩu và MFA. Có nó, kẻ tấn công chỉ việc tiếp tục phiên của người dùng đó.
Nguyên nhân gốc rất nhỏ. Các nhà nghiên cứu tại Assetnote phát hiện code tạo phản hồi cấu hình OpenID của gateway tin vào độ dài mà hàm C snprintf báo về, tức độ dài văn bản cần có, chứ không phải độ dài thực sự được ghi. Khi phản hồi vượt quá bộ đệm 131.072 byte, gateway gửi luôn các byte nằm sau nó trong bộ nhớ. Đây gọi là lỗi đọc vượt bộ đệm (buffer over-read): đọc quá phần cuối của một khối bộ nhớ. Trong phản hồi ví dụ của Assetnote, có thêm khoảng 16 KB so với bộ đệm được trả về. Mandiant lưu ý rằng việc rò rỉ không làm thiết bị bị sập, nên phía chủ sở hữu không thấy điều gì bất thường.
Có ba điều khiến nó khó ngăn chặn. Mandiant phát hiện lỗ hổng bị khai thác như một zero-day từ cuối tháng 8 năm 2023, khoảng sáu tuần trước khi có bản sửa. Mandiant cũng thấy máy chủ web của NetScaler không ghi log các request tới trang có lỗ hổng, nên nhiều chủ sở hữu không có bản ghi nào về vụ rò rỉ. Và việc vá không hủy các phiên đã bị đánh cắp. Nhiều tuần sau khi có bản sửa, gateway chưa vá vẫn còn phổ biến: theo Tenable, Kevin Beaumont đếm được khoảng 5.000 máy chủ chưa vá ngày 7 tháng 11 năm 2023, và nhà nghiên cứu Yutaka Sejiyama đếm được hơn 10.400 máy chủ có lỗ hổng ngày 14 tháng 11, gần 30% trong số đó ở Mỹ.
Phiên bản của bạn có bị ảnh hưởng không?
- Dòng lệnh NetScaler
show ns version
Bị ảnh hưởng. Nâng cấp lên 13.1-49.15 / 14.1-8.50.
Cách phát hiện Citrix Bleed
Citrix, Mandiant và CISA đã công bố các cách sau để phát hiện cả việc rò rỉ bộ nhớ lẫn việc chiếm phiên diễn ra sau đó.
- So sánh Client_ip và Source trong ns.logGateway ghi các sự kiện SSLVPN TCPCONNSTAT vào /var/log/ns.log, hoặc vào máy chủ syslog của bạn. Mỗi sự kiện nêu User, Client_ip đã đăng nhập và địa chỉ Source đang dùng phiên. Một Source không khớp với Client_ip, nhất là từ một quốc gia hay mạng bất thường, có thể là phiên bị chiếm; người dùng di chuyển đổi Wi-Fi hoặc VPN cũng có thể gây ra sai khác vô hại.
- Tìm một địa chỉ dùng phiên của nhiều người dùngTrong cùng các sự kiện TCPCONNSTAT, kiểm tra xem có một địa chỉ Source nào dùng phiên của nhiều người dùng khác nhau trong thời gian ngắn không. CISA cũng gợi ý đánh dấu những người dùng VPN gắn với hai hoặc nhiều địa chỉ IP công khai ở các subnet khác nhau hoặc các vị trí cách xa nhau. Địa chỉ NAT dùng chung có thể giải thích một số trường hợp, nên hãy xác nhận trước khi hành động.
- Tìm header Host dài trong log WAF hoặc proxyCác trang có lỗ hổng là /oauth/idp/.well-known/openid-configuration và /oauth/rp/.well-known/openid-configuration. Chính NetScaler không ghi log các request tới chúng, nên hãy dùng tường lửa ứng dụng web hoặc thiết bị mạng đặt phía trước. Các request tới những đường dẫn đó với header Host dài bất thường là dấu hiệu của các lần thử khai thác.
- Giữ đủ log để xem lạiTheo mặc định, ns.log giữ 25 tệp 100 KB cho mỗi loại log, tổng cộng khoảng 2,5 MB, mà Mandiant cảnh báo có thể không đủ cho khoảng thời gian bạn cần điều tra. Chuyển tiếp log NetScaler tới máy chủ syslog hoặc SIEM để lịch sử TCPCONNSTAT được giữ lại.
- Kiểm tra bản kết xuất bộ nhớ trước khi khởi động lạiTrên thiết bị chưa vá, các bản kết xuất bộ nhớ (core dump) của tiến trình packet engine NSPPE được giữ trong /var/core. Mandiant tìm các chuỗi đọc được rất dài, hơn 120.000 ký tự và hơn 99% là ký tự 0, khớp với một header Host quá khổ. Việc thu thập cần hơn 5 GB dung lượng trống và không được khởi động lại trước đó, và Mandiant lưu ý chúng không phân biệt được lần thử thất bại với lần thành công.
- Truy tìm những gì kẻ xâm nhập làm tiếp theoTrên máy tính ảo Citrix, Mandiant kiểm tra các khóa registry trong HKLM\SOFTWARE\Policies\Citrix\<session>\Evidence để xem ClientName và ClientIP của từng phiên, trong đó một tên máy mặc định như DESKTOP-######## là dấu hiệu cảnh báo. CISA khuyên tìm các công cụ truy cập từ xa mới, tài khoản mới, các lệnh như whoami, quser và net, mshta.exe được gọi kèm địa chỉ web, và các tệp như adobelib.dll trong C:\Users\Public.
Kiểm tra một dòng log
Tự tìm trong log
Tìm request đã làm rò rỉ phiên của Mia.
Khắc phục theo thứ tự này
- 1Vá gatewayCài bản build đã sửa. Không có cách khắc phục tạm thời.
- 2Kết thúc mọi phiênToken bị đánh cắp trước khi vá vẫn còn dùng được. Đặt lại mật khẩu không kết thúc được chúng.
- 3Kiểm tra những gì chúng đã làmXem lại những gì các phiên bị chiếm đã truy cập, và đóng mọi thứ chúng đã tạo.
Các lỗ hổng liên quan đến Citrix Bleed
Dòng thời gian
- 2023-10-10NetScaler phát hành bản sửa
- 2023-10-18CISA đưa nó vào danh sách bị khai thác
- 2023-11-21CISA báo cáo các nhóm liên kết của LockBit 3.0 đang dùng nó, kể cả để tấn công Boeing Distribution
Các cuộc tấn công Citrix Bleed trong thực tế
Mandiant theo dõi bốn nhóm riêng biệt chưa được đặt tên dùng lỗ hổng này tấn công các tổ chức dịch vụ pháp lý và chuyên môn, công nghệ và chính phủ ở châu Mỹ, châu Âu, Trung Đông, châu Phi và châu Á Thái Bình Dương. Sau khi chiếm phiên, chúng dò quét mạng, đánh cắp thông tin đăng nhập bằng Mimikatz và các bản kết xuất bộ nhớ của LSASS (tiến trình Windows giữ các bí mật đăng nhập), và cài các công cụ truy cập từ xa như Atera, AnyDesk và SplashTop. Một nhóm triển khai FREEFIRE, một backdoor .NET dùng Slack để nhận lệnh. Tenable cũng liệt kê nhóm ransomware Medusa trong số những kẻ tấn công.
Các nhóm liên kết (affiliate) của ransomware LockBit 3.0 đã dùng nó rộng rãi. Trong khuyến cáo AA23-325A ngày 21 tháng 11 năm 2023, CISA, FBI, MS-ISAC và ACSC của Úc mô tả cách các affiliate xâm nhập Boeing Distribution Inc., mảng kinh doanh phụ tùng và phân phối của Boeing, qua Citrix Bleed. Boeing đã chia sẻ các dấu hiệu xâm nhập. Các affiliate cài các công cụ như AnyDesk, Splashtop và ScreenConnect, chạy một script PowerShell tên 123.ps1 ghi ra C:\Users\Public\adobelib.dll, tạo một tác vụ theo lịch tên UpdateAdobeTask, và dùng một bản Plink đã đổi tên (servicehost.exe) để tạo đường hầm cho lưu lượng.
Các nạn nhân khác nối tiếp. ICBC Financial Services, chi nhánh tại Mỹ của Ngân hàng Công thương Trung Quốc, bị ransomware tấn công ngày 8 tháng 11 năm 2023, làm gián đoạn việc thanh toán bù trừ giao dịch trái phiếu Kho bạc Mỹ. Báo chí cho biết LockBit đứng sau vụ này, và Beaumont chỉ ra rằng một thiết bị NetScaler của ICBC vẫn chưa vá Citrix Bleed vài ngày trước đó, một đường vào có khả năng nhưng chưa được xác nhận. Xfinity của Comcast cho biết kẻ tấn công đã khai thác lỗ hổng Citrix từ ngày 16 đến 19 tháng 10 năm 2023, sau khi đã có bản vá, và hồ sơ nộp cho bang Maine ghi 35.879.455 người. Dữ liệu bị đánh cắp gồm tên đăng nhập và mật khẩu đã băm.
Ai đã tìm ra Citrix Bleed
Citrix cho biết chính nhóm nội bộ của họ đã tìm ra lỗ hổng. Cloud Software Group, chủ sở hữu Citrix, công bố bản tin CTX579459 kèm các bản build đã sửa ngày 10 tháng 10 năm 2023, cùng với một lỗ hổng thứ hai, CVE-2023-4967. Khi đó họ chưa biết đến cuộc tấn công nào. Ngày 17 tháng 10, Citrix cập nhật cảnh báo cho biết đã thấy việc khai thác, và Mandiant cùng ngày báo cáo các cuộc tấn công đã bắt đầu từ cuối tháng 8. CISA thêm CVE vào danh mục Known Exploited Vulnerabilities ngày 18 tháng 10.
Cái tên đến từ Assetnote (nay thuộc Searchlight Cyber). Nhà nghiên cứu Dylan Pindur của họ so sánh một bản build đã vá với một bản chưa vá, công bố bài phân tích kỹ thuật đề ngày 24 tháng 10 năm 2023, và phát hành một bản chứng minh khái niệm. Tenable ghi nhận Assetnote là nơi đặt tên Citrix Bleed; nhà nghiên cứu bảo mật Kevin Beaumont vẽ logo cho nó. Citrix cho biết Shadowserver Foundation thấy các lần thử khai thác nhắm vào thiết bị chưa vá tăng mạnh vào ngày 25 tháng 10.
Bài học từ Citrix Bleed
Citrix Bleed cho thấy MFA bảo vệ bước đăng nhập, không bảo vệ phiên diễn ra sau đó. Khi token phiên bị rò rỉ, kẻ tấn công đã vượt qua cả mật khẩu lẫn yếu tố thứ hai, đó là lý do CISA cảnh báo MFA sẽ không hoạt động như mong đợi trong trường hợp này. Bản sửa cho loại lỗ hổng này gồm hai nửa: cài bản vá, rồi kết thúc mọi phiên đang hoạt động và phiên lưu bền để token bị đánh cắp không còn dùng được. Hướng dẫn của chính Citrix liệt kê các lệnh kill aaa session -all, kill icaconnection -all, kill rdp connection -all, kill pcoipConnection -all và clear lb persistentSessions.
Nó cũng cho thấy nhiều nhóm thấy được rất ít ở chính biên mạng của mình. Thiết bị không ghi log cuộc tấn công và chỉ giữ vài megabyte log của chính nó. Những người phòng thủ đã chuyển tiếp log gateway, đặt WAF phía trước và theo dõi một phiên được dùng từ hai nơi mới là những người trả lời được câu hỏi mình có bị tấn công hay không. Khuyến cáo về Citrix Bleed của CISA yêu cầu các tổ chức vá trong vòng 24 đến 48 giờ sau khi công bố; trong trường hợp này, Shadowserver thấy các lần thử khai thác tăng vọt khoảng hai tuần sau khi có bản sửa.
Vụ việc
Citrix Bleed: Gateway
- Tìm những gì khuyến cáo ảnh hưởng tới
- Phiên này là của ai?
- Đẩy kẻ xâm nhập ra ngoài
Câu hỏi
Đặt lại mật khẩu có ngăn được kẻ tấn công Citrix Bleed không?
Không. Kẻ tấn công nắm token phiên, không phải mật khẩu. Hãy kết thúc các phiên trên gateway sau khi vá.
Vì sao NVD và Citrix chấm điểm khác nhau?
NVD xếp 7,5 (cao) còn Citrix, nhà cung cấp, xếp 9,4 (nghiêm trọng). Cả hai đều mô tả cùng một lỗ hổng.
Citrix Bleed là gì?
Citrix Bleed là CVE-2023-4966, một lỗ hổng trong NetScaler ADC và NetScaler Gateway. Khi thiết bị hoạt động như VPN hoặc gateway đăng nhập, một request không cần xác thực có thể khiến nó trả về một phần bộ nhớ, có thể chứa cookie phiên của một người dùng đã đăng nhập. Kẻ tấn công có thể dùng cookie đó để chiếm phiên mà không cần mật khẩu hay MFA.
Citrix Bleed đã được vá chưa?
Rồi. Citrix phát hành các bản build đã sửa ngày 10 tháng 10 năm 2023: 14.1-8.50, 13.1-49.15 và 13.0-92.19, cùng 13.1-37.164 cho 13.1-FIPS và 12.1-55.300 cho 12.1-FIPS và 12.1-NDcPP. Phiên bản 12.1 đã hết hỗ trợ và không có bản sửa, nên CISA khuyên nâng cấp lên một phiên bản còn được hỗ trợ.
Citrix Bleed có còn là mối đe dọa không?
Một gateway chạy bản build đã sửa, với các phiên cũ đã được xóa, không bị lỗ hổng này. Các thiết bị chưa vá hoặc đã hết hỗ trợ thì vẫn bị. Một lỗ hổng rất giống, CVE-2025-5777 hay Citrix Bleed 2, đã được công bố và bị khai thác vào năm 2025, nên các bước kiểm tra tương tự vẫn còn áp dụng.
Những cấu hình NetScaler nào bị Citrix Bleed ảnh hưởng?
Các thiết bị do khách hàng tự quản lý được cấu hình làm Gateway (VPN virtual server, ICA Proxy, CVPN hoặc RDP Proxy) hoặc làm AAA virtual server. Theo Citrix, các thiết bị chỉ dùng để cân bằng tải truyền thống, NetScaler ADM, Citrix SD-WAN và các dịch vụ đám mây do Citrix quản lý không bị ảnh hưởng.
Làm sao kiểm tra tôi có bị Citrix Bleed tấn công không?
Tìm trong ns.log hoặc máy chủ syslog các sự kiện SSLVPN TCPCONNSTAT có Client_ip và Source khác nhau, hoặc có một Source dùng phiên của nhiều người dùng. Kiểm tra log WAF để tìm các request tới /oauth/idp/.well-known/openid-configuration với header Host rất dài. Nếu thấy dấu hiệu, hãy coi như đã bị xâm nhập và điều tra những gì các phiên đó đã truy cập.
Ai đã đặt tên Citrix Bleed?
Tenable ghi nhận các nhà nghiên cứu tại Assetnote, những người công bố bài phân tích kỹ thuật đầu tiên vào tháng 10 năm 2023. Kevin Beaumont tạo logo cho nó, và năm 2025 ông đặt tên Citrix Bleed 2 cho lỗ hổng tiếp theo CVE-2025-5777.