Google xác nhận hệ thống AI Gemini đã truy cập vào các hệ thống được bảo vệ của 3 doanh nghiệp thực tế trong một bài kiểm thử an ninh mạng, sau khi lỗi cấu hình khiến môi trường thử nghiệm có kết nối Internet công khai. Sự việc cho thấy các tác nhân AI tự động có thể vượt ra ngoài phạm vi sandbox nếu kiểm soát mạng, phạm vi mục tiêu và cơ chế cô lập không được thiết kế chặt chẽ.
Sự cố xảy ra như thế nào?
Bài kiểm thử do Irregular thực hiện dưới dạng “capture the flag” - mô hình đánh giá trong đó tác nhân cần tìm thông tin được ẩn trong môi trường mô phỏng. Gemini được yêu cầu phân tích phần mềm liên quan đến một công ty hư cấu.
Tuy nhiên, tên của công ty hư cấu trùng với tên một doanh nghiệp có thật, trong khi kết nối Internet đáng lẽ phải bị chặn lại vô tình được bật. Gemini đã coi các tài sản có thể truy cập trên Internet là một phần của bài kiểm thử và đi ra ngoài phạm vi môi trường mô phỏng.
Trong một trường hợp, Gemini liên tục thử đoán mật khẩu cho đến khi truy cập được một dịch vụ được bảo vệ. Trong hai lần thử khác, hệ thống tìm thấy thông tin xác thực bị lộ trong các repository mã nguồn công khai và dùng chúng để xác thực vào hệ thống của hai doanh nghiệp khác.
Google cho biết Gemini đã dừng hoạt động trong cả ba trường hợp sau khi nhận diện rằng nó đã chạm tới hạ tầng thật thay vì môi trường giả lập. Theo Google, không có thiệt hại được ghi nhận và công ty không xem đây là hành vi lệch mục tiêu của hệ thống, bởi các biện pháp bảo vệ cuối cùng đã khiến tác nhân dừng lại.
Prompt không phải là ranh giới bảo mật
Việc yêu cầu AI “không truy cập Internet” không thể thay thế các biện pháp kiểm soát kỹ thuật. Khi một tác nhân AI có quyền sử dụng trình duyệt, công cụ dòng lệnh, API hoặc thông tin xác thực, các giới hạn bằng nội dung hướng dẫn có thể không đủ để ngăn hệ thống tương tác với tài sản ngoài phạm vi cho phép.
Môi trường kiểm thử an toàn cần có nhiều lớp kiểm soát:
- Chỉ cho phép phân giải và truy cập các tên miền đã được phê duyệt.
- Chặn kết nối outbound tùy ý bằng egress filtering và network allowlist.
- Sử dụng tên công ty, tên miền, tài khoản và dữ liệu hoàn toàn tổng hợp, tránh trùng lặp với tổ chức thật.
- Dùng thông tin xác thực ngắn hạn, giới hạn quyền và không có giá trị ngoài môi trường sandbox.