Governing AI in the Cloud: A Practical Guide for Architects

Nguon: InfoQ | Bai goc

Ket luan

Bài viết cung cấp một hướng dẫn thực tiễn cho kiến trúc sư về quản trị AI trên cloud. Tác giả nhấn mạnh rằng Shadow AI đang mở rộng bề mặt tấn công của tổ chức — hầu hết không biết có bao nhiêu tích hợp AI đang chạy. Cách tiếp cận gồm 3 bước: (1) Discovery — dùng CASB, service mesh telemetry và API gateway logs để lập bản đồ toàn bộ điểm vào AI; (2) Data Classification — phân loại dữ liệu ngay khi tạo ra, dùng AWS Macie/Microsoft Purview/Google DLP và real-time classification qua AWS Comprehend + Lambda; (3) Policy-as-Code & Enforcement — dùng OPA và IAM để tự động chặn rò rỉ dữ liệu mà không cản trở công việc hữu ích. Công nghệ là phần dễ; khó khăn thực sự nằm ở việc để security, engineering và product làm việc cùng nhau với quy trình tự động, không phụ thuộc vào phê duyệt thủ công.

Luan diem chinh

• Shadow AI là mối đe dọa thực sự: Nghiên cứu của Microsoft cho thấy 71% nhân viên Anh đã dùng công cụ AI không được phê duyệt, 51% làm vậy hàng tuần. Các sự cố như tấn công chuỗi cung ứng s1ngularity (2025) và Jupyter notebooks/LLM servers bị lộ ra internet là minh chứng rõ ràng.
• Discovery trước khi Governance: Không thể quản trị thứ mình không biết. Cần kết hợp 3 lớp tín hiệu — CASB (phát hiện gọi đến OpenAI/Anthropic/HuggingFace), Service Mesh (phát hiện pod chạy TensorFlow/PyTorch/MLflow nội bộ), và API Gateway logs (audit mọi request đi qua choke point).
• Classify at Creation là nền tảng bắt buộc: Dữ liệu phải được gắn tag phân loại ngay khi tạo ra. Sử dụng AWS Macie/Microsoft Purview/Google DLP để quét tự động. Cấu trúc tag gồm: DataClassification (Public/Internal/Confidential/Restricted), ContainsPII (boolean), AIApproved (boolean), ScanDate, ComplianceScope (GDPR/HIPAA).
• Real-time Classification + Policy-as-Code: Dùng AWS Comprehend + Lambda để phân loại tức thời khi dữ liệu vào S3. Kết hợp OPA (Open Policy Agent) để tự động áp dụng chính sách, chặn dữ liệu nhạy cảm đến model AI mà không cần phê duyệt thủ công. Khó khăn chính là tune policy để không chặn nhầm công việc hợp lệ.

Luan diem phu

• CASB chỉ cho biết gọi OpenAI 500 lần hôm qua mà không thấy dữ liệu gì đã gửi đi và bỏ sót self-hosted models — chỉ dùng để discovery, không dùng để block.
• Service mesh telemetry cho thấy pod-to-pod traffic nội bộ nhưng không phát hiện được nhân viên gọi Azure OpenAI từ laptop cá nhân — cần kết hợp với CASB.
• API Gateway logs là choke point audit mọi request, nhưng đòi hỏi kỷ luật lưu trữ và tổng hợp log — hầu hết tổ chức cuối cùng dùng cả 3 lớp và tập trung vào SIEM/data platform.

Luan cu & Vi du

• Dẫn chứng nghiên cứu Microsoft UK: 71% nhân viên dùng AI tools không phê duyệt, 51% dùng hàng tuần — Shadow AI là vấn đề phổ biến, không phải ngoại lệ.
• Sự cố tấn công chuỗi cung ứng s1ngularity (tháng 8/2025): Mã độc trong Nx npm packages harvest GitHub tokens, cloud credentials từ máy developer — attacker có đường vào môi trường hạ tầng.
• Code thực tế: Script kubectl + jq để scan tất cả pods tìm container chạy TensorFlow/PyTorch/HuggingFace/MLflow/Triton; Lambda function dùng AWS Comprehend detect_pii_entities để phân loại real-time và gắn tag AIApproved=False nếu có PII.