6.1 Khoảng trống quản trị
Các chương trình agentic bị đình trệ khi agent làm mất niềm tin bằng một thay đổi sai, hoặc khi đội rủi ro chặn triển khai vì thiếu bằng chứng. Một chính sách thành văn, một audit trail đầy đủ và một cách dừng agent thật nhanh là những thứ giúp đội rủi ro đồng ý.6.2 Ngăn xếp rào cản
Rào cản trong production hoạt động ở năm tầng. Mỗi tầng chặn một kiểu lỗi khác nhau, nên bạn cần đủ cả năm.
Hai câu hỏi quyết định một hành động nằm ở đâu trong chính sách ở tầng 2: bạn có hoàn tác được không, và hành động đó ảnh hưởng tới bao nhiêu thứ?
Một audit trail tốt còn có lợi ích phụ: nó cho bạn bằng chứng thay đổi tốt hơn hầu hết các quy trình do con người vận hành từng tạo ra.
6.3 Lưu trú và kiểm soát dữ liệu
Trước khi bàn về quyền tự trị, đội bảo mật ở ngành bị quản lý sẽ hỏi ba câu. Agent làm thay đổi câu trả lời cho từng câu.- Lưu trú: dữ liệu được lưu và xử lý ở đâu? Agent gửi telemetry tới một reasoning model, một luồng dữ liệu mà công cụ truyền thống chưa từng có. Ranh giới suy luận giờ chính là ranh giới dữ liệu của bạn. Bạn cần biết mỗi lời gọi model chạy ở đâu, nhà cung cấp model ghi log những gì, giữ trong bao lâu, và dữ liệu của bạn có được dùng để huấn luyện model của họ hay không.
- Chủ quyền: luật của ai có thể chạm tới dữ liệu? Dữ liệu đi qua một dịch vụ hoặc API model do nước ngoài vận hành có thể thuộc phạm vi luật công bố thông tin của quốc gia đó, bất kể server đặt ở đâu. Với các doanh nghiệp bị quản lý, quan điểm thận trọng là chủ quyền đi theo đơn vị vận hành, không chỉ theo trung tâm dữ liệu.
- Kiểm soát: ai nắm công tắc dừng khẩn cấp? Kiểm soát nghĩa là có audit trail bạn xuất và lưu giữ được, có khả năng thu hồi mọi thông tin xác thực của agent cùng lúc, có chính sách lưu giữ bạn thực thi được, và có tuyên bố rõ ràng về những gì đi qua ranh giới của bạn.
Hai lưu ý thực tế:
- Các cơ chế kiểm soát cộng dồn. Mẫu hình mạnh nhất trong các triển khai ở ngành bị quản lý kết hợp một bản triển khai tách biệt với lớp che định danh đặt trước mọi lời gọi model. Khi đó, ngay cả suy luận trong region cũng không bao giờ thấy ID khách hàng, thông tin xác thực hay số tài khoản thật.
- Kiểm soát phải đứng vững qua kiểm toán. Nếu cơ quan quản lý yêu cầu mọi dữ liệu agent đã gửi ra ngoài vành đai của bạn trong tháng Ba, egress log và audit trail của bạn phải trả lời được. Lời cam kết của nhà cung cấp không được tính.
6.4 Ngành bị quản lý
Ngân hàng, công ty bảo hiểm và các tổ chức tài chính khác được lợi nhiều nhất từ agentic operations: thời gian ngừng hoạt động của họ tốn kém nhất và khối lượng compliance nặng nhất. Họ cũng chịu ràng buộc chặt nhất. Ngoài lưu trú và kiểm soát, gần như mọi triển khai đều gặp ba yêu cầu:- Quản lý rủi ro model. Agent thuộc phạm vi các khung quản lý rủi ro model hiện có: hành vi được tài liệu hóa, bộ đánh giá, tái thẩm định định kỳ và quy trình đối chứng. Hãy lên kế hoạch cho những yêu cầu này trước khi thử nghiệm, không phải sau.
- Khớp với quản lý thay đổi. Hành động của agent phải khớp vào quy trình thay đổi hiện có (kiểm tra trước và sau thay đổi, phê duyệt, bằng chứng rollback) thay vì đi vòng qua quy trình đó. Agent nào bỏ qua hội đồng thay đổi sẽ bị tắt.
- Bằng chứng cho từng hành động. Với mỗi thao tác ghi của agent, hãy lưu bản ghi về điều gì đã kích hoạt, bằng chứng agent dẫn ra, ai phê duyệt và kết quả, trong suốt thời gian mà hồ sơ thay đổi của bạn phải được lưu giữ. Kiểm tra thời hạn lưu giữ của nền tảng có bao phủ khoảng thời gian đó không, hoặc xuất bản ghi về kho lưu trữ của riêng bạn.
6.5 Mô hình mối đe dọa ở tầng agent
Mọi nội dung ở trên quản lý việc agent được phép làm gì. Mục này nói về chuyện xảy ra khi có người tấn công chính agent. Agent vận hành là một tác nhân có đặc quyền, đọc telemetry và thực hiện hành động, nên agent trở thành mục tiêu. Hãy lập mô hình mối đe dọa cho agent như với bất kỳ dịch vụ đặc quyền mới nào. Năm bề mặt tấn công thường lặp lại, và mỗi bề mặt có một biện pháp giảm thiểu cần yêu cầu trước khi bạn trao quyền tự trị:
Trên thực tế, prompt injection qua log trông như sau. Một dòng log như thế này phải được đọc như bằng chứng, không bao giờ được làm theo:
6.6 Các cơ chế kiểm soát này nằm ở đâu trong CloudThinker
Nếu bạn đang đánh giá CloudThinker, đây là nơi kiểm tra từng cơ chế kiểm soát.Câu trả lời của CloudThinker cho tám câu hỏi
Một cấu hình ban đầu an toàn
- Đặt workspace thành Manual trước khi kết nối bất cứ thứ gì. Trong Run types, cũng override Automations thành Manual: dòng đó mặc định là Auto · Rules + AI · Refuse và không đi theo workspace. Mỗi cuộc chat có thể chọn chế độ riêng, nên hãy kiểm tra cả chế độ trong khung soạn thảo. Workspace mới bắt đầu với Auto · Rules + AI · Ask me, khi đó AI judgment có thể cho một thao tác ghi không có Rule áp dụng tự chạy nếu đánh giá thao tác đó an toàn và đúng phạm vi. Hãy chuyển sang mặc định đó khi nhóm của bạn đã tin các đề xuất của agent trên hệ thống của mình (xem §7.5).
- Bật các định danh trong Guardrails khớp với dữ liệu trong log của bạn.
- Chỉ chấp nhận Rule Allow cho thao tác ghi đã vượt ngưỡng tốt nghiệp ở §8.2. Rule Allow chỉ tự chạy thao tác ghi ở chế độ Auto, và chỉ khi CloudThinker đã bật Rule enforcement cho workspace của bạn; trước đó, chỉ Approval mode quyết định. Ở chế độ Manual, người duyệt vẫn phải phê duyệt các thao tác này.