7.1 Từ người thực thi sang người giám sát
“Human in the loop” (con người trong vòng lặp) nghĩa là một người nằm ngay trên đường thực thi: mọi bước đều chờ họ. “Human on the loop” (con người trên vòng lặp) nghĩa là một người giám sát: họ đặt ra ý định và chính sách, phê duyệt các thao tác có hệ quả, kiểm tra kết quả, và chỉ can thiệp khi có ngoại lệ.
Hãy hình dung một phi công tự lái máy bay bằng tay so với một phi công điều hành chế độ lái tự động. Phi công thứ hai không kém quan trọng hơn. Họ chịu trách nhiệm cho nhiều phần của máy bay hơn mà ít thao tác tay hơn, và cầm lái khi cần tới phán đoán nhất.
Những đội làm tốt chủ động thiết kế lại vai trò. Những đội không làm vậy rốt cuộc có các kỹ sư bấm duyệt cho có những yêu cầu mà họ không còn hiểu.
7.2 Các vai trò thay đổi thế nào
Xuất hiện hai công việc mới. Hãy coi cả hai là lộ trình nghề nghiệp, không phải việc kiêm nhiệm.
- Kỹ sư vận hành agent. Chịu trách nhiệm về sức khỏe của chính các agent: hướng dẫn, kết nối, skill, bộ nhớ, đánh giá và chi phí.
- Người sở hữu chính sách tự trị. Thường là SRE cấp cao hoặc engineering manager. Quyết định loại thao tác nào được nâng bậc trên thang tin cậy, và phân xử khi agent và con người bất đồng.
7.3 Niềm tin được xây từng bước
Kỹ sư tin agent theo một trình tự có thể đoán trước. Bỏ qua một bậc sẽ phản tác dụng.
Ngưỡng 70% và 80% khớp với tiêu chí kết thúc giai đoạn thí điểm ở §9.2. Trong CloudThinker, on-call chấm điểm từng phân tích nguyên nhân gốc tại Was Resolve’s diagnosis right? trên sự cố, và chỉ vai trò workspace Admin mới ghi được điểm đó. Hãy cấp vai trò Admin cho người chấm, hoặc để một Admin ghi lại đánh giá của on-call.
Kiểu thất bại luôn giống nhau: bỏ qua các bậc và bạn đưa vào vận hành một agent sai một cách đầy tự tin lúc 3 giờ sáng. Chỉ một sự cố như vậy có thể kéo lùi chương trình agentic nhiều tháng. Đi đúng thứ tự từng bậc thì mức tự trị sẽ tích lũy dần.
Một bài kiểm tra thực tế cho bậc 1: đưa cho agent một sự cố mà đội bạn đã đóng, rồi so sánh câu trả lời.
7.4 Đo thời gian bạn lấy lại được
Thành quả của mô hình giám sát là thời gian của người có kinh nghiệm chuyển từ việc lặp lại sang công việc phòng ngừa. Hãy đo lường, nếu không thành quả đó sẽ không xuất hiện trong business case:- Tải on-call: số cuộc gọi trên mỗi kỹ sư mỗi tuần, tách riêng cuộc gọi ngoài giờ, lấy từ công cụ paging (§8.2).
- Số giờ cho việc lặp lại: số giờ phân loại và thu thập bằng chứng mỗi tuần, lấy từ hệ thống ticket hoặc một đợt khảo sát thời gian hai tuần (§8.3).
7.5 Thang tin cậy trong CloudThinker
Trong CloudThinker, thao tác đọc luôn chạy và mọi thao tác ghi đều đi qua Approvals. Mỗi bậc của thang là một cài đặt bạn nhìn thấy và thay đổi được.
Workspace mới bắt đầu ở Auto · Rules + AI · Ask me. Ở chế độ đó, các Rule đã chấp nhận sẽ chạy, và đánh giá AI cũng có thể cho một thao tác ghi không có Rule nào bao quát tự chạy khi đánh giá thao tác đó là an toàn và nằm trong phạm vi bạn yêu cầu. Điều đó đặt mặc định vượt quá bậc 3 với các thao tác ghi này, nên hãy chuyển sang Manual cho bậc 1. Chỉ chuyển sang Auto · Rules + AI · Ask me khi đội bạn đã tin vào phán đoán của agent trên hệ thống của mình.
Tiếp theo: Chương 8 · Đo lường những gì quan trọng trình bày cách chứng minh agent đang hoạt động hiệu quả, với các KPI và bằng chứng biện minh cho mỗi lần lên bậc.