8.1 Cải thiện điều gì, theo thứ tự nào
Các cải thiện đến theo một trình tự có thể đoán trước. Hãy lên kế hoạch báo cáo theo trình tự này, để không ai trông đợi bản sửa tự động ngay từ tuần thứ hai.
Mức cải thiện lớn đến đâu phụ thuộc vào chất lượng dữ liệu và việc bạn đã leo được bao xa trên nấc thang tin tưởng (§7.3).
Những con số công bố ấn tượng nhất đều đến từ nhà cung cấp. AWS cho biết các khách hàng dùng bản preview của DevOps Agent ghi nhận MTTR giảm tới 75%, điều tra nhanh hơn 80%, và độ chính xác nguyên nhân gốc 94%. Trong cùng thông báo, Western Governors University (WGU) mô tả một lần khắc phục ước tính hai giờ được rút xuống còn 28 phút.
Hãy coi đây là các khẳng định cần kiểm chứng trong đợt thí điểm của chính bạn, không phải kết quả để lập kế hoạch.
8.2 Dashboard vận hành
Vận hành chương trình dựa trên tám KPI. Rà soát hằng tháng cùng nhóm trực.
Các mức tự chủ (L0 đến L4) được định nghĩa trong §3.2.
8.3 Xây dựng business case
Phía lợi ích gồm ba dòng. Hãy dùng số liệu đầu vào của chính bạn cho từng dòng.
Phía chi phí gồm phí thuê bao nền tảng, mức sử dụng model, và thời gian kỹ sư để tích hợp và quản trị hệ thống. Hãy tính cả thời gian của người phụ trách chính sách tự chủ.
Kiểm tra business case bằng một quy tắc: nếu nó chỉ đứng vững nhờ dòng thời gian ngừng hoạt động, bạn đã chọn sai lĩnh vực thí điểm. Hãy chọn lĩnh vực mà khoản tiết kiệm toil đủ để gánh business case, và coi thời gian ngừng hoạt động tránh được là phần lợi thêm.
8.4 Kinh tế đơn vị của một agent
Phần lớn chi phí vận hành của một chương trình agentic là suy luận của model. Phần lớn chi phí suy luận lại phụ thuộc vào nơi các bước suy luận đắt đỏ diễn ra. Vì vậy, hãy giữ khâu cảm nhận rẻ luôn chạy, và dành suy luận frontier cho số ít tín hiệu thật sự cần đến. §4.3 gọi đây là cảm nhận hai tầng. Hãy xem một sự cố như một đối tượng chi phí:
Khắc phục chuyên sâu tốn nhất cho mỗi lượt chạy nhưng hiếm khi kích hoạt, nên tầng đắt đỏ phần lớn thời gian ở trạng thái nghỉ trong khi mọi tín hiệu vẫn được bao phủ. Chúng tôi không công bố các tỷ lệ điển hình, vì chúng khác nhau quá nhiều giữa các môi trường. Hãy đo ba con số trong môi trường của bạn: số tín hiệu mỗi ngày, tỷ lệ được chuyển lên khắc phục chuyên sâu, và chi phí của một lượt chạy chuyên sâu. Nhân chúng với nhau để có chi phí khắc phục chuyên sâu mỗi ngày.
Đó là lý do chi phí mỗi sự cố được khắc phục và chi phí mỗi dịch vụ được bao phủ có mặt trên dashboard. Một kiến trúc chạy suy luận frontier trên mọi tín hiệu nhiễu sẽ tự xóa sạch lợi ích của mình trước kỳ gia hạn đầu tiên. Bạn sẽ không thấy điều đó xảy ra nếu không theo dõi con số theo từng sự cố ngay từ đầu.
Khi so sánh các nhà cung cấp, hãy hỏi cách định giá gắn với giá trị ra sao. Một lựa chọn dựa trên kết quả, chẳng hạn phí gắn với khoản tiết kiệm đã xác minh, loại bỏ động cơ để nhà cung cấp đẩy chi phí suy luận lên chỉ vì lợi ích của họ. Dù cấu trúc thế nào, con số trong business case phải là con số bạn đo được so với baseline 90 ngày của chính mình (§9.2).
8.5 Kiểm thử agent trước khi tin tưởng
Các chương trước mô tả vận hành agentic là có khả năng tự xác minh. Mục này cho thấy bước kiểm tra đó trông như thế nào, và cách bắt được một bản sửa sai nhưng đầy tự tin trước khi nó chạm tới production. Bộ kiểm thử đánh giá gồm bốn phần:
Agent không mang tính tất định. Cùng một kịch bản có thể cho ra hành vi khác nhau ở những lượt chạy khác nhau. Vì vậy, hãy chạy mỗi kịch bản nhiều lần và chấm điểm trên độ phân tán của kết quả. Bản sửa đúng 70% số lần là mức rủi ro khác hẳn bản sửa đúng 99% số lần, và chỉ việc chạy lặp lại mới cho thấy bạn đang có loại nào.
Một ví dụ kiểm tra cụ thể cho kịch bản cạn kiệt kết nối cơ sở dữ liệu. Bộ kiểm thử khẳng định rằng agent:
- Xác định nguyên nhân gốc là connection pool bị cạn kiệt.
- Khôi phục đúng giới hạn kết nối, thay vì chỉ restart dịch vụ.
- Xác nhận số kết nối trở về mức baseline và giữ ổn định ở đó.
8.6 Đọc các con số này ở đâu trong CloudThinker
Nếu bạn đang chạy thí điểm trên CloudThinker, các trang sau báo cáo phần lớn dashboard. Hãy theo dõi tải trực và tỷ lệ rollback trong công cụ paging và quản lý thay đổi của bạn.
Root-cause accuracy chỉ có ý nghĩa khi nhóm của bạn đã đánh giá đủ nhiều sự cố. Hãy kiểm tra Your review coverage trên cùng tab trước khi báo cáo chỉ số này.
Tiếp theo: Chương 9 · Lộ trình triển khai biến các thước đo này thành một đợt thí điểm 90 ngày với tiêu chí kết thúc cho từng giai đoạn.