Engineers on the loop, not in the loop.
Lập luận trong ba đoạn
Trên ITBench, benchmark mở của IBM Research dành cho agent SRE, các agent chạy trên model hiện đại nhất giải quyết được khoảng một trong bảy kịch bản sự cố (ITBench, ICML 2025). Benchmark công khai cũng có thể bị lách: agent đã từng xóa cảnh báo bằng vòng lặp khởi động lại pod mù quáng, thậm chí tắt luôn bộ tiêm lỗi. Chương 7 trình bày các con số, và Phụ lục D liệt kê nguồn. Khoảng cách giữa một model có năng lực và một agent production chính là harness: mọi thứ bao quanh model. Đó là ngữ cảnh mà model suy luận trên đó, các công cụ biến suy luận thành hành động an toàn, chính sách và phê duyệt kiểm soát agent, khâu đánh giá bắt được hồi quy, và khả năng quan sát giúp bạn giám sát agent. Model thay đổi qua mỗi bản phát hành. Một harness tốt giữ được giá trị qua những thay đổi đó. Chương 1 đến 9 xây dựng harness từng lớp một. Chương 10 áp dụng harness vào độ phức tạp, chi phí, bảo mật và tuân thủ. Chương 11 liệt kê mười hai dấu hiệu thất bại và quyết định tự xây hay mua. Chương 12 mô tả hướng đi tiếp theo: các nhiệm vụ thường trực, theo sự kiện và theo lịch, chạy dưới chính sách. Các phụ lục cung cấp kế hoạch test POC và checklist kỹ thuật để áp vào bất kỳ nhà cung cấp nào, kể cả CloudThinker.NẾU CHỈ ĐỌC MỘT PHẦN
- Harness chính là sản phẩm. Ngữ cảnh, công cụ, chính sách, đánh giá và khả năng quan sát quyết định agent có đạt chuẩn production hay không. Chỉ model thôi là không đủ.
- Coi agent vừa là bề mặt tấn công vừa là hệ thống production. Công việc hằng ngày của agent là đọc dữ liệu đầu vào không đáng tin (log, ticket, nội dung cảnh báo), nên hãy thiết kế để chống prompt injection. Agent thất bại ở tầng ngữ nghĩa, nên hãy đánh giá và quan sát agent như phần mềm quan trọng.
- Đừng bao giờ tin một bản demo mà bạn không tự đo đạc. Phụ lục A là quy trình POC với baseline, cổng kiểm soát và tiêu chí đạt/không đạt. Hãy chạy quy trình này với mọi nền tảng bạn đánh giá.
Phiên bản này dành cho ai
Leadership Edition dành cho những người đặt ngân sách. Phiên bản này dành cho những người trực pager, và trên hết là kỹ sư được giao đánh giá một nền tảng rồi chịu trách nhiệm về nó trước nhóm. Ở hầu hết tổ chức, chính kỹ sư đó, không phải CIO, quyết định việc áp dụng có thành công hay không. Vì vậy cuốn sách được viết theo cách kỹ sư đọc. Mỗi nhận định đều có nguồn. Các kiểu thất bại được dành nhiều trang hơn câu chuyện thành công. Số liệu benchmark được trình bày ở mức tệ nhất, vì đằng nào bạn cũng sẽ tìm ra chúng. Lưu ý minh bạch. CloudThinker xuất bản cuốn sách này và xây dựng Frontier Investigation Agents. Khi kỹ thuật của chính chúng tôi minh họa một pattern, phần đó xuất hiện trong khung có nhãn IN PRACTICE, bên cạnh các công trình đã công bố từ AWS, Microsoft, Google và cộng đồng nghiên cứu. Các chương vẫn đứng vững khi bỏ những khung đó. Mọi thứ trong khung đều đã có trong sản phẩm hiện nay; không có gì là lộ trình. Tính năng còn ở giai đoạn beta được gắn nhãn (beta) ở nơi xuất hiện.Tám rào cản khi áp dụng
Mọi nhóm kỹ sư chúng tôi làm việc cùng đều gặp tám phản đối giống nhau khi bắt đầu. Phản đối nào cũng hợp lý, và đều có câu trả lời cụ thể ở phần sau của sách.Bắt đầu từ đâu: công việc hằng ngày của bạn
Đừng bắt đầu với sự cố định đoạt sự nghiệp. Hãy bắt đầu với các kiểm tra hằng đêm, việc phân loại buổi sáng và lượt dọn dẹp hằng tuần mà bạn vẫn chạy theo quán tính. Công việc lặp lại hằng ngày là nhiệm vụ đầu tiên tốt vì bốn lý do:- Kiểm tra kết quả tốn ít công. Bạn đã biết kết quả tốt trông như thế nào.
- Phạm vi ảnh hưởng nhỏ. Kiểm tra chỉ đọc không thể làm hỏng gì.
- Ngân sách giới hạn tình huống xấu nhất. Giới hạn cố định số lệnh gọi model mỗi lượt chạy và Credit limits hằng tháng chặn một tác vụ mất kiểm soát trong lúc bạn học.
- Thói quen review hình thành nhanh. Công việc đến mỗi ngày, nên bạn nhanh chóng biết nên tin điều gì.
Giờ đầu tiên của bạn trong CloudThinker
- Kết nối một tài khoản chỉ đọc. Tạo thông tin xác thực viewer hoặc chỉ đọc và thêm làm kết nối. Với AWS, Google Cloud và Azure, tắt thêm Allow writes trên bảng chi tiết của kết nối. Kết quả: kết nối đạt trạng thái Connected, agent có thể đọc nhưng mọi thay đổi đều bị từ chối.
- Xem Discovery. Lần đầu một kết nối đạt Connected, CloudThinker chạy Discovery ở chế độ nền, tối đa 30 phút. Kết quả: mục Discovery trong bảng chi tiết của kết nối liệt kê bằng chứng (mỗi sự thật dẫn nguồn lượt đọc tương ứng), các kết nối liên quan và các kiểm tra định kỳ được đề xuất.
- Lên lịch một kiểm tra được đề xuất. Nhấn Schedule trên một kiểm tra được đề xuất. Kết quả: kiểm tra đó trở thành một automation chạy theo lịch, và bạn có nhiệm vụ hằng ngày đầu tiên để review.
Bản đồ đọc
Đọc theo thứ tự nếu bạn đang thiết kế hoặc vận hành một nền tảng agent. Nếu đang đánh giá một nền tảng, hãy bắt đầu với Chương 1, rồi chuyển thẳng đến các phụ lục.
Về CloudThinker mô tả nền tảng đằng sau cuốn sách.
Bước tiếp theo
Chương 1 · Giải phẫu một agent vận hành
Bắt đầu với vòng lặp: chu trình mà mọi agent vận hành đều chạy, và chi phí của chu trình đó.
Phụ lục A · Kế hoạch kiểm thử POC
Đang đánh giá một nền tảng? Chuyển thẳng đến quy trình và chạy ngay.