Kịch bản
Lúc 14:05, công cụ giám sát của bạn báocheckout-api trên production đang trả về lỗi 5xx. Một bản deploy đã được phát hành 20 phút trước đó. Cảnh báo lặp lại mỗi phút, và một cảnh báo cơ sở dữ liệu kích hoạt bên cạnh. Bạn muốn biết liệu bản deploy có gây ra lỗi không, chỉ rollback nếu đúng là vậy, và giữ một bản ghi mà nhóm có thể tin tưởng.
Điều kiện tiên quyết
- Nguồn cảnh báo gửi đến Resolve, chẳng hạn Datadog, Grafana hoặc CloudWatch. Xem Tích hợp Resolve. Để thử với một cảnh báo test, làm theo Resolve quickstart.
- Kết nối cho các hệ thống phía sau checkout, ví dụ tài khoản cloud, Kubernetes cluster và công cụ observability của bạn. Resolve chỉ có thể xác minh những gì đọc được.
- Vai trò Admin của workspace để bắt đầu điều tra và đóng sự cố. Xem Vai trò.
Hướng dẫn từng bước
1
Kiểm tra Resolve đang On duty
Vào Resolve → Investigation và xem công tắc trong header trang. On duty nghĩa là CloudThinker tự điều tra các cảnh báo từ Pulse. Paused nghĩa là Pulse vẫn tiếp tục phát hiện và nhóm cảnh báo và vẫn tạo sự cố với trạng thái Open, nhưng không cuộc điều tra nào tự bắt đầu cho đến khi ai đó nhấn Investigate. Sự cố do người ghi nhận hoặc chuyển cấp vẫn được điều tra ngay. Xem Điều gì khởi động một cuộc điều tra.
2
Xem các cảnh báo trở thành một sự cố
Vào Resolve → Pulse. Các cảnh báo 5xx lặp lại và cảnh báo cơ sở dữ liệu nằm trong một cluster thay vì mỗi cảnh báo gửi một page riêng. Sau đó bước phân loại mở một sự cố cho cluster đó.Bạn sẽ thấy: cluster chuyển sang làn Routed, và một sự cố mới xuất hiện trên Resolve → Investigation trong AI is handling.
3
Theo dõi cuộc điều tra trực tiếp
Mở sự cố và nhấn Watch live. Cuộc hội thoại hiển thị từng kiểm tra mà CloudThinker chạy: các bản deploy gần đây, tỷ lệ lỗi, pod restart, kết nối cơ sở dữ liệu. Investigation timeline trên sự cố được điền dần trong quá trình đó.
4
Đọc kết luận
Khi sự cố chuyển sang Needs your decision, đọc Current assessment và nhãn bằng chứng đi kèm. Verified nghĩa là nguyên nhân đã được xác nhận dựa trên dữ liệu từ hệ thống của bạn. Inferred hoặc Cause unproven nghĩa là bạn cần kiểm tra timeline trước khi hành động.Bạn sẽ thấy: một hàng ghi Cause found, một sơ đồ nhân quả trong How it happened, và các bản sửa trong Remediation, mỗi bản sửa có một mức ưu tiên.
5
Đặt câu hỏi tiếp theo
Mở More actions → Open AI Conversation và kiểm chứng kết luận trước khi hành động:Bạn sẽ thấy: câu trả lời với số liệu từ các kết nối của bạn. Kiểm tra mới làm thay đổi nguyên nhân sẽ thêm mục Root cause revised vào timeline.
6
Phê duyệt rollback
Yêu cầu bản sửa trong cùng cuộc hội thoại:Mọi thay đổi do agent thực hiện đều đi qua Approvals của workspace trước. Ở chế độ mặc định Auto · Rules + AI · Ask me, AI judgment có thể cho một thay đổi an toàn chạy mà không cần hỏi. Allow Rule cũng vậy, sau khi CloudThinker bật Rule enforcement cho workspace của bạn. Chọn Manual nếu bạn muốn tự phê duyệt mọi thay đổi.Rollback cũng cần thông tin xác thực cho phép thao tác đó, và Allow writes được bật trong bảng chi tiết của kết nối. Nếu thẻ phê duyệt xuất hiện, hãy trả lời trong chat hoặc trong Google Chat. Từ Slack hoặc Microsoft Teams, hãy theo liên kết quay lại ứng dụng web để trả lời.
7
Chốt và đóng
Trong Remediation, mở menu More remediation actions của từng đề xuất và chọn Mark as Done hoặc Dismiss, kèm ghi chú về những gì bạn đã làm. Trả lời Was Resolve’s diagnosis right? bằng biểu tượng thích hoặc không thích. Sau đó nhấn huy hiệu trạng thái trong header sự cố, chọn Resolved, và nhấn Change Status.Bạn sẽ thấy: sự cố chuyển sang nhóm Resolved, và đánh giá của bạn được tính vào Resolve → Insights.
Điều gì giúp quy trình này hiệu quả
- Pulse nhóm nhiễu lại. Các cảnh báo lặp lại gia nhập một cluster, nên chỉ một sự cố được mở thay vì nhiều sự cố.
- Các kết nối đặt ra giới hạn. Resolve xác minh được nguyên nhân vì Resolve đọc được lịch sử deploy, cluster và số liệu cơ sở dữ liệu.
- Kết luận cho thấy bằng chứng. Nhãn và investigation timeline cho bạn biết nên tin kết luận đến mức nào trước khi hành động.
- Bản sửa đi qua Approvals. Rules và Approval mode của bạn quyết định rollback được chạy hay chờ một người.
- Phản hồi của bạn có giá trị. Đánh dấu chẩn đoán đúng hay sai sẽ cung cấp dữ liệu cho Insights.
Bước tiếp theo
Đọc một cuộc điều tra
Ý nghĩa của từng phần trong kết quả, và cách điều tra lại.
Kết nối một nguồn thực
Trỏ cảnh báo Datadog, Grafana, PagerDuty hoặc CloudWatch đến Resolve.
Thiết lập On-call
Đưa người phản hồi vào một Incident Room khi sự cố cần con người.
Approval Rules
Chỉ định thao tác ghi nào được tự chạy, thao tác nào hỏi trước, và thao tác nào không bao giờ chạy.