Luồng đi của một cảnh báo
Cảnh báo tới webhook không trở thành sự cố ngay. Cảnh báo đi qua Pulse trước.Pulse loại bỏ nhiễu và nhóm signal thành cluster; chỉ cluster có signal cần xử lý mới tới bước triage.
Trước khi bắt đầu
- Vai trò Admin của workspace.
- Quyền admin trên công cụ giám sát, để thêm webhook vào đó.
- Một payload cảnh báo thật mà bạn kích hoạt được khi cần, hoặc một mẫu JSON của payload đó.
Tạo webhook
1
Mở nền tảng
Vào Resolve → Triggers & Outcomes và chọn công cụ của bạn, ví dụ Datadog, Grafana hoặc PagerDuty.
2
Thêm signal
Trong Signals to Resolve, nhấn Add signal (hoặc Add another signal). Hộp thoại Create Webhook mở ra với ba bước.
3
Basic Info
Giữ nguyên hoặc đổi Webhook Name (mặc định là
<Tool> Webhook) và thêm Description nếu muốn. Nhấn Next.4
Configure
Kiểm tra Field Mapping và Severity Mapping. Cả hai đã được điền sẵn cho công cụ bạn chọn. Để Send directly to CloudThinker ở trạng thái tắt (lý do). Nhấn Next.
5
Advanced
Chọn Auth Method và đặt Auto-investigate (cả hai được giải thích bên dưới). Nhấn Create.
Ánh xạ các trường
Mỗi trường ánh xạ nhận một path trỏ vào JSON của cảnh báo. Chỉ Title Path là bắt buộc.- Dùng key phân cách bằng dấu chấm, như
event.data.title, và[n]cho một phần tử trong danh sách, nhưalerts[0].labels.severity. Tiền tố$.được chấp nhận và tự bỏ đi. - Path có tối đa 8 đoạn. Không truy cập được key có chứa dấu chấm, và không có path dự phòng.
- Path phải kết thúc tại một giá trị văn bản hoặc số duy nhất. Path kết thúc tại một danh sách hoặc object sẽ không ánh xạ ra giá trị nào.
Công cụ của bạn quyết định cấu trúc payload. Ví dụ trong Datadog, bạn tự viết JSON trong trường Payload của webhook, dùng các template variable của Datadog. Preset Datadog đọc
title, body và alert_type. Hãy thêm key service với một tên service, vì Service Path mặc định của preset (tags) trỏ tới một danh sách nên không ánh xạ ra giá trị nào:
Giá trị
service cố định sẽ áp dụng cho mọi monitor gửi thông báo tới webhook này. $ALERT_TYPE của Datadog gửi error, warning, info hoặc success, nhưng Severity Mapping của preset Datadog chỉ gồm alert, warn, ok và no data. Trong Severity Mapping, nhấn Customize, rồi nhấn Add Mapping cho từng hàng dưới đây (đổi mức độ cho phù hợp với nhóm của bạn). Bạn cũng có thể thêm sau qua menu Manage (⋯) của hàng webhook → Edit.
Event
success (phục hồi) không đóng bất cứ thứ gì. Event này đến như một signal thông thường, và cluster vẫn chỉ đóng sau 12 giờ không có signal mới hoặc khi có người resolve. Bộ phân loại của CloudThinker coi trạng thái phục hồi hoặc bình thường là không cần xử lý, nên cluster đó không tự đi tới triage. Đây là đánh giá của model, nên một event phục hồi vẫn có thể lọt qua. Người dùng luôn có thể đưa một cluster tới triage bằng Escalate.
Severity Mapping chuyển các giá trị riêng của công cụ sang năm mức độ của CloudThinker: critical, high, medium, low và info. Ví dụ, preset chung ánh xạ warning thành medium và error thành high. Việc khớp giá trị không phân biệt hoa thường và bỏ qua khoảng trắng hai đầu, nên ERROR và error khớp cùng một hàng.
Nếu công cụ của bạn không có trong danh sách, hãy dùng Custom source. Custom source bắt một payload thật và cho bạn nhấn vào các trường để ánh xạ.
Chọn phương thức xác thực
Hộp thoại đặt tên thông tin xác thực theo phương thức bạn chọn: Secret Key cho Bearer Token, HMAC Secret cho HMAC Signature, và API Secret cho API Key. Dù tên nào, đó vẫn là cùng một thông tin xác thực và chỉ hiển thị một lần.
Quyết định khi nào RCA bắt đầu
Auto-investigate bật theo mặc định: các cluster cần xử lý của webhook này đi tới triage, nơi mở sự cố và điều tra. Khi tắt, cảnh báo nằm lại trong Pulse cho đến khi có người nhấn Escalate và Send to triage. Với Only from a minimum severity, hãy chọn một ngưỡng: Info and above, Low and above, Medium and above, High and above hoặc Critical only. Cảnh báo dưới ngưỡng vẫn được nhóm với các cảnh báo liên quan, nhưng không tự bắt đầu triage. Điều gì khởi động một cuộc điều tra cho biết các tùy chọn này kết hợp thế nào với On duty và việc bắt đầu thủ công.Mỗi cuộc điều tra tự động được tính phí bằng credit. Hãy đặt mức độ nghiêm trọng tối thiểu, hoặc một Credit limit, trước khi kết nối một công cụ nhiều nhiễu.
Kiểm thử toàn bộ luồng
1
Kích hoạt một cảnh báo thật
Kích hoạt một cảnh báo tiêu biểu từ công cụ, hoặc gửi request từ tab cURL trong Integration Examples. Với Bearer Token, request thử trông như sau:Lần gửi thành công trả về
200 với body có "success": true và một request_id. Nếu bạn chưa thêm các hàng cho Datadog, error sẽ ánh xạ thành medium.2
Kiểm tra Pulse
Mở Resolve → Pulse và tìm signal có tiêu đề bạn đã ánh xạ.
3
Kiểm tra sự cố
Trên Resolve → Pulse, cluster đã đi tới triage sẽ chuyển sang lane Routed khi được liên kết với một sự cố. Sau đó mở Resolve → Investigation. Khi cả Auto-investigate lẫn On duty đều bật, sự cố hiển thị AI is handling. Nếu cluster không bao giờ tới Routed, bước phân loại có thể đã đánh giá cluster là không cần xử lý. Xem Khắc phục sự cố với cluster.
200 thì mới chứng minh được việc gửi thành công.
Hãy thử một cảnh báo cho mỗi hàng mức độ nghiêm trọng mà bạn dựa vào. Với ví dụ Datadog ở trên, gửi một error (ánh xạ thành high) và một warning (ánh xạ thành medium).
Giới hạn và phản hồi
Pulse coi một lần gửi là trùng lặp khi nguồn, tài nguyên, tiêu đề, mức độ nghiêm trọng và thời điểm event (chính xác tới phút; xem Timestamp Path để biết giá trị này lấy từ đâu) khớp với một signal trong một giờ qua. Lần gửi trùng lặp làm tăng bộ đếm của signal đó thay vì tạo signal mới. Cluster đóng sau 12 giờ không có signal mới, hoặc khi có người resolve. Xem Vòng đời của cluster.
Khắc phục sự cố
Công cụ báo lỗi 401 hoặc 403
Công cụ báo lỗi 401 hoặc 403
Nguyên nhân: header xác thực không khớp với Auth Method, hoặc (với lỗi
401) công cụ vẫn gửi tới một Webhook URL cũ. Kiểm tra: URL, tên header và secret trong công cụ so với Authentication Setup. Cách sửa: dán lại secret, hoặc dùng Regenerate credentials trong menu Manage của hàng webhook ở Resolve → Triggers & Outcomes.Gửi thành công nhưng không có gì xuất hiện trong Pulse
Gửi thành công nhưng không có gì xuất hiện trong Pulse
Nguyên nhân: Pulse đã lọc cảnh báo như nhiễu, tính cảnh báo là bản trùng của một signal trước đó, hoặc khoảng thời gian đang xem che mất cảnh báo. Kiểm tra: mở rộng khoảng thời gian trên Resolve → Pulse, rồi di chuột lên phễu ở trên cùng để xem bao nhiêu event đã bị lọc. Nếu bạn gửi cùng một cảnh báo hai lần trong vòng một phút, hãy tìm signal trước đó: bộ đếm của signal đó đã tăng lên (xem Giới hạn và phản hồi). Cách sửa: xem Lọc nhiễu để biết từng bước kiểm tra.
Signal đến với tiêu đề trống hoặc sai mức độ nghiêm trọng
Signal đến với tiêu đề trống hoặc sai mức độ nghiêm trọng
Nguyên nhân: một path không khớp với payload, hoặc giá trị mức độ nghiêm trọng của công cụ chưa có hàng ánh xạ. Cách sửa: đối chiếu các path với một payload thật, rồi thêm giá trị còn thiếu vào Severity Mapping.
Cảnh báo đã tới Pulse nhưng RCA không bắt đầu
Cảnh báo đã tới Pulse nhưng RCA không bắt đầu
Nguyên nhân: Auto-investigate đang tắt, mức độ nghiêm trọng thấp hơn ngưỡng, hoặc On duty hiển thị Paused. Cách sửa: kiểm tra cả ba theo Điều gì khởi động một cuộc điều tra, hoặc nhấn Escalate và Send to triage trên cluster. Nếu sự cố đã mở, nhấn Investigate trên sự cố đó.
Bước tiếp theo
Kết nối CloudWatch
Gửi alarm CloudWatch qua EventBridge.
Thêm custom source
Kết nối một hệ thống không có preset bằng cách nhấn vào các trường trong payload.
Tìm hiểu Pulse
Xem cách signal được lọc, nhóm và định tuyến.
Quản lý trigger
Kiểm tra mức sẵn sàng và bật các kết quả đầu ra cho từng nền tảng.