Chuyển đến nội dung chính
Webhook là một URL mà công cụ giám sát gọi mỗi khi có cảnh báo, nhờ đó Resolve thấy cảnh báo chỉ sau vài giây. Bạn tạo một webhook cho mỗi công cụ, ánh xạ các trường JSON của công cụ thành tiêu đề, mức độ nghiêm trọng và service, rồi quyết định CloudThinker có tự bắt đầu phân tích nguyên nhân gốc (RCA) hay không.

Luồng đi của một cảnh báo

Cảnh báo tới webhook không trở thành sự cố ngay. Cảnh báo đi qua Pulse trước.
Sự kiện thô đi qua bước lọc nhiễu, được gộp vào một cluster và được phân loại; cluster có signal cần xử lý được chuyển tới bước triage của Resolve và trở thành sự cố.Sự kiện thô đi qua bước lọc nhiễu, được gộp vào một cluster và được phân loại; cluster có signal cần xử lý được chuyển tới bước triage của Resolve và trở thành sự cố.

Pulse loại bỏ nhiễu và nhóm signal thành cluster; chỉ cluster có signal cần xử lý mới tới bước triage.

Signal là một event còn lại sau bước lọc nhiễu. Cluster là một nhóm signal liên quan mà Pulse coi là một vấn đề. Chỉ cluster chứa signal cần xử lý mới được đưa tới triage, bước quyết định cluster đó có trở thành sự cố hay không. Webhook là một trong ba cách đưa cảnh báo vào Resolve. Nếu nguồn của bạn được lấy theo kiểu polling hoặc đến qua một kênh chat, xem Kết nối nguồn cảnh báo.

Trước khi bắt đầu

  • Vai trò Admin của workspace.
  • Quyền admin trên công cụ giám sát, để thêm webhook vào đó.
  • Một payload cảnh báo thật mà bạn kích hoạt được khi cần, hoặc một mẫu JSON của payload đó.

Tạo webhook

1

Mở nền tảng

Vào Resolve → Triggers & Outcomes và chọn công cụ của bạn, ví dụ Datadog, Grafana hoặc PagerDuty.
2

Thêm signal

Trong Signals to Resolve, nhấn Add signal (hoặc Add another signal). Hộp thoại Create Webhook mở ra với ba bước.
3

Basic Info

Giữ nguyên hoặc đổi Webhook Name (mặc định là <Tool> Webhook) và thêm Description nếu muốn. Nhấn Next.
4

Configure

Kiểm tra Field Mapping và Severity Mapping. Cả hai đã được điền sẵn cho công cụ bạn chọn. Để Send directly to CloudThinker ở trạng thái tắt (lý do). Nhấn Next.
5

Advanced

Chọn Auth Method và đặt Auto-investigate (cả hai được giải thích bên dưới). Nhấn Create.
Trạng thái thành công: một hộp thoại hiển thị Webhook URL, Secret Key trong Authentication Setup, và Integration Examples với các tab cURL, JavaScript, Python và Node.js. Hãy sao chép URL và Secret Key ngay: key chỉ hiển thị một lần. Cùng hộp thoại đó có Setup Guide cho công cụ của bạn: làm theo hướng dẫn để dán URL và key vào công cụ. Tab cURL là cách nhanh nhất để gửi thử.
Sao chép Secret Key trước khi nhấn Done. Nếu làm mất, vào Resolve → Triggers & Outcomes, mở công cụ, rồi trong Signals to Resolve mở menu Manage (⋯) của hàng webhook → Regenerate credentials. Thao tác này thay cả Webhook URL lẫn Secret Key, và cặp cũ ngừng hoạt động ngay lập tức. Mọi công cụ đang dùng webhook đều cần URL và key mới.

Ánh xạ các trường

Mỗi trường ánh xạ nhận một path trỏ vào JSON của cảnh báo. Chỉ Title Path là bắt buộc.
  • Dùng key phân cách bằng dấu chấm, như event.data.title, và [n] cho một phần tử trong danh sách, như alerts[0].labels.severity. Tiền tố $. được chấp nhận và tự bỏ đi.
  • Path có tối đa 8 đoạn. Không truy cập được key có chứa dấu chấm, và không có path dự phòng.
  • Path phải kết thúc tại một giá trị văn bản hoặc số duy nhất. Path kết thúc tại một danh sách hoặc object sẽ không ánh xạ ra giá trị nào.
Công cụ của bạn quyết định cấu trúc payload. Ví dụ trong Datadog, bạn tự viết JSON trong trường Payload của webhook, dùng các template variable của Datadog. Preset Datadog đọc title, body và alert_type. Hãy thêm key service với một tên service, vì Service Path mặc định của preset (tags) trỏ tới một danh sách nên không ánh xạ ra giá trị nào:
Giá trị service cố định sẽ áp dụng cho mọi monitor gửi thông báo tới webhook này. $ALERT_TYPE của Datadog gửi error, warning, info hoặc success, nhưng Severity Mapping của preset Datadog chỉ gồm alert, warn, ok và no data. Trong Severity Mapping, nhấn Customize, rồi nhấn Add Mapping cho từng hàng dưới đây (đổi mức độ cho phù hợp với nhóm của bạn). Bạn cũng có thể thêm sau qua menu Manage (⋯) của hàng webhook → Edit. Event success (phục hồi) không đóng bất cứ thứ gì. Event này đến như một signal thông thường, và cluster vẫn chỉ đóng sau 12 giờ không có signal mới hoặc khi có người resolve. Bộ phân loại của CloudThinker coi trạng thái phục hồi hoặc bình thường là không cần xử lý, nên cluster đó không tự đi tới triage. Đây là đánh giá của model, nên một event phục hồi vẫn có thể lọt qua. Người dùng luôn có thể đưa một cluster tới triage bằng Escalate. Severity Mapping chuyển các giá trị riêng của công cụ sang năm mức độ của CloudThinker: critical, high, medium, low và info. Ví dụ, preset chung ánh xạ warning thành medium và error thành high. Việc khớp giá trị không phân biệt hoa thường và bỏ qua khoảng trắng hai đầu, nên ERROR và error khớp cùng một hàng. Nếu công cụ của bạn không có trong danh sách, hãy dùng Custom source. Custom source bắt một payload thật và cho bạn nhấn vào các trường để ánh xạ.

Chọn phương thức xác thực

Hộp thoại đặt tên thông tin xác thực theo phương thức bạn chọn: Secret Key cho Bearer Token, HMAC Secret cho HMAC Signature, và API Secret cho API Key. Dù tên nào, đó vẫn là cùng một thông tin xác thực và chỉ hiển thị một lần.

Quyết định khi nào RCA bắt đầu

Auto-investigate bật theo mặc định: các cluster cần xử lý của webhook này đi tới triage, nơi mở sự cố và điều tra. Khi tắt, cảnh báo nằm lại trong Pulse cho đến khi có người nhấn Escalate và Send to triage. Với Only from a minimum severity, hãy chọn một ngưỡng: Info and above, Low and above, Medium and above, High and above hoặc Critical only. Cảnh báo dưới ngưỡng vẫn được nhóm với các cảnh báo liên quan, nhưng không tự bắt đầu triage. Điều gì khởi động một cuộc điều tra cho biết các tùy chọn này kết hợp thế nào với On duty và việc bắt đầu thủ công.
Mỗi cuộc điều tra tự động được tính phí bằng credit. Hãy đặt mức độ nghiêm trọng tối thiểu, hoặc một Credit limit, trước khi kết nối một công cụ nhiều nhiễu.
Send directly to CloudThinker (ở bước Configure, tắt theo mặc định) bỏ qua bước lọc và nhóm của Pulse. Khi đó CloudThinker đánh giá riêng từng event. Hãy để tắt, trừ khi công cụ đã tự loại bỏ cảnh báo trùng lặp.

Kiểm thử toàn bộ luồng

1

Kích hoạt một cảnh báo thật

Kích hoạt một cảnh báo tiêu biểu từ công cụ, hoặc gửi request từ tab cURL trong Integration Examples. Với Bearer Token, request thử trông như sau:
Lần gửi thành công trả về 200 với body có "success": true và một request_id. Nếu bạn chưa thêm các hàng cho Datadog, error sẽ ánh xạ thành medium.
2

Kiểm tra Pulse

Mở Resolve → Pulse và tìm signal có tiêu đề bạn đã ánh xạ.
3

Kiểm tra sự cố

Trên Resolve → Pulse, cluster đã đi tới triage sẽ chuyển sang lane Routed khi được liên kết với một sự cố. Sau đó mở Resolve → Investigation. Khi cả Auto-investigate lẫn On duty đều bật, sự cố hiển thị AI is handling. Nếu cluster không bao giờ tới Routed, bước phân loại có thể đã đánh giá cluster là không cần xử lý. Xem Khắc phục sự cố với cluster.
Trạng thái thành công: signal xuất hiện trong Pulse với đúng tiêu đề, mức độ nghiêm trọng và service, và sự cố đủ điều kiện hiển thị AI is handling. Chỉ riêng mã 200 thì mới chứng minh được việc gửi thành công. Hãy thử một cảnh báo cho mỗi hàng mức độ nghiêm trọng mà bạn dựa vào. Với ví dụ Datadog ở trên, gửi một error (ánh xạ thành high) và một warning (ánh xạ thành medium).

Giới hạn và phản hồi

Theo mặc định, mỗi webhook nhận tối đa 1.000 lần gửi mỗi giờ. Các lần gửi vượt mức vẫn nhận 200 với "success": true, vì giới hạn được kiểm tra sau khi phản hồi, nhưng chúng bị loại bỏ mà không báo. Các lần gửi đó không bao giờ trở thành signal và không được tính vào Signals ingested trong Pulse analytics. Resolve không hiển thị số lần bị loại, nên dấu hiệu duy nhất là cảnh báo bị thiếu trong Resolve → Pulse khi có đợt tăng đột biến.Để tránh tình trạng này:
  • Nâng giới hạn: mở menu Manage (⋯) của hàng webhook → Edit và đổi Rate limit (requests per hour). Giới hạn tối đa là 10.000, và 0 nghĩa là không giới hạn.
  • Chia các monitor có lưu lượng lớn ra nhiều webhook.
  • Loại bỏ trùng lặp hoặc nhóm cảnh báo ngay trong công cụ trước khi gửi.
Pulse coi một lần gửi là trùng lặp khi nguồn, tài nguyên, tiêu đề, mức độ nghiêm trọng và thời điểm event (chính xác tới phút; xem Timestamp Path để biết giá trị này lấy từ đâu) khớp với một signal trong một giờ qua. Lần gửi trùng lặp làm tăng bộ đếm của signal đó thay vì tạo signal mới. Cluster đóng sau 12 giờ không có signal mới, hoặc khi có người resolve. Xem Vòng đời của cluster.

Khắc phục sự cố

Nguyên nhân: header xác thực không khớp với Auth Method, hoặc (với lỗi 401) công cụ vẫn gửi tới một Webhook URL cũ. Kiểm tra: URL, tên header và secret trong công cụ so với Authentication Setup. Cách sửa: dán lại secret, hoặc dùng Regenerate credentials trong menu Manage của hàng webhook ở Resolve → Triggers & Outcomes.
Nguyên nhân: Pulse đã lọc cảnh báo như nhiễu, tính cảnh báo là bản trùng của một signal trước đó, hoặc khoảng thời gian đang xem che mất cảnh báo. Kiểm tra: mở rộng khoảng thời gian trên Resolve → Pulse, rồi di chuột lên phễu ở trên cùng để xem bao nhiêu event đã bị lọc. Nếu bạn gửi cùng một cảnh báo hai lần trong vòng một phút, hãy tìm signal trước đó: bộ đếm của signal đó đã tăng lên (xem Giới hạn và phản hồi). Cách sửa: xem Lọc nhiễu để biết từng bước kiểm tra.
Nguyên nhân: một path không khớp với payload, hoặc giá trị mức độ nghiêm trọng của công cụ chưa có hàng ánh xạ. Cách sửa: đối chiếu các path với một payload thật, rồi thêm giá trị còn thiếu vào Severity Mapping.
Nguyên nhân: Auto-investigate đang tắt, mức độ nghiêm trọng thấp hơn ngưỡng, hoặc On duty hiển thị Paused. Cách sửa: kiểm tra cả ba theo Điều gì khởi động một cuộc điều tra, hoặc nhấn Escalate và Send to triage trên cluster. Nếu sự cố đã mở, nhấn Investigate trên sự cố đó.

Bước tiếp theo

Kết nối CloudWatch

Gửi alarm CloudWatch qua EventBridge.

Thêm custom source

Kết nối một hệ thống không có preset bằng cách nhấn vào các trường trong payload.

Tìm hiểu Pulse

Xem cách signal được lọc, nhóm và định tuyến.

Quản lý trigger

Kiểm tra mức sẵn sàng và bật các kết quả đầu ra cho từng nền tảng.