Cách hoạt động
Thay đổi trạng thái alarm tới Pulse qua một EventBridge rule và một API destination; các tài khoản khác có thể chuyển tiếp tới một bus trung tâm.
Điều kiện tiên quyết
- Vai trò Admin trong workspace. Developer và Viewer xem được Resolve → Triggers & Outcomes nhưng không thêm hay thay đổi được. Xem Vai trò.
- Một tài khoản AWS mà bạn có quyền tạo EventBridge connection, API destination và rule.
- Ít nhất một CloudWatch alarm trong region bạn đang thiết lập.
- AWS CLI, nếu bạn muốn kiểm thử bằng alarm mô phỏng (khuyến nghị). Người gọi lệnh cần quyền IAM
cloudwatch:SetAlarmState.
Tạo webhook trong CloudThinker
Mở nền tảng AWS
Basic Info
Production CloudWatch. Nhấn Next.Configure
INSUFFICIENT_DATA ngay lúc này (xem Ánh xạ trường và mức độ nghiêm trọng). Nhấn Next.Advanced
x-api-key, đúng như EventBridge gửi. Sau đó quyết định hai tùy chọn:Sao chép URL và secret
Nâng giới hạn tốc độ (production)
3600. Mức mặc định 1.000 thấp hơn lượng mà một API destination gửi 1 sự kiện mỗi giây có thể đạt tới khi có bão alarm, và các sự kiện vượt giới hạn bị loại bỏ mà không báo lỗi. Hộp thoại Create Webhook không có trường này.Thiết lập EventBridge trong AWS
Thực hiện các bước sau trong AWS console, ở cùng region với các alarm.Tạo connection
Tạo API destination
1. Hãy chắc chắn bạn đã nâng giới hạn tốc độ của webhook ở trên.Tạo rule
cloudthinker-resolve, và trong Execution role chọn Create a new role for this specific resource (role này được cấp events:InvokeApiDestination).Tùy chọn, khuyến nghị cho production: trong Additional settings của target, đặt retry policy và dead-letter queue, để alarm không chuyển được trong lúc gián đoạn vẫn được giữ lại thay vì mất. Điểm khởi đầu hợp lý là Maximum age of event 1 giờ và Retry attempts 10: alarm cũ hơn một giờ hiếm khi đáng để điều tra lại từ đầu. Gắn một SQS queue làm dead-letter queue. Nhấn Create rule.Kiểm thử tích hợp
Alarm thử nghiệm được xử lý như alarm thật. Khi Auto-investigate bật, alarm sẽ mở sự cố và CloudThinker bắt đầu điều tra. Để chỉ kiểm thử việc chuyển tiếp, trước tiên hãy tắt Auto-investigate trên webhook này (menu … → Edit), rồi bật lại sau khi xong. Đừng tạm dừng On duty cho việc này trong workspace đang hoạt động: thao tác đó dừng việc tự động phân loại và điều tra cho mọi nguồn, không chỉ nguồn này (xem Điều gì bắt đầu một cuộc điều tra).Kích hoạt một alarm
YourAlarmName bằng một alarm thật đang ở trạng thái OK, và us-east-1 bằng region của alarm. Sai region sẽ báo lỗi không tìm thấy alarm. CloudWatch chỉ gửi sự kiện khi trạng thái thực sự thay đổi, nên alarm đang ở ALARM sẽ không gửi gì. Nếu alarm của bạn đang như vậy, hãy đặt về OK trước, rồi sang ALARM.Kiểm tra Pulse
Đặt lại alarm
--state-value OK. Sau đó CloudWatch đánh giá alarm bình thường trở lại. CloudWatch cũng có thể tự đưa alarm về OK ở lần đánh giá tiếp theo, nên signal OK có thể đến trước khi bạn đặt lại.Sự kiện OK đến dưới dạng signal Info. Bộ phân loại của Pulse coi sự hồi phục là không cần xử lý, nên thường không mở sự cố thứ hai. Bước kiểm tra này là đánh giá của mô hình, nên một sự hồi phục vẫn có thể lọt sang bước phân loại sự cố. Sự kiện OK cũng không giải quyết sự cố mà ALARM đã mở. Sự cố đó vẫn mở cho đến khi có người đóng.AWS/EC2) làm service.
Ánh xạ trường và mức độ nghiêm trọng
Preset đọc các trường sau từ sự kiện EventBridge:INSUFFICIENT_DATA (chẳng hạn metric bị gián đoạn sau một lần deploy) có thể bắt đầu điều tra. Để ngăn điều đó, tìm dòng INSUFFICIENT_DATA trong Severity Mapping, mở danh sách Maps To và chọn Low hoặc Info. Hoặc bật Only from a minimum severity và chọn High and above.
Giới hạn nhiễu của Pulse (100 cảnh báo mỗi phút) luôn cho Critical và High đi qua, và có thể loại bỏ phần còn lại khi có bão cảnh báo. Hãy ánh xạ mọi trạng thái bạn không thể để mất sang High trở lên.
Muốn alarm ở mức critical? Hãy sửa webhook và đổi dòng ALARM trong Severity Mapping. Ánh xạ áp dụng cho mọi alarm mà webhook nhận. Để xử lý production và non-production khác nhau, hãy tạo hai webhook và hai EventBridge rule, mỗi rule lọc theo tiền tố tên alarm (xem Chỉ gửi những alarm bạn quan tâm). Trạng thái không có dòng ánh xạ sẽ dùng mặc định Medium.
Composite alarm và metric-math alarm không có khối metricStat, nên Service nhận giá trị unknown. Nếu bạn dựa vào các alarm này, hãy trỏ Service Path tới một trường chúng có, như detail.alarmName, và đặt tên alarm theo service. Các lần lặp của cùng một alarm được gom theo ARN của alarm, bất kể Service là gì. Service vẫn có tác dụng: các alarm có cùng giá trị Service trong vòng 6 giờ có thể vào chung một cluster, nên hai alarm AWS/EC2 khác nhau cùng kích hoạt có thể nằm trong một cluster. Xem Cách signal được gắn vào cluster.
Chỉ gửi những alarm bạn quan tâm
Hãy thu hẹp event pattern của EventBridge rule thay vì lọc trong CloudThinker. Thêm một khốidetail vào pattern gốc:
Nhiều region hoặc tài khoản
CloudWatch chỉ gửi sự kiện alarm tới EventBridge trong chính region và tài khoản của alarm. Hãy chọn một trong các bố cục sau:Triển khai bằng CloudFormation
Template này dựng connection, API destination, rule và dead-letter queue, đồng thời xuất URL của queue để bạn theo dõi. Với bố cục theo từng region, hãy triển khai template ở mọi tài khoản và region (ví dụ bằng StackSets); với bus trung tâm, triển khai một lần trong tài khoản giám sát, đặtEventBusName là tên bus đó.
Triển khai một stack cho mỗi webhook ở mỗi tài khoản và region. Để gửi alarm prod và non-prod tới hai webhook từ cùng một region, hãy triển khai hai lần với giá trị NamePrefix khác nhau, và thu hẹp pattern của từng rule (xem Chỉ gửi những alarm bạn quan tâm).
read -rs không hiển thị secret và không ghi vào lịch sử shell):
Chuyển tiếp alarm tới bus trung tâm
Với bố cục trung tâm, hãy triển khai template trên trong tài khoản giám sát vớiEventBusName là tên bus của bạn. Sau đó thêm hai phần.
Trong tài khoản giám sát, gán cho bus trung tâm một resource policy cho phép tổ chức của bạn gửi sự kiện. Thay tên bus, region, account ID và organization ID:
source và detail-type, nên rule trên bus trung tâm khớp được mà không cần thay đổi. Để biết thêm tùy chọn, xem hướng dẫn của AWS về chuyển tiếp giữa các tài khoản và giữa các region.
x-api-key, nên webhook phải đặt Auth Method là No Authentication, và URL trở thành thông tin xác thực duy nhất. Nếu vẫn dùng, hãy đăng ký Webhook URL vào topic với giao thức HTTPS. CloudThinker sẽ tự xác nhận đăng ký cho bạn.Khắc phục sự cố
Không có signal nào xuất hiện trong Pulse
Không có signal nào xuất hiện trong Pulse
- Kiểm tra rule: trong EventBridge, mở tab Monitoring của rule. Nếu
Invocationsvẫn là 0, pattern không khớp (xem mục tiếp theo). - Kiểm tra destination: endpoint của API destination phải đúng chính xác Webhook URL từ CloudThinker. Sau khi Regenerate credentials, URL cũng thay đổi.
- Kiểm tra các lần chuyển thất bại: trên tab Monitoring của rule, xem
FailedInvocations, rồi kiểm tra SQS dead-letter queue. Các message trong đó chứa lỗi HTTP trả về. - Kiểm tra Pulse: trên Resolve → Pulse, chọn làn All và kiểm tra bộ chọn khoảng thời gian ở đầu trang (mặc định Last 7 days). Pulse cũng có thể loại cảnh báo vì coi là nhiễu, xem lọc nhiễu.
Rule không bao giờ khớp
Rule không bao giờ khớp
detail-type phân biệt chữ hoa chữ thường: CloudWatch Alarm State Change.EventBridge báo 401 hoặc 403
EventBridge báo 401 hoặc 403
401 nghĩa là thiếu header x-api-key, hoặc endpoint không phải Webhook URL hiện hành. 403 nghĩa là giá trị key sai. Tên API key của connection phải là x-api-key và giá trị phải là API Secret. Nếu bạn làm mất secret, mở Resolve → Triggers & Outcomes → Amazon Web Services, mở menu … của webhook trong Signals to Resolve và chọn Regenerate credentials. Sau đó cập nhật cả Value của connection lẫn endpoint của API destination, vì URL cũng thay đổi.Signal đến nhưng tiêu đề hoặc mức độ nghiêm trọng trống
Signal đến nhưng tiêu đề hoặc mức độ nghiêm trọng trống
detail., vì EventBridge đặt alarm ở đó. CloudThinker chuyển message alarm của SNS về cùng dạng, nên các đường dẫn như AlarmName hoặc NewStateValue không bao giờ khớp, kể cả với SNS. Service trống trên composite alarm hoặc metric-math alarm là điều bình thường, xem Ánh xạ trường và mức độ nghiêm trọng.Alarm bị mất khi có bão cảnh báo, hoặc EventBridge báo 429
Alarm bị mất khi có bão cảnh báo, hoặc EventBridge báo 429
0 nghĩa là không giới hạn. Sự kiện vượt giới hạn vẫn nhận phản hồi thành công, rồi bị loại bỏ trước khi đến Pulse, bất kể mức độ nghiêm trọng, nên EventBridge không hiển thị lỗi nào. Đây là giới hạn khác với giới hạn nhiễu 100 cảnh báo mỗi phút của Pulse, vốn luôn cho Critical và High đi qua.429 chỉ trả về khi vượt 10 lần giới hạn theo giờ: với mức mặc định 1.000, tức sau 10.000 request trong cùng một giờ. 429 cũng trả về sau 10 lần xác thực thất bại trong 15 phút, hoặc khi CloudThinker bận trong thời gian ngắn (kèm header Retry-After). EventBridge thử lại 429 theo retry policy của rule.Kiểm tra: việc loại bỏ không để lại lỗi, nên hãy so sánh số lượng. Ngay sau một đợt dồn dập, đặt khoảng thời gian của Resolve → Pulse là Last 1 hour và đọc số raw events ở đầu trang. So sánh với metric Invocations của rule (tab Monitoring) trong cùng giờ đó. Raw events đếm mọi nguồn trong workspace, nên nếu con số thấp hơn lượng EventBridge đã gửi thì có sự kiện bị loại bỏ.Cách sửa: mở menu … của webhook, chọn Edit và nâng Rate limit (requests per hour). Hoặc thu hẹp event pattern của rule. Nếu trước đó có lỗi 401 hoặc 403, hãy sửa secret.Alarm đã đến Pulse nhưng RCA không bắt đầu
Alarm đã đến Pulse nhưng RCA không bắt đầu