Chuyển đến nội dung chính
Hướng dẫn này gửi mọi thay đổi trạng thái của CloudWatch alarm tới Resolve, để CloudThinker thấy alarm trong vài giây, có thể mở sự cố và bắt đầu phân tích nguyên nhân gốc (RCA). Amazon EventBridge đảm nhận việc chuyển tiếp: không cần Lambda function, không có mã nào phải bảo trì.

Cách hoạt động

Thay đổi trạng thái của CloudWatch alarm đi qua EventBridge rule và API destination tới CloudThinker webhook URL rồi vào Pulse; alarm từ các tài khoản hoặc region khác được chuyển tiếp tới một bus trung tâm.Thay đổi trạng thái của CloudWatch alarm đi qua EventBridge rule và API destination tới CloudThinker webhook URL rồi vào Pulse; alarm từ các tài khoản hoặc region khác được chuyển tiếp tới một bus trung tâm.

Thay đổi trạng thái alarm tới Pulse qua một EventBridge rule và một API destination; các tài khoản khác có thể chuyển tiếp tới một bus trung tâm.

Khi alarm đổi trạng thái, EventBridge chuyển tiếp sự kiện tới webhook URL CloudThinker của bạn. Resolve biến sự kiện thành một signal (sự kiện đã vượt qua bước lọc nhiễu) trong Pulse. Pulse gom các signal liên quan thành một cluster, tức một vấn đề, và bước phân loại quyết định cluster cần xử lý có trở thành sự cố hay không.

Điều kiện tiên quyết

  • Vai trò Admin trong workspace. Developer và Viewer xem được Resolve → Triggers & Outcomes nhưng không thêm hay thay đổi được. Xem Vai trò.
  • Một tài khoản AWS mà bạn có quyền tạo EventBridge connection, API destination và rule.
  • Ít nhất một CloudWatch alarm trong region bạn đang thiết lập.
  • AWS CLI, nếu bạn muốn kiểm thử bằng alarm mô phỏng (khuyến nghị). Người gọi lệnh cần quyền IAM cloudwatch:SetAlarmState.

Tạo webhook trong CloudThinker

1

Mở nền tảng AWS

Vào Resolve → Triggers & Outcomes và chọn Amazon Web Services. Trong Signals to Resolve, nhấn Add signal. Hộp thoại Create Webhook mở ra với preset AWS CloudWatch.Bạn không cần kết nối AWS trước. Khi chưa có kết nối, nền tảng hiển thị Not configured hoặc Needs setup (không bao giờ là Needs connection), và Add signal vẫn hoạt động. Bạn chỉ cần kết nối AWS nếu muốn CloudThinker truy vấn các tài nguyên bị ảnh hưởng trong lúc RCA.
2

Basic Info

Giữ Webhook Name mặc định hoặc đổi tên, ví dụ Production CloudWatch. Nhấn Next.
3

Configure

Field Mapping và Severity Mapping đã được điền sẵn cho sự kiện EventBridge (xem các bảng bên dưới). Hãy giữ nguyên khi thiết lập lần đầu. Với tài khoản production, hãy cân nhắc hạ mức INSUFFICIENT_DATA ngay lúc này (xem Ánh xạ trường và mức độ nghiêm trọng). Nhấn Next.
4

Advanced

Giữ nguyên Auth Method: API Key với header x-api-key, đúng như EventBridge gửi. Sau đó quyết định hai tùy chọn:Khi cả hai để mặc định, mọi alarm trở thành sự cố đều bắt đầu một cuộc điều tra. Xem Các tùy chọn webhook. Nhấn Create.
5

Sao chép URL và secret

Sao chép Webhook URL và API Secret từ hộp thoại vừa mở. URL dùng cho EventBridge API destination, còn API Secret dùng cho Value của API key trong connection.
6

Nâng giới hạn tốc độ (production)

Mở menu … của webhook trong Signals to Resolve, chọn Edit, và đặt Rate limit (requests per hour) tối thiểu là 3600. Mức mặc định 1.000 thấp hơn lượng mà một API destination gửi 1 sự kiện mỗi giây có thể đạt tới khi có bão alarm, và các sự kiện vượt giới hạn bị loại bỏ mà không báo lỗi. Hộp thoại Create Webhook không có trường này.
Trạng thái thành công: webhook xuất hiện trong Signals to Resolve trên nền tảng Amazon Web Services, và huy hiệu sẵn sàng của nền tảng hiển thị Ready. Ready nghĩa là webhook đã được thiết lập và đang hoạt động. Trạng thái này không chứng minh đã có alarm đến, nên hãy chạy bước kiểm thử bên dưới.
API Secret chỉ hiển thị một lần. Nếu bạn đóng hộp thoại mà chưa sao chép, hãy mở menu … của webhook trong Signals to Resolve và chọn Regenerate credentials. Thao tác này thay cả secret lẫn Webhook URL, và cặp cũ ngừng hoạt động ngay lập tức. Hãy cập nhật Value của EventBridge connection và endpoint của API destination ngay sau đó.

Thiết lập EventBridge trong AWS

Thực hiện các bước sau trong AWS console, ở cùng region với các alarm.
1

Tạo connection

Mở Amazon EventBridge → Integration → Connections và nhấn Create connection. Đặt:
2

Tạo API destination

Mở Integration → API destinations và nhấn Create API destination. Đặt:Đặt Invocation rate limit per second là 1. Hãy chắc chắn bạn đã nâng giới hạn tốc độ của webhook ở trên.
3

Tạo rule

Mở Rules, chọn event bus default, và nhấn Create rule. Chọn Rule with an event pattern và dán pattern sau:
Ở phần target, chọn EventBridge API destination, chọn cloudthinker-resolve, và trong Execution role chọn Create a new role for this specific resource (role này được cấp events:InvokeApiDestination).Tùy chọn, khuyến nghị cho production: trong Additional settings của target, đặt retry policy và dead-letter queue, để alarm không chuyển được trong lúc gián đoạn vẫn được giữ lại thay vì mất. Điểm khởi đầu hợp lý là Maximum age of event 1 giờ và Retry attempts 10: alarm cũ hơn một giờ hiếm khi đáng để điều tra lại từ đầu. Gắn một SQS queue làm dead-letter queue. Nhấn Create rule.
Trạng thái thành công: rule hiển thị Enabled với API destination của bạn là target.

Kiểm thử tích hợp

Alarm thử nghiệm được xử lý như alarm thật. Khi Auto-investigate bật, alarm sẽ mở sự cố và CloudThinker bắt đầu điều tra. Để chỉ kiểm thử việc chuyển tiếp, trước tiên hãy tắt Auto-investigate trên webhook này (menu … → Edit), rồi bật lại sau khi xong. Đừng tạm dừng On duty cho việc này trong workspace đang hoạt động: thao tác đó dừng việc tự động phân loại và điều tra cho mọi nguồn, không chỉ nguồn này (xem Điều gì bắt đầu một cuộc điều tra).
1

Kích hoạt một alarm

Thay YourAlarmName bằng một alarm thật đang ở trạng thái OK, và us-east-1 bằng region của alarm. Sai region sẽ báo lỗi không tìm thấy alarm. CloudWatch chỉ gửi sự kiện khi trạng thái thực sự thay đổi, nên alarm đang ở ALARM sẽ không gửi gì. Nếu alarm của bạn đang như vậy, hãy đặt về OK trước, rồi sang ALARM.
2

Kiểm tra Pulse

Mở Resolve → Pulse. Trong vài giây, một signal xuất hiện với tiêu đề là tên alarm và mức độ nghiêm trọng High.
3

Đặt lại alarm

Chạy lại lệnh trên với --state-value OK. Sau đó CloudWatch đánh giá alarm bình thường trở lại. CloudWatch cũng có thể tự đưa alarm về OK ở lần đánh giá tiếp theo, nên signal OK có thể đến trước khi bạn đặt lại.Sự kiện OK đến dưới dạng signal Info. Bộ phân loại của Pulse coi sự hồi phục là không cần xử lý, nên thường không mở sự cố thứ hai. Bước kiểm tra này là đánh giá của mô hình, nên một sự hồi phục vẫn có thể lọt sang bước phân loại sự cố. Sự kiện OK cũng không giải quyết sự cố mà ALARM đã mở. Sự cố đó vẫn mở cho đến khi có người đóng.
Trạng thái thành công: signal hiển thị tên alarm làm tiêu đề, lý do trạng thái làm mô tả, và namespace của metric (ví dụ AWS/EC2) làm service.

Ánh xạ trường và mức độ nghiêm trọng

Preset đọc các trường sau từ sự kiện EventBridge: Với cấu hình mặc định, một lần dao động sang INSUFFICIENT_DATA (chẳng hạn metric bị gián đoạn sau một lần deploy) có thể bắt đầu điều tra. Để ngăn điều đó, tìm dòng INSUFFICIENT_DATA trong Severity Mapping, mở danh sách Maps To và chọn Low hoặc Info. Hoặc bật Only from a minimum severity và chọn High and above. Giới hạn nhiễu của Pulse (100 cảnh báo mỗi phút) luôn cho Critical và High đi qua, và có thể loại bỏ phần còn lại khi có bão cảnh báo. Hãy ánh xạ mọi trạng thái bạn không thể để mất sang High trở lên. Muốn alarm ở mức critical? Hãy sửa webhook và đổi dòng ALARM trong Severity Mapping. Ánh xạ áp dụng cho mọi alarm mà webhook nhận. Để xử lý production và non-production khác nhau, hãy tạo hai webhook và hai EventBridge rule, mỗi rule lọc theo tiền tố tên alarm (xem Chỉ gửi những alarm bạn quan tâm). Trạng thái không có dòng ánh xạ sẽ dùng mặc định Medium. Composite alarm và metric-math alarm không có khối metricStat, nên Service nhận giá trị unknown. Nếu bạn dựa vào các alarm này, hãy trỏ Service Path tới một trường chúng có, như detail.alarmName, và đặt tên alarm theo service. Các lần lặp của cùng một alarm được gom theo ARN của alarm, bất kể Service là gì. Service vẫn có tác dụng: các alarm có cùng giá trị Service trong vòng 6 giờ có thể vào chung một cluster, nên hai alarm AWS/EC2 khác nhau cùng kích hoạt có thể nằm trong một cluster. Xem Cách signal được gắn vào cluster.

Chỉ gửi những alarm bạn quan tâm

Hãy thu hẹp event pattern của EventBridge rule thay vì lọc trong CloudThinker. Thêm một khối detail vào pattern gốc:

Nhiều region hoặc tài khoản

CloudWatch chỉ gửi sự kiện alarm tới EventBridge trong chính region và tài khoản của alarm. Hãy chọn một trong các bố cục sau:

Triển khai bằng CloudFormation

Template này dựng connection, API destination, rule và dead-letter queue, đồng thời xuất URL của queue để bạn theo dõi. Với bố cục theo từng region, hãy triển khai template ở mọi tài khoản và region (ví dụ bằng StackSets); với bus trung tâm, triển khai một lần trong tài khoản giám sát, đặt EventBusName là tên bus đó. Triển khai một stack cho mỗi webhook ở mỗi tài khoản và region. Để gửi alarm prod và non-prod tới hai webhook từ cùng một region, hãy triển khai hai lần với giá trị NamePrefix khác nhau, và thu hẹp pattern của từng rule (xem Chỉ gửi những alarm bạn quan tâm).
Triển khai bằng AWS CLI. Trước tiên, hãy đọc secret vào một biến môi trường (read -rs không hiển thị secret và không ghi vào lịch sử shell):
Connection lưu API key trong một secret của AWS Secrets Manager do EventBridge tạo và quản lý cho bạn, nên secret không nằm trong template hay rule. Các alarm vẫn thất bại sau khi hết lượt thử lại sẽ vào SQS dead-letter queue và được giữ trong 14 ngày.

Chuyển tiếp alarm tới bus trung tâm

Với bố cục trung tâm, hãy triển khai template trên trong tài khoản giám sát với EventBusName là tên bus của bạn. Sau đó thêm hai phần. Trong tài khoản giám sát, gán cho bus trung tâm một resource policy cho phép tổ chức của bạn gửi sự kiện. Thay tên bus, region, account ID và organization ID:
Ở mỗi tài khoản và region nguồn, triển khai một rule chuyển tiếp trên bus default:
Sự kiện được chuyển tiếp giữ nguyên source và detail-type, nên rule trên bus trung tâm khớp được mà không cần thay đổi. Để biết thêm tùy chọn, xem hướng dẫn của AWS về chuyển tiếp giữa các tài khoản và giữa các region.
Amazon SNS dùng được nhưng không được khuyến nghị. SNS không gửi được header x-api-key, nên webhook phải đặt Auth Method là No Authentication, và URL trở thành thông tin xác thực duy nhất. Nếu vẫn dùng, hãy đăng ký Webhook URL vào topic với giao thức HTTPS. CloudThinker sẽ tự xác nhận đăng ký cho bạn.

Khắc phục sự cố

  • Kiểm tra rule: trong EventBridge, mở tab Monitoring của rule. Nếu Invocations vẫn là 0, pattern không khớp (xem mục tiếp theo).
  • Kiểm tra destination: endpoint của API destination phải đúng chính xác Webhook URL từ CloudThinker. Sau khi Regenerate credentials, URL cũng thay đổi.
  • Kiểm tra các lần chuyển thất bại: trên tab Monitoring của rule, xem FailedInvocations, rồi kiểm tra SQS dead-letter queue. Các message trong đó chứa lỗi HTTP trả về.
  • Kiểm tra Pulse: trên Resolve → Pulse, chọn làn All và kiểm tra bộ chọn khoảng thời gian ở đầu trang (mặc định Last 7 days). Pulse cũng có thể loại cảnh báo vì coi là nhiễu, xem lọc nhiễu.
Rule phải nằm trên bus nhận sự kiện alarm: bus default trong region của alarm, hoặc bus trung tâm của bạn. Giá trị detail-type phân biệt chữ hoa chữ thường: CloudWatch Alarm State Change.
401 nghĩa là thiếu header x-api-key, hoặc endpoint không phải Webhook URL hiện hành. 403 nghĩa là giá trị key sai. Tên API key của connection phải là x-api-key và giá trị phải là API Secret. Nếu bạn làm mất secret, mở Resolve → Triggers & Outcomes → Amazon Web Services, mở menu … của webhook trong Signals to Resolve và chọn Regenerate credentials. Sau đó cập nhật cả Value của connection lẫn endpoint của API destination, vì URL cũng thay đổi.
Các đường dẫn trường phải bắt đầu bằng detail., vì EventBridge đặt alarm ở đó. CloudThinker chuyển message alarm của SNS về cùng dạng, nên các đường dẫn như AlarmName hoặc NewStateValue không bao giờ khớp, kể cả với SNS. Service trống trên composite alarm hoặc metric-math alarm là điều bình thường, xem Ánh xạ trường và mức độ nghiêm trọng.
Webhook có giới hạn theo giờ Rate limit (requests per hour). Mặc định là 1.000, tối đa 10.000, và 0 nghĩa là không giới hạn. Sự kiện vượt giới hạn vẫn nhận phản hồi thành công, rồi bị loại bỏ trước khi đến Pulse, bất kể mức độ nghiêm trọng, nên EventBridge không hiển thị lỗi nào. Đây là giới hạn khác với giới hạn nhiễu 100 cảnh báo mỗi phút của Pulse, vốn luôn cho Critical và High đi qua.429 chỉ trả về khi vượt 10 lần giới hạn theo giờ: với mức mặc định 1.000, tức sau 10.000 request trong cùng một giờ. 429 cũng trả về sau 10 lần xác thực thất bại trong 15 phút, hoặc khi CloudThinker bận trong thời gian ngắn (kèm header Retry-After). EventBridge thử lại 429 theo retry policy của rule.Kiểm tra: việc loại bỏ không để lại lỗi, nên hãy so sánh số lượng. Ngay sau một đợt dồn dập, đặt khoảng thời gian của Resolve → Pulse là Last 1 hour và đọc số raw events ở đầu trang. So sánh với metric Invocations của rule (tab Monitoring) trong cùng giờ đó. Raw events đếm mọi nguồn trong workspace, nên nếu con số thấp hơn lượng EventBridge đã gửi thì có sự kiện bị loại bỏ.Cách sửa: mở menu … của webhook, chọn Edit và nâng Rate limit (requests per hour). Hoặc thu hẹp event pattern của rule. Nếu trước đó có lỗi 401 hoặc 403, hãy sửa secret.
Auto-investigate đang tắt, mức độ nghiêm trọng thấp hơn ngưỡng tối thiểu, hoặc On duty đang tạm dừng. Xem Điều gì bắt đầu một cuộc điều tra.

Bước tiếp theo

Theo dõi cuộc điều tra

Xem CloudThinker kiểm tra những gì khi một sự cố CloudWatch kích hoạt RCA.

Tinh chỉnh Pulse

Kiểm soát signal nào được gom nhóm, lọc bỏ hoặc định tuyến.