Detector bổ sung gì cho hệ thống cảnh báo
Rule cảnh báo kích hoạt khi một metric vượt qua ngưỡng ai đó đã chọn trước. Detector đi theo chiều ngược lại: một sự cố mà không cảnh báo nào bắt được. CloudThinker xem xét những gì đã xảy ra trước sự cố đó, viết một kiểm tra cho mẫu hình, và kiểm chứng kiểm tra đó trên các sự cố trong quá khứ trước khi có ai dựa vào.
Detector kích hoạt trước cảnh báo giám sát đầu tiên trên cùng sự cố
- Tiêu hao âm ỉ. Error budget bị tiêu hao quá nhanh trên cả cửa sổ ngắn lẫn dài, trước khi bất kỳ metric đơn lẻ nào trông có vấn đề.
- Bất thường so với khung giờ này. Lưu lượng hoặc độ trễ nằm ngoài khoảng bình thường của cùng giờ đó trong tuần, thay vì một ngưỡng cố định.
- Giới hạn không ai đặt cảnh báo. Connection pool gần mức tối đa, chứng chỉ sắp hết hạn, hoặc quota gần dùng hết.
- Vấn đề chỉ hiện ra khi kết hợp hai công cụ. Một kiểm tra có thể so sánh hai công cụ đã kết nối, ví dụ lỗi 5xx tăng trong Datadog trong khi CloudWatch cho thấy cơ sở dữ liệu đã chạm giới hạn kết nối.
Bật tính năng
Detectors ở trạng thái tắt cho đến khi Admin workspace bật tính năng này. Developer và Viewer có thể đọc trang Detectors nhưng không thể thay đổi gì trên đó. Xem Vai trò.1
Mở cài đặt Detectors
Vào Resolve → Settings và cuộn đến phần Detectors, bên dưới Behaviour.
2
Bật Detectors
Bật công tắc Detectors.Trạng thái thành công: công tắc hiển thị “Your Detectors run, and Resolve reviews them each week”, và CloudThinker bắt đầu lần đánh giá đầu tiên đối với các rule cảnh báo bạn đang có.
3
Xem các đề xuất đầu tiên
Vào Resolve → Detectors. Các đề xuất xuất hiện trên tab Needs you, mỗi đề xuất kèm backtest. Không có gì chạy cho đến khi Admin chấp nhận.
Backtest chứng minh một kiểm tra như thế nào
Backtest phát lại một kiểm tra trên dữ liệu quá khứ để cho thấy kiểm tra đó lẽ ra đã bắt được những sự cố nào trước đây, và sớm hơn cảnh báo của bạn bao lâu.
Cửa sổ bắt của backtest: từ một giờ trước khi sự cố bắt đầu đến thời điểm sự cố được mở
Detector truy cập những gì
Cách hoạt động
- Tìm một sự cố bị bỏ sót. CloudThinker bắt đầu từ một sự cố mà cảnh báo của bạn không bắt được. Trên chính sự cố đó bạn sẽ thấy một dòng như “No Detector fired. No Detector watches this service”, kèm liên kết đến Detectors.
- Đề xuất một Detector. Với một lỗ hổng có thể chứng minh bằng bằng chứng, CloudThinker viết một kiểm tra, chạy thử một lần và backtest kiểm tra đó. Các đề xuất chờ trên tab Needs you.
- Admin chấp nhận. Không có gì chạy cho đến khi một Admin workspace đồng ý.
- Chạy song song với cảnh báo của bạn. Lần kích hoạt của Detector đi đến Pulse, nơi loại bỏ nhiễu và nhóm các cảnh báo liên quan, rồi đến triage, nơi khớp lần kích hoạt với một sự cố, rồi đến phân tích nguyên nhân gốc, giống như mọi cảnh báo khác.
- Đánh giá hằng tuần. CloudThinker gắn nhãn mỗi lần kích hoạt là thật hay nhiễu, siết chặt hoặc nới lỏng Detector, loại bỏ các Detector vẫn gây nhiễu, đề xuất Detector mới, và xây dựng một scorecard bao quát 30 ngày gần nhất. CloudThinker cũng đăng scorecard lên kênh chat của bạn trong những tuần có thông tin mới.
- Nâng cấp thành rule của riêng bạn. Khi bạn quyết định một Detector đáng giữ lại, CloudThinker có thể biến Detector đó thành rule gốc trong công cụ cảnh báo của bạn, dưới dạng merge request nháp trong repository chứa rule cảnh báo, hoặc dưới dạng văn bản rule để bạn tự sao chép. Bạn review và merge; CloudThinker không bao giờ thay đổi rule trực tiếp trong công cụ cảnh báo của bạn.
Scorecard hằng tuần: từng Detector, và các sự cố mà Detector bắt được trước cảnh báo giám sát của bạn
Cài đặt
Detectors có phần riêng trong Resolve → Settings, bên dưới Behaviour. Bản thân công tắc Detectors được mô tả trong Bật tính năng.
Để CloudThinker mở merge request nháp cho các Detector được nâng cấp, bật Propose alert rule changes cho nền tảng Git của bạn trong tích hợp Resolve. CloudThinker chỉ mở bản nháp để bạn review và merge.
Alert health
CloudThinker cũng đánh giá các rule cảnh báo bạn đang có và đánh dấu những rule gây nhiễu, hiếm khi hữu ích, hoặc không bao giờ có thể kích hoạt. Kết quả xuất hiện trên tab Alert health, nơi xếp hạng những gì cần sửa trước.Ai được thay đổi gì
- Cảnh báo của bạn vẫn giữ nguyên. Detector chạy bên cạnh rule của bạn, không bao giờ thay thế chúng.
- Lượt chạy theo lịch chỉ có thể thu hẹp, không bao giờ khởi tạo. Khi tự chạy, lần đánh giá hằng tuần chỉ tạm dừng, tiếp tục, loại bỏ hoặc nới lỏng một Detector bạn đã chấp nhận. Lần đánh giá này không thể chấp nhận hay bác bỏ một đề xuất, thay đổi cài đặt Detectors, bắt đầu một lượt chạy, hay bật tắt Detectors cho workspace: mỗi việc đó đều chờ một người.
- Bạn được thông báo về mọi thay đổi tự động. Khi một lượt chạy theo lịch tạm dừng, loại bỏ hoặc nới lỏng một Detector, người đã bật Detectors nhận được thông báo, cùng với scorecard hằng tuần. Nếu người đó rời đi hoặc mất quyền truy cập, trang hiển thị Detectors have no owner who can run them và một Admin workspace khác có thể nhấn Take over.
- Quyền của bạn được áp dụng. Yêu cầu CloudThinker thay đổi một Detector trong chat chỉ làm những gì vai trò của chính bạn cho phép. Viewer và Developer có thể đọc trang; chấp nhận, tạm dừng, loại bỏ hoặc cấu hình một Detector cần vai trò Admin workspace.
- Mọi thay đổi đều được ghi log. Mỗi lần chấp nhận, bác bỏ, tạm dừng, loại bỏ và thay đổi cài đặt đều được ghi trong Admin Settings → Audit Logs, kèm người hoặc agent đã thực hiện.
Bước tiếp theo
Kết nối công cụ giám sát
Gửi cảnh báo từ Datadog, Grafana và các công cụ khác vào Resolve, để Detectors có lịch sử để học.
Nhóm cảnh báo với Pulse
Giảm nhiễu bằng cách nhóm các tín hiệu liên quan trước triage.
Ghi lại sự cố bị bỏ sót
Ghi lại các sự cố mà cảnh báo bỏ sót, để có lịch sử cho backtest.
Cài đặt Resolve
Đặt lịch đánh giá hằng tuần, các service bị bỏ qua và các nguồn mà Detectors dùng.