Phân tích Nguyên nhân Gốc rễ

​

Cách cuộc điều tra diễn ra

1. Kích hoạt — một incident được tạo, hoặc tự động khi một cluster Pulse leo thang hoặc thủ công từ trang chi tiết incident. Các leo thang cluster truyền tóm tắt cluster và tất cả tín hiệu thành viên vào ngữ cảnh của tác nhân, do đó điều tra bắt đầu với toàn bộ lịch sử tín hiệu đã được tải. CloudThinker xếp hàng một tác vụ RCA ở nền và mở một cuộc trò chuyện AI riêng biệt.
2. Kích hoạt tác nhân — Anna điều phối cuộc điều tra trong khi các chuyên gia phụ trách lĩnh vực của họ, dựa trên hạ tầng đã kết nối của bạn.
3. Thu thập ngữ cảnh — các tác nhân khám phá topo hạ tầng, thu thập số liệu cơ bản, xác định các dịch vụ bị ảnh hưởng và kiểm tra các triển khai và thay đổi cấu hình gần đây.
4. Phân tích — các tác nhân hình thành các giả thuyết cạnh tranh và kiểm tra từng giả thuyết với log, trace và các phụ thuộc.
5. Giải quyết — giả thuyết được xác nhận trở thành nguyên nhân gốc rễ. Bằng chứng được chắt lọc, đề xuất khắc phục được tạo ra và một disposition được đặt với điểm tin cậy.

​

Các giai đoạn điều tra

​

Chuỗi bằng chứng

​

Chấm điểm tin cậy

​

Theo dõi giả thuyết

Timeline Entry 1: hypothesis_created
├── Hypothesis 1: "Database connection pool exhaustion"
├── Confidence: 0.75
└── Message: "Pool exhaustion likely given 500s response times"

Timeline Entry 3: hypothesis_ruled_out
├── Hypothesis 1: Ruled Out
├── Reason: "DB metrics show 45/100 connections—well within limits"
└── Evidence: Max concurrent connections remained stable

Timeline Entry 6: hypothesis_created
├── Hypothesis 2: "Lambda cold start latency after memory reduction"
├── Confidence: 0.85

Timeline Entry 8: hypothesis_confirmed
├── Hypothesis 2: Confirmed
├── Updated Confidence: 0.92
└── Evidence: CloudWatch init duration spike, deployment timing match

​

Dòng thời gian điều tra

​

Disposition

​

Bắt đầu điều tra

​

Tự động

{
  "auto_trigger_rca": true,
  "auto_trigger_rca_min_severity": "medium"
}

​

Thủ công

​

Đọc kết quả

​

Ví dụ: EC2 termination và EKS network failure

@alex #report investigate EC2 termination patterns for the past 60 days.
Break down by Auto Scaling group, termination reason, instance type, and
availability zone — and explain the 17:15 UTC daily terminations.

Phân tích mẫu chấm dứt EC2 cho thấy các sự kiện AutoScaling

@alex #report correlate CreateNetworkInterface failures with EC2
termination events over the last 60 days. Determine whether aggressive
scale-downs cause IP address fragmentation and whether lifecycle hooks
allow proper ENI cleanup.

Tương quan lỗi mạng với lỗi CreateNetworkInterface và cạn kiệt IP

@anna #report comprehensive RCA for the EC2 termination and EKS network
interface failures. Include an executive summary, the 60-day timeline,
remediation steps with owners and due dates, and preventive measures.

Báo cáo RCA toàn diện với kết quả và các bước khắc phục

​

Thực hành tốt nhất

• Kết nối topology trước khi incident xảy ra — phân tích phạm vi ảnh hưởng và tương quan dịch vụ phụ thuộc vào nó.
• Cấu hình webhook để tự động kích hoạt RCA cho incident có mức độ nghiêm trọng medium trở lên.
• Thêm ngữ cảnh vào mô tả incident; nó hướng dẫn nơi các tác nhân tìm kiếm đầu tiên.
• Theo dõi dòng thời gian trong quá trình điều tra để biết giả thuyết nào đã được kiểm tra và loại trừ, và xác minh dấu thời gian bằng chứng tương quan với thời điểm bắt đầu incident.
• Xác thực nguyên nhân gốc rễ thủ công trước khi khắc phục khi độ tin cậy dưới 0.7, và bắt đầu với các hành động khắc phục ưu tiên critical.
• Kết nối Runbooks để các tác nhân có thể tìm và thực thi các quy trình khắc phục trong các cuộc điều tra tương lai.

​

Liên quan