Chuyển đến nội dung chính
Runbook là quy trình được viết sẵn để khắc phục một vấn đề đã biết, chẳng hạn “restart các pod checkout” hoặc “failover cơ sở dữ liệu”. Khi bạn kết nối runbook với Resolve, CloudThinker đọc chúng trong lúc phân tích nguyên nhân gốc (RCA) và đề xuất cách khắc phục tương ứng thay vì tự ứng biến.
Legacy. Runbooks mang nhãn Legacy bên cạnh tên ở thanh bên và ở đầu trang. Tính năng hoạt động như mô tả ở đây, và chưa có thông báo nào về sản phẩm thay thế hay ngày gỡ bỏ. Các nguồn đã kết nối vẫn nằm trong Confluence, GitHub hoặc GitLab, nên quy trình của bạn vẫn dùng được dù trang này có thay đổi thế nào. Nếu bạn đang cân nhắc nên đầu tư bao nhiêu vào tính năng này, hãy hỏi support@cloudthinker.io.

Cách hoạt động

  1. Bạn thêm một nguồn runbook: một space Confluence, một repository GitHub hoặc GitLab, hoặc các file Markdown bạn tải lên.
  2. Trong lúc phân tích nguyên nhân gốc, CloudThinker tìm trong các nguồn đang bật một quy trình phù hợp với vấn đề đã phát hiện.
  3. Nếu quy trình có lệnh thay đổi hệ thống, mỗi thay đổi đi qua Approvals của workspace, như mọi thao tác ghi khác của agent. Khi cần một người quyết định, lượt chạy dừng tại Action requires approval. Banner này hiện trong phần phân tích của sự cố trên Resolve → Investigation, bên dưới phần đánh giá.
  4. Mỗi lần thử được ghi lại trên tab Execution history cùng quyết định của policy, phê duyệt và kết quả.
Mọi thay đổi do agent thực hiện đều đi qua Approvals của workspace trước. Ở chế độ mặc định Auto · Rules + AI · Ask me, AI judgment có thể cho một thay đổi an toàn chạy mà không cần hỏi. Allow Rule cũng vậy, sau khi CloudThinker bật Rule enforcement cho workspace của bạn. Chọn Manual nếu bạn muốn tự phê duyệt mọi thay đổi. Lệnh chỉ đọc (lệnh chỉ xem, như kubectl get pods) không bao giờ phải chờ phê duyệt runbook, dù đến từ file tải lên hay nguồn đã kết nối. Lệnh thay đổi hạ tầng, như kubectl rollout restart, đi qua Approvals. Mục Kiểm soát effect của lệnh giải thích effect riêng của runbook nằm ở đâu trong quy trình này.

Cách CloudThinker tìm runbook

CloudThinker tìm trong từng nguồn đang bật bằng mô tả về vấn đề đã phát hiện: CloudThinker gom các ứng viên từ mọi nguồn đang bật, rồi đọc kỹ ứng viên phù hợp nhất trước khi lên kế hoạch khắc phục. Vì vậy, hãy viết runbook theo cách cảnh báo của bạn được diễn đạt. Đặt triệu chứng và tên dịch vụ ở tiêu đề và những dòng đầu, ví dụ # checkout-api pods in CrashLoopBackOff, thay vì # Procedure 7. Với file tải lên, những dòng đầu đó gần như là tất cả những gì CloudThinker thấy khi chọn. Mỗi trang hoặc file chỉ nên chứa một quy trình.

Lệnh chạy ở đâu

Lệnh trong runbook chạy như mọi lệnh khác của agent, qua kết nối tới hệ thống đích, với thông tin xác thực và quyền của kết nối đó. Thông tin xác thực quyết định phạm vi. Thông tin xác thực chỉ đọc không thể ghi, dù runbook viết gì, và kết nối tắt Allow writes cũng từ chối thao tác ghi. Mọi thao tác ghi còn đi qua Approvals, kể cả danh sách các lệnh gọi không bao giờ được chạy. Về máy mà lệnh chạy trên đó, xem Agent chạy ở đâu.

Điều kiện tiên quyết

  • Vai trò Admin của workspace để thêm, sửa, publish hoặc xóa nguồn. Developer và Viewer xem được các nguồn và Execution history. Xem Vai trò.
  • Người phê duyệt thao tác runbook tuân theo thiết lập Approvals của bạn, không theo vai trò Admin. Xem người phê duyệt.
  • Với Confluence, GitHub hoặc GitLab: một kết nối hoạt động và đọc được runbook. Biểu mẫu nguồn không lưu được nếu thiếu kết nối.
  • Với file tải lên: các quy trình ở dạng file .md, với lệnh đặt trong code block có rào.

Chọn loại nguồn

Nguồn đã kết nối vẫn nằm trong hệ thống gốc. CloudThinker đọc chúng vào lúc RCA, nên một chỉnh sửa trong Confluence hay một thay đổi đã merge trong Git sẽ được dùng ngay ở cuộc điều tra kế tiếp mà không cần đồng bộ lại. Trước khi thêm nguồn, hãy kiểm tra nguồn runbook có phải nơi phù hợp cho quy trình đó không: Dạy CloudThinker so sánh nguồn runbook với skill và knowledge base.

Kết nối nguồn Confluence, GitHub hoặc GitLab

1

Mở Runbooks

Ở thanh bên, mở Resolve → Runbooks (trong Configuration). Trang có hai tab: Runbook sources và Execution history. Nếu bạn chưa có nguồn nào, trang liệt kê từng loại nguồn: loại đã kết nối hiển thị tên kết nối, loại chưa kết nối hiển thị Connect first.
2

Thêm nguồn

Nhấn Add source (hoặc loại nguồn trong trạng thái trống). Trong Add Runbook Source, nhập Source Name, ví dụ SRE Runbooks, chọn Source Type, rồi chọn kết nối.
3

Thu hẹp phạm vi CloudThinker tìm kiếm

Với Confluence, đặt Confluence Space Key như SRE và các Labels nếu có. Với GitHub hoặc GitLab, chọn Repository, rồi tùy chọn Branch, Path Prefix như docs/runbooks, và File Patterns như *.md. Nhấn Add Source.
Trạng thái thành công: nguồn xuất hiện trong danh sách cùng loại và phạm vi, ví dụ GitHub · acme/runbooks · docs/runbooks, và công tắc của nguồn đang bật. CloudThinker không trích xuất hay phân loại lệnh từ trang đã kết nối như cách làm với file tải lên. Thông báo trên biểu mẫu cho biết mọi lệnh từ nguồn đều cần phê duyệt. Trên thực tế, điều đó áp dụng cho mọi lệnh có thay đổi: lệnh chỉ đọc chạy mà không cần phê duyệt runbook, còn thay đổi đi qua Approvals của workspace. Không có effect riêng cho từng lệnh với các nguồn này.

Tải lên runbook Markdown

1

Mở hộp thoại tải lên

Trên Resolve → Runbooks, nhấn Upload runbook (hoặc Upload a runbook trong trạng thái trống).
2

Thêm file

Kéo vào tối đa 20 file .md, mỗi file tối đa 5 MB. Mỗi file có một Runbook name, bạn có thể sửa trước khi tải lên.
3

Tải lên

Nhấn Upload. Mỗi file hiển thị Uploading… rồi Extracting commands… trong lúc CloudThinker trích các lệnh từ code block.
Trạng thái thành công: mỗi file xuất hiện thành một nguồn riêng trong danh sách, đã được publish và tìm kiếm được ngay. File tải lên không bao giờ được tạo ở dạng bản nháp. Nhấn biểu tượng cuốn sách trên hàng để mở bản xem trước chỉ đọc, kèm nút Download để tải file Markdown gốc. Runbook viết như sau cho CloudThinker các lệnh rõ ràng, tách bạch:
Từ file này, CloudThinker ghi nhận kubectl rollout restart là lệnh có thay đổi và cần phê duyệt. Hai lệnh chỉ đọc không được ghi nhận, và CloudThinker có thể chạy chúng trong lúc RCA mà không cần phê duyệt runbook. Khi tải lên, một AI model do backend của CloudThinker gọi sẽ đọc các code block có rào và chỉ giữ lại những lệnh có thay đổi. Một pipeline được coi là có thay đổi nếu bất kỳ phần nào của nó ghi dữ liệu. Mỗi lệnh được giữ phải nằm trong code block, nên không có gì được ghi nhận từ văn xuôi. Nếu bước dùng model thất bại, một danh sách cố định các lệnh chỉ xem (như kubectl get, kubectl logs, cat và grep) sẽ quyết định thay, và mọi lệnh không có trong danh sách đó được coi là có thay đổi. Về nơi các lệnh gọi model được gửi tới, xem Dữ liệu CloudThinker xử lý. Lệnh bị phân loại sai không thể bỏ qua phê duyệt. Thao tác ghi mà model bỏ sót vẫn chạy qua thông tin xác thực và thiết lập Allow writes của kết nối, và qua Approvals, như mọi thao tác ghi khác của agent (xem Lệnh chạy ở đâu). Nếu workspace của bạn hiển thị Policies, bạn có thể xem lại các lệnh đã ghi nhận, xem Kiểm soát effect của lệnh. Để thay đổi runbook đã tải lên, hãy xóa nguồn và tải phiên bản mới lên. File tải lên không sửa trực tiếp được. Các hàng Execution history cũ vẫn giữ tiêu đề runbook, nhưng không còn gắn với nguồn đã xóa.
File tải lên mới nhận policy mới, nên mọi lệnh bắt đầu lại ở Require Approval. Mọi thiết lập Allow hoặc Deny bạn đã đặt trên file cũ đều mất.

Kiểm soát effect của lệnh

Effect là quy tắc riêng của runbook cho một lệnh có thay đổi. Chế độ Approvals của workspace cũng áp dụng cho mọi thay đổi. Khi Policies tắt, như ở phần lớn các bản triển khai, effect không được áp dụng và chỉ Approvals quyết định: ở chế độ mặc định Auto · Rules + AI · Ask me, AI có thể đánh giá và cho thay đổi chạy mà không hỏi, và một Allow Rule cũng vậy khi CloudThinker bật Rule enforcement cho workspace của bạn. Để mọi thay đổi từ runbook đều chờ người duyệt, hãy chọn Manual. Effect bạn dùng được tùy thuộc vào loại nguồn: Mỗi file tải lên có policy riêng tên Manual Runbook: <runbook name>, với một statement cho mỗi lệnh được trích xuất. Mục Policies trên Resolve → Settings tắt ở phần lớn các bản triển khai. Khi mục này bật, bạn có thể mở policy đó tại đây và đổi effect của một lệnh, ví dụ sang Allow cho một lần restart an toàn mà bạn chạy thường xuyên. Khi mục này tắt, mọi lệnh giữ Require Approval trên policy, và chế độ Approvals quyết định thay đổi có phải chờ hay không. Để hỏi có thể bật mục này cho bản triển khai của bạn không, hãy email support@cloudthinker.io.

Phê duyệt thao tác runbook

Khi CloudThinker muốn chạy một lệnh có thay đổi trong lúc xử lý sự cố, phần phân tích của sự cố hiển thị banner Action requires approval kèm runbook mà lệnh đến từ đó.
1

Mở cuộc hội thoại

Trên sự cố, nhấn Go to conversation.
2

Quyết định

Đọc lệnh được đề xuất trên thẻ phê duyệt và nhấn Approve hoặc Decline. Phê duyệt cho phép lượt chạy tiếp tục. Từ chối sẽ dừng thao tác đó. Thẻ không có trường để sửa lệnh: muốn chạy lệnh khác, hãy từ chối và nói điều bạn muốn trong cuộc hội thoại.
Trạng thái thành công: banner biến mất, và lần thực thi hiển thị Approved trên tab Execution history. Thao tác bị từ chối hiển thị là Rejected ở đó. Lượt chạy chờ ở bước đó cho đến khi có người quyết định. Ai được phê duyệt tuân theo thiết lập phê duyệt của workspace, xem người phê duyệt. Nếu bạn không có quyền phê duyệt, thẻ sẽ báo đang chờ người phê duyệt. Người bắt đầu cuộc hội thoại cũng thấy nút Notify approvers trên thẻ. Để nhận yêu cầu phê duyệt qua email hoặc chat, bật Agent approvals trong Notifications.

Xem lại những gì đã chạy

Mở tab Execution history trên Resolve → Runbooks. Mỗi hàng là một thao tác runbook: Hãy kiểm tra Status trước khi đóng sự cố. Approved nghĩa là một người đã đồng ý. Chỉ Completed mới có nghĩa là lệnh đã chạy. Để xem xu hướng qua nhiều sự cố, mở tab Runbook analytics trong Resolve Insights.

Quản lý nguồn

Di chuột lên một hàng nguồn để xem các thao tác:

Khắc phục sự cố

Biểu mẫu nguồn cần một kết nối tới nền tảng đó. Nhấn vào hàng để kết nối, hoặc thêm từ Kết nối, rồi quay lại và nhấn Add source.
Kiểm tra công tắc của nguồn đang bật và nguồn không mang nhãn Draft. Sau đó kiểm tra phạm vi: giá trị Confluence Space Key, Path Prefix hoặc File Patterns sai sẽ làm ẩn file. Đặt cho runbook tiêu đề nêu rõ triệu chứng và dịch vụ, xem Cách CloudThinker tìm runbook.
Chỉ chấp nhận file .md tối đa 5 MB, và tối đa 20 file mỗi lần tải lên. Hãy tách runbook lớn thành mỗi quy trình một file.
Lệnh phải nằm trong code block có rào. Lệnh nằm trong đoạn văn thường, hoặc chỉ toàn lệnh chỉ đọc, sẽ không tạo ra gì để phê duyệt.
Có một thao tác runbook đang chờ. Mở sự cố, nhấn Go to conversation, rồi nhấn Approve hoặc Decline.

Bước tiếp theo

Xem RCA dùng runbook như thế nào

Theo dõi một cuộc điều tra từ bằng chứng đến cách khắc phục được đề xuất.

Thiết lập phê duyệt

Quyết định ai phê duyệt các thao tác có thay đổi và phê duyệt như thế nào.