Legacy. Runbooks mang nhãn Legacy bên cạnh tên ở thanh bên và ở đầu trang. Tính năng hoạt động như mô tả ở đây, và chưa có thông báo nào về sản phẩm thay thế hay ngày gỡ bỏ. Các nguồn đã kết nối vẫn nằm trong Confluence, GitHub hoặc GitLab, nên quy trình của bạn vẫn dùng được dù trang này có thay đổi thế nào. Nếu bạn đang cân nhắc nên đầu tư bao nhiêu vào tính năng này, hãy hỏi support@cloudthinker.io.
Cách hoạt động
- Bạn thêm một nguồn runbook: một space Confluence, một repository GitHub hoặc GitLab, hoặc các file Markdown bạn tải lên.
- Trong lúc phân tích nguyên nhân gốc, CloudThinker tìm trong các nguồn đang bật một quy trình phù hợp với vấn đề đã phát hiện.
- Nếu quy trình có lệnh thay đổi hệ thống, mỗi thay đổi đi qua Approvals của workspace, như mọi thao tác ghi khác của agent. Khi cần một người quyết định, lượt chạy dừng tại Action requires approval. Banner này hiện trong phần phân tích của sự cố trên Resolve → Investigation, bên dưới phần đánh giá.
- Mỗi lần thử được ghi lại trên tab Execution history cùng quyết định của policy, phê duyệt và kết quả.
kubectl get pods) không bao giờ phải chờ phê duyệt runbook, dù đến từ file tải lên hay nguồn đã kết nối. Lệnh thay đổi hạ tầng, như kubectl rollout restart, đi qua Approvals. Mục Kiểm soát effect của lệnh giải thích effect riêng của runbook nằm ở đâu trong quy trình này.
Cách CloudThinker tìm runbook
CloudThinker tìm trong từng nguồn đang bật bằng mô tả về vấn đề đã phát hiện:
CloudThinker gom các ứng viên từ mọi nguồn đang bật, rồi đọc kỹ ứng viên phù hợp nhất trước khi lên kế hoạch khắc phục.
Vì vậy, hãy viết runbook theo cách cảnh báo của bạn được diễn đạt. Đặt triệu chứng và tên dịch vụ ở tiêu đề và những dòng đầu, ví dụ
# checkout-api pods in CrashLoopBackOff, thay vì # Procedure 7. Với file tải lên, những dòng đầu đó gần như là tất cả những gì CloudThinker thấy khi chọn. Mỗi trang hoặc file chỉ nên chứa một quy trình.
Lệnh chạy ở đâu
Lệnh trong runbook chạy như mọi lệnh khác của agent, qua kết nối tới hệ thống đích, với thông tin xác thực và quyền của kết nối đó. Thông tin xác thực quyết định phạm vi. Thông tin xác thực chỉ đọc không thể ghi, dù runbook viết gì, và kết nối tắt Allow writes cũng từ chối thao tác ghi. Mọi thao tác ghi còn đi qua Approvals, kể cả danh sách các lệnh gọi không bao giờ được chạy. Về máy mà lệnh chạy trên đó, xem Agent chạy ở đâu.Điều kiện tiên quyết
- Vai trò Admin của workspace để thêm, sửa, publish hoặc xóa nguồn. Developer và Viewer xem được các nguồn và Execution history. Xem Vai trò.
- Người phê duyệt thao tác runbook tuân theo thiết lập Approvals của bạn, không theo vai trò Admin. Xem người phê duyệt.
- Với Confluence, GitHub hoặc GitLab: một kết nối hoạt động và đọc được runbook. Biểu mẫu nguồn không lưu được nếu thiếu kết nối.
- Confluence: tài khoản đã cấp quyền cho kết nối Atlassian phải mở được space.
- GitHub: app CloudThinker phải được cài trên repository.
- GitLab: người dùng đã đăng nhập hoặc access token phải đọc được project, xem quyền GitLab.
- Với file tải lên: các quy trình ở dạng file
.md, với lệnh đặt trong code block có rào.
Chọn loại nguồn
Nguồn đã kết nối vẫn nằm trong hệ thống gốc. CloudThinker đọc chúng vào lúc RCA, nên một chỉnh sửa trong Confluence hay một thay đổi đã merge trong Git sẽ được dùng ngay ở cuộc điều tra kế tiếp mà không cần đồng bộ lại.
Trước khi thêm nguồn, hãy kiểm tra nguồn runbook có phải nơi phù hợp cho quy trình đó không: Dạy CloudThinker so sánh nguồn runbook với skill và knowledge base.
Kết nối nguồn Confluence, GitHub hoặc GitLab
1
Mở Runbooks
Ở thanh bên, mở Resolve → Runbooks (trong Configuration). Trang có hai tab: Runbook sources và Execution history. Nếu bạn chưa có nguồn nào, trang liệt kê từng loại nguồn: loại đã kết nối hiển thị tên kết nối, loại chưa kết nối hiển thị Connect first.
2
Thêm nguồn
Nhấn Add source (hoặc loại nguồn trong trạng thái trống). Trong Add Runbook Source, nhập Source Name, ví dụ
SRE Runbooks, chọn Source Type, rồi chọn kết nối.3
Thu hẹp phạm vi CloudThinker tìm kiếm
Với Confluence, đặt Confluence Space Key như
SRE và các Labels nếu có. Với GitHub hoặc GitLab, chọn Repository, rồi tùy chọn Branch, Path Prefix như docs/runbooks, và File Patterns như *.md. Nhấn Add Source.GitHub · acme/runbooks · docs/runbooks, và công tắc của nguồn đang bật.
CloudThinker không trích xuất hay phân loại lệnh từ trang đã kết nối như cách làm với file tải lên. Thông báo trên biểu mẫu cho biết mọi lệnh từ nguồn đều cần phê duyệt. Trên thực tế, điều đó áp dụng cho mọi lệnh có thay đổi: lệnh chỉ đọc chạy mà không cần phê duyệt runbook, còn thay đổi đi qua Approvals của workspace. Không có effect riêng cho từng lệnh với các nguồn này.
Tải lên runbook Markdown
1
Mở hộp thoại tải lên
Trên Resolve → Runbooks, nhấn Upload runbook (hoặc Upload a runbook trong trạng thái trống).
2
Thêm file
Kéo vào tối đa 20 file
.md, mỗi file tối đa 5 MB. Mỗi file có một Runbook name, bạn có thể sửa trước khi tải lên.3
Tải lên
Nhấn Upload. Mỗi file hiển thị Uploading… rồi Extracting commands… trong lúc CloudThinker trích các lệnh từ code block.
kubectl rollout restart là lệnh có thay đổi và cần phê duyệt. Hai lệnh chỉ đọc không được ghi nhận, và CloudThinker có thể chạy chúng trong lúc RCA mà không cần phê duyệt runbook.
Khi tải lên, một AI model do backend của CloudThinker gọi sẽ đọc các code block có rào và chỉ giữ lại những lệnh có thay đổi. Một pipeline được coi là có thay đổi nếu bất kỳ phần nào của nó ghi dữ liệu. Mỗi lệnh được giữ phải nằm trong code block, nên không có gì được ghi nhận từ văn xuôi. Nếu bước dùng model thất bại, một danh sách cố định các lệnh chỉ xem (như kubectl get, kubectl logs, cat và grep) sẽ quyết định thay, và mọi lệnh không có trong danh sách đó được coi là có thay đổi. Về nơi các lệnh gọi model được gửi tới, xem Dữ liệu CloudThinker xử lý.
Lệnh bị phân loại sai không thể bỏ qua phê duyệt. Thao tác ghi mà model bỏ sót vẫn chạy qua thông tin xác thực và thiết lập Allow writes của kết nối, và qua Approvals, như mọi thao tác ghi khác của agent (xem Lệnh chạy ở đâu). Nếu workspace của bạn hiển thị Policies, bạn có thể xem lại các lệnh đã ghi nhận, xem Kiểm soát effect của lệnh.
Để thay đổi runbook đã tải lên, hãy xóa nguồn và tải phiên bản mới lên. File tải lên không sửa trực tiếp được. Các hàng Execution history cũ vẫn giữ tiêu đề runbook, nhưng không còn gắn với nguồn đã xóa.
Kiểm soát effect của lệnh
Effect là quy tắc riêng của runbook cho một lệnh có thay đổi. Chế độ Approvals của workspace cũng áp dụng cho mọi thay đổi. Khi Policies tắt, như ở phần lớn các bản triển khai, effect không được áp dụng và chỉ Approvals quyết định: ở chế độ mặc định Auto · Rules + AI · Ask me, AI có thể đánh giá và cho thay đổi chạy mà không hỏi, và một Allow Rule cũng vậy khi CloudThinker bật Rule enforcement cho workspace của bạn. Để mọi thay đổi từ runbook đều chờ người duyệt, hãy chọn Manual. Effect bạn dùng được tùy thuộc vào loại nguồn:
Mỗi file tải lên có policy riêng tên
Manual Runbook: <runbook name>, với một statement cho mỗi lệnh được trích xuất. Mục Policies trên Resolve → Settings tắt ở phần lớn các bản triển khai. Khi mục này bật, bạn có thể mở policy đó tại đây và đổi effect của một lệnh, ví dụ sang Allow cho một lần restart an toàn mà bạn chạy thường xuyên. Khi mục này tắt, mọi lệnh giữ Require Approval trên policy, và chế độ Approvals quyết định thay đổi có phải chờ hay không. Để hỏi có thể bật mục này cho bản triển khai của bạn không, hãy email support@cloudthinker.io.
Phê duyệt thao tác runbook
Khi CloudThinker muốn chạy một lệnh có thay đổi trong lúc xử lý sự cố, phần phân tích của sự cố hiển thị banner Action requires approval kèm runbook mà lệnh đến từ đó.1
Mở cuộc hội thoại
Trên sự cố, nhấn Go to conversation.
2
Quyết định
Đọc lệnh được đề xuất trên thẻ phê duyệt và nhấn Approve hoặc Decline. Phê duyệt cho phép lượt chạy tiếp tục. Từ chối sẽ dừng thao tác đó. Thẻ không có trường để sửa lệnh: muốn chạy lệnh khác, hãy từ chối và nói điều bạn muốn trong cuộc hội thoại.
Xem lại những gì đã chạy
Mở tab Execution history trên Resolve → Runbooks. Mỗi hàng là một thao tác runbook:
Hãy kiểm tra Status trước khi đóng sự cố. Approved nghĩa là một người đã đồng ý. Chỉ Completed mới có nghĩa là lệnh đã chạy.
Để xem xu hướng qua nhiều sự cố, mở tab Runbook analytics trong Resolve Insights.
Quản lý nguồn
Di chuột lên một hàng nguồn để xem các thao tác:Khắc phục sự cố
Một loại nguồn bị mờ hoặc hiển thị Connect first
Một loại nguồn bị mờ hoặc hiển thị Connect first
Biểu mẫu nguồn cần một kết nối tới nền tảng đó. Nhấn vào hàng để kết nối, hoặc thêm từ Kết nối, rồi quay lại và nhấn Add source.
CloudThinker không dùng runbook của tôi trong lúc RCA
CloudThinker không dùng runbook của tôi trong lúc RCA
Kiểm tra công tắc của nguồn đang bật và nguồn không mang nhãn Draft. Sau đó kiểm tra phạm vi: giá trị Confluence Space Key, Path Prefix hoặc File Patterns sai sẽ làm ẩn file. Đặt cho runbook tiêu đề nêu rõ triệu chứng và dịch vụ, xem Cách CloudThinker tìm runbook.
File tải lên bị từ chối
File tải lên bị từ chối
Chỉ chấp nhận file
.md tối đa 5 MB, và tối đa 20 file mỗi lần tải lên. Hãy tách runbook lớn thành mỗi quy trình một file.Không có lệnh nào được lấy ra từ file tải lên
Không có lệnh nào được lấy ra từ file tải lên
Lệnh phải nằm trong code block có rào. Lệnh nằm trong đoạn văn thường, hoặc chỉ toàn lệnh chỉ đọc, sẽ không tạo ra gì để phê duyệt.
Sự cố bị kẹt ở trạng thái chờ
Sự cố bị kẹt ở trạng thái chờ
Có một thao tác runbook đang chờ. Mở sự cố, nhấn Go to conversation, rồi nhấn Approve hoặc Decline.
Bước tiếp theo
Xem RCA dùng runbook như thế nào
Theo dõi một cuộc điều tra từ bằng chứng đến cách khắc phục được đề xuất.
Thiết lập phê duyệt
Quyết định ai phê duyệt các thao tác có thay đổi và phê duyệt như thế nào.