kubectl get, describe và logs trên hàng chục pod để đối chiếu event, số lần restart và mức sử dụng. Hướng dẫn này đưa bạn từ một workspace trống đến bước kiểm tra sức khỏe cluster và điều tra một pod lỗi trong khoảng 15 phút.
Bạn cần gì
Mỗi workspace có một kết nối Kubernetes, và CloudThinker làm việc trong current context của kubeconfig. Chọn một cluster bạn muốn kiểm tra. Với nhiều cluster, hãy dùng mỗi cluster một workspace, hoặc thêm kết nối Rancher để có inventory và sức khỏe trên các cluster mà Rancher quản lý.
Bước 1: Kết nối cluster
1
Tạo service account chỉ đọc
Lưu manifest bên dưới thành Manifest tạo namespace
Secret chứa token không bao giờ tự hết hạn. Để xoay vòng, xóa Secret, áp dụng lại manifest, tạo lại kubeconfig và thay file đó trong CloudThinker. Xem Bảo mật để biết các lệnh và cách thu hồi quyền truy cập.
cloudthinker-reader.yaml và áp dụng manifest:cloudthinker, service account cloudthinker-reader, một ClusterRole gắn với service account đó, và một Secret chứa token dài hạn. Role chỉ cấp get, list và watch, và không bao giờ cấp trên Secret:cloudthinker-reader.yaml
cloudthinker-reader.yaml
2
Tạo kubeconfig cho tài khoản đó
Chạy đoạn sau từ một shell có Trên các bản macOS cũ, thay Nếu lệnh liệt kê các node với
kubectl context hiện tại là cluster đích. Đoạn script đọc server URL từ context đó, đọc token và chứng chỉ CA từ Secret, nên bạn không cần điền gì. Kết quả được ghi ra file cloudthinker-kubeconfig.yaml:base64 --decode bằng base64 -D. Sau đó kiểm tra file:STATUS là Ready, bước kiểm tra kết nối của CloudThinker cũng sẽ thành công. CloudThinker chạy đúng lệnh này.3
Tải lên trong CloudThinker
Trong thanh bên, nhấn More → Workspace settings → Connections, chọn Kubernetes, tải file lên trường KUBECONFIG và nhấn Connect.Trạng thái chuyển qua Connecting và Verifying đến Connected. Nếu kiểm tra thất bại, hộp thoại hiển thị Failed hoặc Timed out kèm lỗi từ cluster. Xem Khắc phục sự cố.
Bước 2: Kiểm tra sức khỏe cluster
Bắt đầu bằng một kiểm tra nhanh để xác nhận kết nối thấy đúng những gì bạn mong đợi:
Nêu tên namespace, hoặc một label như
app.kubernetes.io/part-of=web, trong mỗi prompt. Một cụm từ mơ hồ như “the web deployments” khiến CloudThinker phải đoán ý bạn.
Trong namespace payments của một nhóm, prompt định cỡ đã đánh dấu hai service chạy ở khoảng 20% CPU (cấp phát thừa) và một service, payment-processor, chạy trên 80% CPU và gần chạm giới hạn memory. Pod đó có nguy cơ bị OOM (out-of-memory) kill. Prompt về tự động co giãn sau đó cho thấy service này chỉ có 2 replica và không có Horizontal Pod Autoscaler (HPA).
Bước 3: Điều tra một pod lỗi
Khi đã có sự cố, hãy nêu tên namespace và mô tả triệu chứng:Áp dụng bản sửa
Với vai trò chỉ đọc, các lệnh thay đổi nhưscale, rollout restart, cordon, drain hoặc apply thất bại với 403, kể cả sau khi bạn phê duyệt. Để cho phép một thay đổi, trước tiên hãy gắn một Role chỉ có các verb cần thiết, rồi phê duyệt lệnh khi CloudThinker hỏi. Role này chỉ cho phép CloudThinker scale và restart deployment trong payments:
Chạy theo lịch
Khi một prompt cho bạn câu trả lời hữu ích, hãy chạy lại prompt đó theo lịch để kết quả kiểm tra sức khỏe đến trước khi có ai bị page. Mở Automations trong thanh bên, chọn New automation và chọn Create with chat (hoặc gõ/create-automation trong chat). Sau đó mô tả công việc, ví dụ:
Khắc phục sự cố
Kiểm tra kết nối không truy cập được cluster
Kiểm tra kết nối không truy cập được cluster
Địa chỉ API server trong kubeconfig không truy cập được từ internet. Kiểm tra xem địa chỉ này có chỉ truy cập được qua VPN không. Nếu bạn dùng allowlist (EKS public access CIDRs, GKE authorized networks, AKS authorized IP ranges), hãy thêm các IP egress của CloudThinker vào đó. Hỏi đầu mối CloudThinker của bạn để lấy danh sách hiện tại.
Câu trả lời không có số liệu CPU hoặc memory
Câu trả lời không có số liệu CPU hoặc memory
Metrics Server chưa được cài đặt hoặc chưa sẵn sàng. Chạy
kubectl top nodes để kiểm tra. Trạng thái pod, event và điều kiện node vẫn hoạt động khi không có Metrics Server.Câu trả lời nhắc đến lỗi 403 trên một tài nguyên
Câu trả lời nhắc đến lỗi 403 trên một tài nguyên
ClusterRole không bao gồm tài nguyên đó. Lỗi có nêu tên tài nguyên, nên hãy thêm tài nguyên đó vào role (hoặc cố ý bỏ ra, như với Secret).
Câu trả lời nói về sai cluster
Câu trả lời nói về sai cluster
CloudThinker dùng current context của kubeconfig. Tạo lại file từ cluster bạn muốn. Sau đó mở Kubernetes trong Connections, nhấn biểu tượng bút chì trên hàng của kết nối, nhấn Replace… trong Edit Instance, tải file mới lên và nhấn Save and test.
Kiểm tra thất bại với lỗi exec plugin hoặc file not found
Kiểm tra thất bại với lỗi exec plugin hoặc file not found
Bạn đã tải lên một kubeconfig đăng nhập qua lệnh cục bộ (như
aws, gcloud hoặc kubelogin) hoặc trỏ đến file cục bộ. Hãy tạo kubeconfig dựa trên token ở Bước 1 và tải file đó lên. Kubeconfig mặc định từ aws eks update-kubeconfig và gcloud container clusters get-credentials đều dùng plugin exec, nên đừng tải chúng lên.Bước tiếp theo
Kết nối Kubernetes
Thiết lập đầy đủ, manifest quyền và cách thu hồi quyền truy cập
Approvals
Cách Approval mode quyết định một thay đổi như scale hoặc restart