Chuyển đến nội dung chính
Mọi số liệu trong ấn bản này đều đến từ một trong các nguồn chính bên dưới. Dùng trang này để kiểm tra một con số trước khi trích dẫn lại, và để quyết định con số đó nên ảnh hưởng đến đánh giá của bạn tới mức nào.

​
Cách đọc các con số

Mỗi con số trong sách thuộc một loại. Loại cho bạn biết nên tin con số đó tới mức nào. Bốn quy tắc áp dụng cho mọi số liệu:
  1. Nguồn gốc được nêu rõ. Chương sách nêu tên nguồn và loại nguồn bên cạnh con số. Số liệu nào không có nguồn, hãy coi là phỏng đoán.
  2. Khoảng giá trị tốt hơn một điểm. “Khoảng 69–88%” trung thực hơn một con số trông có vẻ chính xác. Hãy cẩn trọng với một con số lẻ đến hàng thập phân mà không có phương pháp đi kèm.
  3. Baseline của bạn tốt hơn mọi benchmark. Một điểm số công khai cho bạn biết lĩnh vực đang ở đâu. Chính các sự cố của bạn, được phát lại dưới harness của bạn, mới cho biết một nền tảng có phù hợp với bạn không.
  4. Điểm số không chuyển đổi được. Benchmark chấm điểm một model dưới harness của chính benchmark. Proof of concept của bạn chấm điểm một nền tảng dưới harness của bạn. Kết quả bên này không dự đoán được kết quả bên kia, đó là lý do Phụ lục A tồn tại.

​
Nguồn theo chương

Chúng tôi đã loại bỏ mọi số liệu không thể truy nguồn về một trong các loại này. Nếu bạn thấy một con số trong sách không có hàng tương ứng ở đây, hãy coi con số đó là không có nguồn.

​
Kiểm tra một số liệu trước khi dùng

Thực hiện các kiểm tra này trước khi một con số được đưa vào business case hoặc bảng chấm điểm nhà cung cấp.
1

Xác định loại

Đối chiếu số liệu với hàng tương ứng ở trên. Một con số từ nguồn trực tiếp của nhà cung cấp cần được kiểm tra kỹ hơn một benchmark độc lập.Trạng thái thành công: bạn có thể nêu nguồn và loại nguồn trong một dòng, ví dụ “ITBench, benchmark độc lập, ICML 2025”.
2

Đọc harness

Ghi lại điểm số đã đo gì: model nào, công cụ nào, kịch bản nào, và điều gì được tính là thành công. SREGym cho thấy “cảnh báo đã được xóa” và “lỗi đã được sửa” là hai kết quả khác nhau.Trạng thái thành công: bạn biết số liệu đo việc phát hiện, chẩn đoán hay một bản sửa đã được xác minh.
3

Thay bằng con số của riêng bạn

Phát lại từ 10 sự cố của chính bạn trở lên qua nền tảng bằng golden set từ Phụ lục A. Chấm điểm chúng theo rubric ở Chương 7.Trạng thái thành công: business case của bạn trích dẫn điểm phát lại của chính bạn, chỉ dùng benchmark công khai làm bối cảnh.

​
Bước tiếp theo

Phụ lục A · Kế hoạch kiểm thử POC

Xây dựng golden set và các cổng kiểm tra để tạo ra con số của riêng bạn.

Chương 7 · Đánh giá agent như hệ thống production

Xem các số liệu benchmark được tạo ra thế nào và dễ gây hiểu nhầm ở đâu.