Kiểm chứng
Đo đúng thứ tạo ra giá trị.
Benchmark, Bộ Chuẩn Vàng và nghiệm thu trước khi mở rộng.
CHINH PHONG không xem tốc độ OCR là chỉ số cuối cùng. Mỗi dự án phải thống nhất một bộ chỉ số chất lượng và năng lực gắn với đầu ra được chấp nhận.
Chỉ số
Chúng tôi đo gì
| Chỉ số | Cách hiểu |
|---|---|
| R = Accepted Output / Day / Production Unit | Số đối tượng/hồ sơ đủ điều kiện bàn giao mỗi ngày trên một đơn nguyên. |
| Critical Field Accuracy | Độ chính xác của các trường trọng yếu. |
| Auto-Pass Rate | Tỷ lệ hệ thống tự xác nhận đạt theo rule đã khóa. |
| Review Rate | Tỷ lệ cần người kiểm tra. |
| Rework Rate | Tỷ lệ phải xử lý lại. |
| Source Issue Rate | Tỷ lệ không thể hoàn tất do dữ liệu nguồn thiếu/hỏng. |
| Traceability Coverage | Tỷ lệ dữ liệu có thể truy ngược nguồn theo yêu cầu. |
| Stability | Khả năng chạy liên tục trong cửa sổ benchmark đã thống nhất. |
Định nghĩa chỉ số được thống nhất theo từng dự án trước khi benchmark; không công bố số liệu công khai nếu chưa được phê duyệt.
Bộ Chuẩn Vàng
Bộ Chuẩn Vàng khóa những gì
Bộ Chuẩn Vàng là hợp đồng kỹ thuật giữa năng lực AI và yêu cầu nghiệp vụ.
Dữ liệu đại diện
Tập dữ liệu dùng để định nghĩa, kiểm tra và kiểm tra lại chuẩn.
Schema
Cấu trúc đầu ra mà dữ liệu phải khớp.
Định nghĩa trường
Ý nghĩa, kiểu, định dạng và giá trị hợp lệ của từng trường.
Nguồn ưu tiên
Nguồn nào thắng khi các tài liệu mâu thuẫn.
Trường trọng yếu
Những trường bắt buộc đúng trước khi nghiệm thu.
Rule mâu thuẫn
Cách xử lý khi các nguồn mâu thuẫn nhau.
Rule thiếu nguồn
Cách xử lý khi thiếu nguồn bắt buộc.
Pass/fail
Điều kiện để một bản ghi hoặc một lô đạt hay không đạt.
Phương pháp lấy mẫu
Cách chọn bản ghi để kiểm tra và lấy mẫu lại.
Đầu mối nghiệm thu
Vai trò ký xác nhận nghiệm thu trước khi mở rộng.
Nguyên tắc cho mọi mở rộng
Không có Bộ Chuẩn Vàng, không mở rộng sản xuất công nghiệp.
Benchmark & nghiệm thu
Nghiệm thu diễn ra thế nào
Benchmark chạy trên tập dữ liệu đại diện, đối chiếu với Bộ Chuẩn Vàng đã khóa, trong một cửa sổ đã thống nhất. Kết quả bao gồm độ chính xác trên trường trọng yếu, tỷ lệ tự đạt, cần kiểm tra, xử lý lại, lỗi nguồn, độ phủ truy nguyên và độ ổn định. Các ngoại lệ được rà soát, xử lý lại và lấy mẫu lại. Nghiệm thu được ký bởi đầu mối đã thống nhất trước khi mở rộng.
Cách bắt đầu
Bắt đầu từ một tập dữ liệu đại diện
Chọn một tập dữ liệu đại diện, khóa Bộ Chuẩn Vàng và chạy benchmark trước khi mở rộng sản xuất.
Related