Vì sao cần bộ test?
Đầu ra AI có thể thay đổi theo cách diễn đạt, dữ liệu đầu vào, mô hình và cấu hình. Khi sửa prompt để khắc phục một lỗi, bạn có thể vô tình làm hỏng một trường hợp khác. Bộ test giữ lại các tình huống quan trọng để chạy lại sau mỗi thay đổi.
Tạo tập mẫu có chủ đích
Bắt đầu với khoảng 20–50 ví dụ nếu khối lượng và rủi ro cho phép; đây là điểm khởi đầu thực dụng, không phải con số chuẩn cho mọi dự án. Bao gồm ca thường gặp, đầu vào thiếu, dữ liệu mâu thuẫn, yêu cầu ngoài phạm vi, câu hỏi không có đáp án và trường hợp dễ bị chỉ dẫn độc hại. Dùng dữ liệu đã được phép sử dụng hoặc dữ liệu giả lập.
Viết tiêu chí trước khi xem kết quả
Với mỗi mẫu, ghi đầu vào, kết quả mong đợi hoặc rubric, mức độ nghiêm trọng của lỗi và lý do. Chấm các tiêu chí riêng: tính đúng, đủ ý, bám nguồn, định dạng, an toàn và khả năng từ chối. Với câu trả lời mở, không nhất thiết chỉ có một câu chữ đúng; tiêu chí cần mô tả đặc tính của câu trả lời tốt.
So sánh phiên bản công bằng
Lưu prompt, tên mô hình, cấu hình, ngày chạy và phiên bản bộ dữ liệu. Chạy bản cũ và bản mới trên cùng một tập mẫu. So sánh tỷ lệ đạt chuẩn tổng thể lẫn từng nhóm rủi ro; đừng chỉ xem điểm trung bình vì một lỗi nghiêm trọng có thể bị che khuất bởi nhiều câu dễ.
Kết hợp chấm tự động và con người
Có thể dùng kiểm tra mã cho JSON, trường bắt buộc, giới hạn độ dài hoặc liên kết. Với độ chính xác, sắc thái, tính công bằng và mức độ gây hại, cần rubric rõ và người đánh giá ở những trường hợp quan trọng. Nếu dùng một mô hình khác để chấm, hãy kiểm tra độ nhất quán của bộ chấm bằng một mẫu đã được con người đánh giá.
Quy trình sau mỗi lần thay đổi
1) Thêm lỗi mới vào tập hồi quy. 2) Chạy baseline. 3) Sửa một yếu tố. 4) Chạy lại toàn bộ test liên quan. 5) Xem lỗi nghiêm trọng trước điểm trung bình. 6) Ghi quyết định phát hành và điều kiện rollback. Không xóa ca khó chỉ vì phiên bản mới liên tục thất bại.