RAG giải quyết vấn đề gì?
Retrieval-augmented generation (RAG) là cách tìm những đoạn tài liệu liên quan rồi đưa chúng vào ngữ cảnh để mô hình soạn câu trả lời. RAG có thể giúp câu trả lời bám sát nguồn được cung cấp, nhưng không tự động bảo đảm tài liệu đúng, mới hoặc được truy xuất đầy đủ. Hãy xem nó là một quy trình truy xuất và tổng hợp có thể kiểm tra, không phải bộ máy chân lý.
Chuẩn bị tài liệu trước khi thêm AI
Bắt đầu với một thư mục nhỏ gồm tài liệu có chủ sở hữu, ngày cập nhật và quyền truy cập rõ ràng. Loại bản trùng, đánh dấu bản hết hiệu lực, giữ tiêu đề và cấu trúc mục, đồng thời tách tài liệu có quyền xem khác nhau. Không đưa toàn bộ kho dữ liệu vào cùng một chỉ mục nếu mọi người dùng không có cùng quyền.
Quy trình tối thiểu
1) Chuẩn hóa tệp và metadata. 2) Chia tài liệu thành đoạn có ngữ cảnh đủ hiểu. 3) Tìm một số đoạn liên quan đến câu hỏi. 4) Yêu cầu mô hình trả lời chỉ dựa trên đoạn đã tìm. 5) Hiển thị nguồn, tiêu đề, ngày hoặc vị trí đoạn. 6) Cho phép trả lời “không tìm thấy căn cứ” khi truy xuất không đủ. 7) Ghi nhận câu hỏi thất bại để cải thiện tài liệu hoặc truy xuất.
Đánh giá bằng câu hỏi thật
Tạo bộ câu hỏi từ công việc thực tế: câu hỏi có đáp án rõ, câu hỏi cần ghép nhiều tài liệu, câu hỏi không có câu trả lời trong kho, và câu hỏi có tài liệu cũ mâu thuẫn với bản mới. Với mỗi câu, ghi đáp án mong đợi, nguồn đúng và các nguồn dễ gây nhầm. Đánh giá riêng việc truy xuất đúng đoạn và việc mô hình diễn giải đúng đoạn đó.
Quy tắc an toàn và vận hành
Không coi nội dung trong tài liệu là quyền ra lệnh cho agent. Giữ quyền truy cập theo người dùng, lọc tài liệu theo quyền trước khi gửi vào mô hình, và yêu cầu xác nhận với thao tác có tác động. Nếu tài liệu có thông tin cá nhân hoặc bí mật kinh doanh, xác định căn cứ sử dụng và chính sách lưu giữ trước khi tải lên dịch vụ bên ngoài.
Checklist trước khi đưa vào dùng
• Có người chịu trách nhiệm cập nhật tài liệu. • Tài liệu có phiên bản và ngày hiệu lực. • Câu trả lời kèm nguồn có thể mở. • Có cách từ chối khi thiếu căn cứ. • Bộ kiểm thử gồm câu trả lời và câu không có đáp án. • Quyền tài liệu được kiểm tra độc lập với lời nhắc AI. • Có quy trình báo lỗi và sửa tài liệu.