Nhiệm vụ 6 · Đánh giá dựa trên bằng chứng
Cho điểm những gì bản ghi hỗ trợ chứ không phải những gì mô hình tưởng tượng.
Tạo ra một đánh giá có giới hạn được hỗ trợ bởi AI với bằng chứng trong bảng ghi được trích dẫn, sự không chắc chắn rõ ràng, tóm tắt thực tế, các hành động được đề xuất và lộ trình ghi đè của con người.
Đánh giá AI mang tính chất tư vấn. Nó không thay thế QA của con người và không được đưa ra các quyết định có tác động lớn về việc làm, tín dụng, pháp lý, y tế hoặc các quyết định tương tự.
Xây dựng trình tự
- Xác định từng tiêu chí phiếu tự đánh giá, điểm giới hạn, bằng chứng trong bảng điểm bắt buộc, lý luận, độ tin cậy và hành vi thiếu bằng chứng.
- Tách bản tóm tắt thực tế khỏi điểm đánh giá và cấm các cam kết được phát minh, thông tin thực tế về khách hàng hoặc kết quả.
- Phiên bản lộ trình phiếu tự đánh giá, lời nhắc và mô hình được sử dụng cho mọi kết quả.
- Chạy hồi quy chuẩn hóa điểm cố định bên dưới, tại và trên mọi ranh giới phạm vi được hỗ trợ.
- Chạy một bản ghi đối nghịch và một ví dụ hiệu chỉnh do con người đánh giá.
- Viết điểm, lý luận, tóm tắt và các hành động tiếp theo vào đúng mục CRM và xác minh read-back.
Bằng chứng bắt buộc
- Phiên bản phiếu tự đánh giá, điểm có cấu trúc JSON và kết quả hồi quy ranh giới chính xác.
- Trích dẫn trong bảng điểm hoặc kết quả không đủ bằng chứng rõ ràng cho mọi tiêu chí.
- Kết quả đối nghịch, so sánh hiệu chuẩn, ghi đè của con người và CRM read-back.
Tệp và nguồn tham khảo
Tài liệu nhà cung cấp chính thức
Cổng đánh giá
Vượt qua
Đạt: mọi điểm đều có thể kiểm tra, liên kết bằng chứng, giới hạn, phiên bản, kiểm tra ranh giới và có thể đảo ngược bởi người đánh giá.
Ôn lại
Sửa đổi: kết quả đầu ra hữu ích tồn tại nhưng các trích dẫn, sự không chắc chắn, ranh giới điểm số, hiệu chỉnh hoặc ghi đè của con người là không đầy đủ.
Thất bại nặng nề
Thất bại nặng nề: bằng chứng bịa đặt, cách tính điểm không được hỗ trợ, sự không chắc chắn tiềm ẩn hoặc các quyết định có tác động cao tự chủ xuất hiện.
Bài gửi được con người đánh giá