Human-in-the-loop: Thiết kế cơ chế giám sát và phê duyệt của con người trong quy trình AI.

Có người bấm duyệt chưa chắc có giám sát thực chất

Một quy trình yêu cầu nhân viên duyệt mọi gợi ý AI trước khi thực hiện. Nhưng người duyệt không nhìn được nguồn, phải xử lý quá nhiều yêu cầu và thường chấp nhận theo mặc định. Hệ thống có con người tham gia trên sơ đồ, song khả năng phát hiện sai chưa được chứng minh.

Human-in-the-loop cần được thiết kế theo quyết định, hậu quả và điều kiện công việc. Người tham gia phải biết kiểm gì, có thông tin để kiểm, có thời gian và quyền thay đổi kết quả. CAIO cần đánh giá cả chất lượng mô hình lẫn chất lượng cơ chế giám sát, để trách nhiệm không trở thành một chữ ký sau cùng.

Đào tạo CAIO hỗ trợ nối mức tự động hóa với quản trị và triển khai. Human-in-the-loop không phải một mẫu giống nhau cho mọi use case; mức tham gia cần phù hợp nhiệm vụ và khả năng xử lý trong vận hành.

Xác định quyết định nào cần con người tham gia

Tách gợi ý, phê duyệt và hành động. AI có thể cung cấp thông tin, đề xuất lựa chọn hoặc chuẩn bị giao dịch. Người tham gia có thể kiểm trước, giám sát trong quá trình hoặc xem sau theo phạm vi được phép. Các cách này khác nhau về thời điểm phát hiện và khả năng ngăn hậu quả.

Xem người bị ảnh hưởng, mức độ sai, khả năng nhận biết và phục hồi. Nếu hành động khó đảo ngược hoặc ảnh hưởng đáng kể, kiểm sau không nhất thiết phù hợp. Nếu nhiệm vụ có hậu quả hạn chế và cơ chế phát hiện tốt, có thể thiết kế mức tham gia khác, nhưng cần người có thẩm quyền xác nhận.

NIST AI RMF nhìn tương tác con người và AI trong quản lý rủi ro. Trong doanh nghiệp, cần chuyển thành quyền cụ thể: ai quyết định, AI được phép làm gì và trường hợp nào phải chuyển chuyên gia. Không dùng nhãn có người giám sát để thay phần đánh giá này.

Chọn điểm kiểm có thể ngăn hoặc xử lý lỗi

Kiểm trước hành động cho phép từ chối, sửa hoặc yêu cầu thêm thông tin. Nhưng nó cần thời gian và người có năng lực. Kiểm theo ngoại lệ có thể giảm tải nếu tiêu chí chuyển đáng tin và đã được kiểm chứng. Kiểm mẫu sau phù hợp một số mục đích giám sát, nhưng có thể bỏ lỡ lỗi ở giao dịch không được chọn.

Đừng đặt mọi niềm tin vào điểm tự tin của mô hình hoặc câu nó tự nói chắc chắn. Các tín hiệu cần được kiểm chứng trong nhiệm vụ và dữ liệu thực. Nếu không có cách phân biệt trường hợp khó, việc chuyển theo ngưỡng có thể bỏ những lỗi quan trọng.

Bảng là khung lựa chọn, không mặc định mọi cơ chế đều phù hợp. Các quyết định cần dựa vào bối cảnh, nguồn lực và hậu quả. Có thể phải thu hẹp tự động hóa nếu khả năng giám sát chưa đáp ứng, thay vì giữ thiết kế rồi yêu cầu nhân viên cố kiểm nhiều hơn.

Cung cấp thông tin để người duyệt đánh giá

Người duyệt cần hiểu nhiệm vụ, nguồn, phạm vi và phần còn thiếu. Với bản nháp, có thể cần nội dung gốc và những điều kiện không được bỏ. Với gợi ý phân loại, cần thông tin hồ sơ và lý do có thể xem xét, không chỉ một nhãn do mô hình trả.

Giao diện phải làm rõ hành động sắp thực hiện và phạm vi ảnh hưởng. Duyệt một nội dung khác với cho phép gửi tới nhiều người hoặc cập nhật dữ liệu. Người duyệt nên biết mình đang xác nhận điều gì và có đường hủy, sửa hoặc chuyển khi chưa chắc.

OECD AI Principles đề cập minh bạch và khả năng hiểu, thách thức kết quả trong bối cảnh phù hợp. Ở quy trình doanh nghiệp, điều này cần được thể hiện bằng thông tin và cơ chế phản hồi thực tế. Một giải thích dài do AI tự tạo chưa tự chứng minh nguyên nhân của kết quả hoặc thay nguồn để kiểm tra.

Giao quyền và trách nhiệm vừa sức

Người duyệt phải có quyền từ chối hoặc yêu cầu xử lý, không chỉ được phép chấp nhận. Khi họ không thể xác nhận, cần đầu mối và quy tắc chuyển. Những quyết định vượt thẩm quyền phải đi đúng cấp, cùng thông tin về tác động và lựa chọn.

Phân biệt người kiểm nội dung với người chấp nhận rủi ro và người thực hiện giao dịch. Có thể cùng một người trong phạm vi nhỏ, nhưng vai trò vẫn phải rõ. Các chức năng dữ liệu, an toàn hoặc chuyên môn nhận phần đánh giá phù hợp, tránh đặt toàn bộ trách nhiệm lên người dùng cuối.

Quản trị rủi ro IT hỗ trợ nối hậu quả với quyền chấp nhận. Nếu một kiểm soát chưa đủ, CAIO cần trình lựa chọn giảm phạm vi, đổi thiết kế hoặc bố trí nguồn lực, thay vì mặc định chữ ký của nhân viên đã xử lý phần rủi ro đó.

Tính tải kiểm tra và thiết kế đường dự phòng

Ước lượng khối lượng, thời gian kiểm và mức độ khó theo nhiệm vụ đại diện. Cần xem giờ cao điểm, người vắng và các trường hợp phải chuyển. Nếu số gợi ý tăng, khả năng người duyệt có thể không tăng tương ứng. Giám sát phải có năng lực vận hành, không chỉ có tên trên sơ đồ.

Đặt cách xử lý khi hàng chờ vượt mức đã xác nhận: giảm mức tự động hóa, tạm dừng phần hành động, ưu tiên nhiệm vụ hoặc chuyển sang quy trình phù hợp. Ngưỡng cần do tổ chức xác định theo mục tiêu và rủi ro. Không tự chấp nhận mọi gợi ý để giải phóng hàng chờ.

Quản lý đội ngũ IT hỗ trợ phân công, tính năng lực và phát triển kỹ năng. Nếu người kiểm phải nhận thêm trách nhiệm, cần điều chỉnh công việc và cách đánh giá, để yêu cầu giám sát không mâu thuẫn với áp lực tốc độ.

Huấn luyện bằng lỗi và ngoại lệ có ý nghĩa

Đào tạo cần gồm nhiệm vụ đúng, đầu ra sai nhưng thuyết phục, thiếu căn cứ và hành động vượt phạm vi. Người học phải thực hành sửa, từ chối và chuyển, không chỉ xem hướng dẫn bấm nút. Kiểm tra khả năng giải thích vì sao họ quyết định và thông tin nào còn cần.

Quản lý trực tiếp cần thống nhất cách giao việc và hỗ trợ. Nếu nhân viên bị đánh giá chỉ theo số giao dịch duyệt nhanh, họ có thể bỏ kiểm. Cần kết nối chất lượng, thời gian và việc báo sớm, đồng thời tránh đánh giá lỗi mô hình như lỗi cá nhân khi điều kiện giám sát chưa đủ.

NIST Generative AI Profile có góc nhìn rủi ro từ tương tác con người và AI. Trong thực hành, hãy quan sát hành vi dựa quá mức hoặc sử dụng ngoài mục đích, rồi xem thiết kế, đào tạo và tải công việc thay vì chỉ nhắc người dùng cẩn thận.

Tình huống giả định: duyệt phản hồi khách hàng

Một doanh nghiệp giả định dùng AI chuẩn bị phản hồi. Nhân viên duyệt trước gửi nhưng giao diện chỉ hiển thị bản nháp, còn hồ sơ nguồn nằm ở hệ thống khác. Khi khối lượng tăng, việc kiểm tra chậm và nhân viên có xu hướng đọc lướt.

CAIO cùng chủ dịch vụ đưa thông tin cần đối chiếu vào luồng, xác định loại câu hỏi phải chuyển và quyền từ chối. Nhóm thử cả phản hồi đúng, thiếu điều kiện và không đủ nguồn, đo thời gian cùng khả năng phát hiện. Kế hoạch tải nêu cách xử lý khi người duyệt không đủ năng lực tiếp nhận.

Quyền gửi vẫn được kiểm tra trong hệ thống nghiệp vụ. Tình huống không giả định chất lượng đã đạt; nó minh họa rằng thêm người duyệt phải đi cùng thiết kế thông tin và khả năng vận hành.

Đo hiệu lực của giám sát

Theo dõi tỷ lệ phát hiện lỗi trong mẫu phù hợp, loại lỗi đi qua, việc phải chuyển, thời gian và hàng chờ. Tỷ lệ từ chối thấp không tự chứng minh AI tốt; có thể do thiếu thông tin hoặc duyệt theo mặc định. Tỷ lệ sửa cao cũng cần xem nguyên nhân, không kết luận người dùng chống đối.

Giữ bằng chứng trong phạm vi dữ liệu được phép. Xem các quyết định quan trọng và lỗi lặp lại, cập nhật tiêu chí hoặc nguồn khi cần. Nếu mô hình, người dùng hoặc mức hành động đổi, đánh giá lại cơ chế giám sát tương ứng.

Quản lý dịch vụ IT hỗ trợ tổ chức tiếp nhận và xử lý tín hiệu từ vận hành. CAIO cần bảo đảm những thông tin này dẫn tới hành động có chủ, không chỉ một báo cáo nói đã có người kiểm.

Kiểm tra cơ chế trước khi tăng tự động hóa

• Quyết định nào cần kiểm trước và vì sao?
• Người kiểm nhìn được nguồn và hiểu hành động sắp thực hiện không?
• Họ có quyền sửa, từ chối và chuyển theo thẩm quyền không?
• Tín hiệu ngoại lệ đã được kiểm chứng trong phạm vi sử dụng chưa?
• Khối lượng, người dự phòng và điều kiện dừng đã rõ chưa?
• Hiệu lực giám sát có được đo ngoài số lượt duyệt không?

Human-in-the-loop tạo giá trị khi con người thực sự có khả năng kiểm soát quyết định trong điều kiện làm việc. CAIO cần thiết kế thông tin, quyền và nguồn lực cùng nhau, rồi kiểm chứng qua nhiệm vụ và lỗi có ý nghĩa trước khi mở rộng mức tự động hóa.

Bài viết liên quan

• Quản trị vòng đời hệ thống AI: Từ thử nghiệm, triển khai đến giám sát và cải tiến.
• Quản trị Shadow AI: Khi nhân viên sử dụng AI ngoài phạm vi kiểm soát của doanh nghiệp.
• Thiết lập tiêu chí đánh giá chất lượng AI trước khi triển khai vào quy trình kinh doanh.
• Đầu tư mô hình AI nhưng nhân viên không dùng: Vì sao đào tạo quyết định kết quả?

Nguồn tham khảo

1. NIST – AI Risk Management Framework, Appendix C
2. OECD – AI Principles
3. NIST – AI RMF: Generative Artificial Intelligence Profile