Vì sao human in the loop vẫn cần con người tham gia?

Đó là lý do xuất hiện mô hình human-in-the-loop (HITL): hệ thống thực hiện phần việc mà máy làm tốt, còn con người tham gia tại những điểm mà phán đoán của con người tạo ra giá trị hoặc giúp kiểm soát rủi ro.

Human in the loop là gì?

Human in the loop là mô hình thiết kế trong đó con người được đặt trực tiếp vào vòng xử lý của một hệ thống tự động, thay vì để hệ thống tự đưa ra và thực thi mọi quyết định từ đầu đến cuối.

Trong một quy trình HITL, máy có thể:

·         Thu thập và xử lý dữ liệu

·         Phát hiện mẫu hoặc bất thường

·         Đưa ra dự đoán hoặc đề xuất

·         Xếp hạng các khả năng

·         Tự động thực hiện những tác vụ có rủi ro thấp

Sau đó, con người có thể:

·         Kiểm tra kết quả

·         Bổ sung thông tin hoặc ngữ cảnh

·         Phê duyệt hoặc từ chối đề xuất

·         Điều chỉnh kết quả

·         Xử lý trường hợp ngoại lệ

·         Can thiệp khi hệ thống không đủ chắc chắn

Điểm quan trọng là con người không nhất thiết phải tham gia vào mọi bước. HITL có thể chỉ yêu cầu con người xuất hiện tại những điểm có ý nghĩa đối với chất lượng, an toàn hoặc quyết định cuối cùng.

Trong machine learning, HITL còn được sử dụng để đưa kiến thức và kinh nghiệm của con người vào quá trình tạo dữ liệu, huấn luyện hoặc can thiệp vào mô hình. Một khảo sát về HITL trong machine learning mô tả cách tiếp cận này như sự kết hợp giữa năng lực của mô hình và kiến thức, kinh nghiệm của con người.

Vì sao hệ thống tự động vẫn cần con người?

Máy giỏi xử lý quy mô lớn nhưng không phải lúc nào cũng hiểu đầy đủ ngữ cảnh

Hệ thống tự động có lợi thế rõ ràng khi phải xử lý lượng dữ liệu lớn hoặc thực hiện một quy trình lặp lại. Tuy nhiên, một quyết định thực tế đôi khi không chỉ phụ thuộc vào dữ liệu mà hệ thống đang nhìn thấy.

Ví dụ, cùng một tín hiệu có thể mang ý nghĩa khác nhau tùy hoàn cảnh. Một mô hình có thể nhận diện một mẫu bất thường nhưng không biết liệu đó là lỗi thực sự, một trường hợp hiếm nhưng hợp lệ hay một tình huống chưa từng xuất hiện trong dữ liệu huấn luyện.

NIST lưu ý rằng các hệ thống AI có thể chuyển những hiện tượng và quyết định phức tạp của con người thành các biểu diễn định lượng; quá trình này có thể làm mất một phần ngữ cảnh cần thiết để đánh giá tác động của hệ thống.

Con người vì vậy có thể đóng vai trò bổ sung ngữ cảnh mà hệ thống không quan sát được hoặc không biểu diễn tốt.

Một số quyết định có hậu quả quá lớn để giao hoàn toàn cho máy

Không phải mọi quyết định đều có cùng mức độ rủi ro.

Nếu hệ thống tự động đề xuất một video có thể không phù hợp, hậu quả thường nhỏ. Nhưng nếu hệ thống hỗ trợ quyết định liên quan đến y tế, tài chính, an toàn hoặc quyền lợi của một cá nhân, một sai sót có thể gây hậu quả đáng kể.

Trong những trường hợp này, con người có thể được đặt tại điểm phê duyệt hoặc can thiệp để:

·         Đánh giá trường hợp bất thường

·         Kiểm tra thông tin quan trọng

·         Xem xét hậu quả của quyết định

·         Từ chối một đề xuất không phù hợp

·         Chịu trách nhiệm đối với quyết định cuối cùng

NIST cũng phân biệt nhiều cấu hình giữa con người và AI, từ hoàn toàn tự động đến hoàn toàn thủ công; một số hệ thống không cần giám sát của con người, trong khi những hệ thống khác có thể cần vai trò giám sát rõ ràng.

Máy có thể sai theo cách mà con người không nên mặc định chấp nhận

Tự động hóa không đồng nghĩa với đúng tuyệt đối.

Một hệ thống có thể tạo ra kết quả sai do dữ liệu không đầy đủ, trường hợp đầu vào khác với dữ liệu đã biết, thay đổi môi trường vận hành hoặc những giới hạn vốn có của mô hình.

Nếu không có cơ chế can thiệp, một lỗi nhỏ ở đầu quy trình có thể được chuyển tiếp thành quyết định cuối cùng mà không có điểm kiểm tra.

HITL tạo ra một điểm kiểm soát trong chuỗi này. Con người có thể xem xét những trường hợp mà hệ thống đánh giá là không chắc chắn hoặc có mức rủi ro cao, thay vì kiểm tra thủ công toàn bộ dữ liệu.

Human in the loop hoạt động như thế nào?

Một quy trình HITL thường có thể hình dung theo chuỗi:

Dữ liệu đầu vào → Hệ thống tự động phân tích → Đề xuất/kết quả → Con người đánh giá khi cần → Quyết định hoặc hành động

Mức độ tham gia của con người phụ thuộc vào cách thiết kế hệ thống.

Con người có thể phê duyệt kết quả

Đây là cấu hình trực tiếp nhất. Máy thực hiện phân tích và đưa ra đề xuất, nhưng một người có thẩm quyền phải phê duyệt trước khi hành động được thực hiện.

Cách này phù hợp khi chi phí của một quyết định sai cao và con người có đủ năng lực để đánh giá kết quả.

Con người chỉ xử lý trường hợp ngoại lệ

Không nhất thiết phải kiểm tra mọi kết quả.

Hệ thống có thể tự xử lý các trường hợp có độ tin cậy cao, đồng thời chuyển những trường hợp bất thường hoặc không chắc chắn cho con người.

Ví dụ, thay vì yêu cầu nhân viên xem toàn bộ hàng nghìn kết quả phân loại, hệ thống có thể chỉ đưa những trường hợp khó phân loại vào hàng đợi kiểm tra.

Cách này giữ được lợi ích của tự động hóa mà không biến con người thành một “bộ xử lý thủ công” cho toàn bộ hệ thống.

Con người có thể phản hồi để cải thiện hệ thống

Vai trò của con người cũng có thể nằm ở vòng học tập.

Khi người dùng sửa kết quả hoặc gắn nhãn một trường hợp, phản hồi đó có thể trở thành dữ liệu giúp cải thiện mô hình hoặc quy trình ở những vòng tiếp theo. Đây là một trong những hướng ứng dụng quan trọng của HITL trong machine learning.

Điểm cần phân biệt là human-in-the-loop không chỉ có nghĩa “có người đứng nhìn hệ thống”. Người đó phải có vai trò được xác định và có khả năng tác động thực sự đến quá trình khi điều kiện yêu cầu.

Khi nào human in the loop thực sự cần thiết?

HITL đặc biệt có giá trị khi hệ thống có một hoặc nhiều đặc điểm sau.

Quyết định có mức rủi ro cao

Nếu sai lầm có thể gây hậu quả lớn, cần xác định rõ con người có quyền kiểm tra, can thiệp hoặc dừng hệ thống ở đâu.

Trường hợp ngoại lệ khó mô hình hóa

Những tình huống hiếm, dữ liệu không đầy đủ hoặc bối cảnh thay đổi nhanh có thể vượt khỏi phạm vi mà mô hình đã học tốt.

Quyết định cần kiến thức chuyên môn hoặc phán đoán

Có những quyết định không chỉ yêu cầu nhận diện mẫu mà còn cần cân nhắc nhiều yếu tố trong bối cảnh thực tế. Khi đó, hệ thống có thể làm công cụ hỗ trợ thay vì là chủ thể quyết định duy nhất.

Cần khả năng giải trình và kiểm soát

Trong những môi trường yêu cầu trách nhiệm rõ ràng, việc xác định ai có quyền phê duyệt, ai được phép ghi đè kết quả và khi nào phải chuyển cấp có thể quan trọng không kém độ chính xác của mô hình.

NIST khuyến nghị các tổ chức xác định và phân biệt rõ vai trò, trách nhiệm của con người trong việc sử dụng, giám sát và quản trị hệ thống AI; các quy trình giám sát cũng cần được xác định và đánh giá.

Human in the loop không có nghĩa là con người luôn tốt hơn máy

Đây là một giới hạn quan trọng.

Đưa con người vào quy trình không tự động khiến hệ thống an toàn hoặc chính xác hơn.

Con người cũng có thể mắc sai lầm, bỏ qua cảnh báo hoặc quá tin tưởng vào đề xuất của máy. NIST đặc biệt lưu ý rằng cả con người lẫn hệ thống AI đều có thể mang theo các dạng thiên lệch, trong khi tính thiếu minh bạch của hệ thống có thể làm vấn đề trở nên khó kiểm soát hơn.

Một vấn đề khác là human oversight có thể trở thành hình thức nếu con người không thực sự có khả năng can thiệp. Nếu nhân viên phải kiểm tra quá nhiều kết quả, họ có thể không đủ thời gian để xem xét từng trường hợp một cách nghiêm túc.

Vì vậy, thiết kế HITL cần trả lời được ít nhất ba câu hỏi:

1.    Khi nào con người phải can thiệp?

2.    Con người có quyền thay đổi hoặc từ chối kết quả của hệ thống đến mức nào?

3.    Hệ thống ghi nhận và đánh giá hiệu quả của những lần con người can thiệp ra sao?

NIST cũng khuyến nghị theo dõi mức độ giám sát của con người, các lần ghi đè kết quả của hệ thống và những lỗi hoặc khiếu nại phát sinh trong quá trình vận hành.

Do đó, mục tiêu không phải là “càng nhiều con người càng tốt”, mà là đặt con người đúng vào những điểm mà phán đoán, trách nhiệm hoặc kiểm soát rủi ro tạo ra giá trị thực sự.

Human in the loop khác gì với hệ thống hoàn toàn tự động?

Sự khác biệt nằm ở quyền can thiệp và vị trí của con người trong vòng quyết định.

Trong hệ thống hoàn toàn tự động, máy có thể nhận đầu vào, xử lý và thực hiện hành động mà không cần con người tham gia trong quá trình vận hành cụ thể.

Trong HITL, một hoặc nhiều bước quyết định được thiết kế để con người tham gia trực tiếp.

Ngoài ra còn có cấu hình gần với human-on-the-loop, trong đó con người chủ yếu giám sát hệ thống và chỉ can thiệp khi phát hiện vấn đề. Ranh giới giữa các cấu hình này cần được xác định rõ thay vì gọi chung mọi hình thức giám sát là HITL.

Vì vậy, “có con người” chưa đủ để xác định một hệ thống là HITL. Cần xem con người tham gia ở đâu, có quyền gì và có thể tác động đến kết quả như thế nào.

Human in the loop không phải là dấu hiệu cho thấy tự động hóa thất bại. Ngược lại, đó có thể là cách kết hợp thế mạnh của hai phía: máy đảm nhiệm việc xử lý nhanh, nhất quán và ở quy mô lớn; con người đảm nhiệm những phần cần ngữ cảnh, phán đoán, trách nhiệm và xử lý ngoại lệ.

Một hệ thống HITL tốt vì thế không cố giữ con người trong mọi bước. Nó xác định rõ điểm nào nên tự động hóa, điểm nào cần con người kiểm tra và điều kiện nào phải cho phép con người can thiệp. Khi thiết kế đúng, con người không còn là “nút thắt” của tự động hóa mà trở thành một lớp kiểm soát có chủ đích trong toàn bộ hệ thống.