Mạng nơ ron nhân tạo xử lý thông tin theo nguyên lý nào?

Cần tách xử lý thông tin khỏi học. Trong một lượt lan truyền tiến, mạng dùng các tham số hiện có để biến đổi đầu vào thành dự đoán. Trong huấn luyện, dự đoán còn được so với mục tiêu để tính sai số; gradient của sai số sau đó được dùng để điều chỉnh trọng số và độ lệch. Vì thế, “các lớp học biểu diễn dữ liệu” nghĩa là quá trình tối ưu làm thay đổi các phép biến đổi bên trong sao cho biểu diễn trung gian hữu ích hơn đối với mục tiêu học.

Mạng nơ-ron nhân tạo xử lý dữ liệu bằng chuỗi biến đổi có tham số

Một mạng nơ-ron nhân tạo có thể được nhìn như một chuỗi hàm số nối tiếp nhau. Mỗi lớp nhận một vector đầu vào, thực hiện phép biến đổi bằng ma trận trọng số và vector độ lệch, sau đó thường áp dụng một hàm kích hoạt. Với lớp thứ l, cách viết khái quát là:

x(l 1)=f(W(l)x(l) b(l))

Trong đó, x(l) là biểu diễn dữ liệu ở lớp hiện tại, W(l) là các trọng số, b(l) là độ lệch và f là hàm kích hoạt. Kết quả của lớp này trở thành đầu vào của lớp kế tiếp. Toàn bộ mạng vì thế là sự hợp thành của nhiều phép biến đổi.

Cách nhìn này giải thích nguyên lý xử lý thông tin của mạng rõ hơn phép so sánh với não người. “Thông tin” trong mạng không di chuyển dưới dạng ý nghĩa hay khái niệm có sẵn; nó được mã hóa thành các giá trị số. Ý nghĩa mà ta gán cho đầu ra xuất hiện vì các tham số của mạng đã được huấn luyện để tạo ra một ánh xạ phù hợp giữa dữ liệu đầu vào và mục tiêu.

Trong giai đoạn suy luận, các tham số thường được giữ cố định. Mạng chỉ thực hiện chuỗi biến đổi từ đầu vào đến đầu ra. Việc thay đổi trọng số để “học” chỉ xảy ra trong giai đoạn huấn luyện hoặc khi hệ thống được thiết kế để tiếp tục cập nhật sau đó. Phân biệt hai giai đoạn này giúp tránh hiểu nhầm rằng mạng tự thay đổi mỗi khi nhận một mẫu mới.

Một nơ-ron nhân tạo tính toán đầu vào như thế nào?

Một nơ-ron nhân tạo là đơn vị tính toán đơn giản hơn rất nhiều so với nơ-ron sinh học. Nó nhận nhiều giá trị đầu vào x1​,x2​,...,xn​, nhân từng giá trị với một trọng số tương ứng rồi cộng thêm độ lệch:

z=i=1∑n​wi​xi​ b

Sau đó, giá trị z được đưa qua hàm kích hoạt:

a=f(z)

Trọng số wi​ quyết định cách từng đầu vào đóng góp vào tổng z. Chính tích wi​xi​ mới xác định đóng góp là dương hay âm; khi xi​ dương, trọng số dương làm z tăng còn trọng số âm làm z giảm. Độ lớn của trọng số chi phối độ nhạy tương đối với đầu vào đó, trong khi độ lệch b dịch chuyển mức kích hoạt thay vì buộc phép biến đổi đi qua gốc tọa độ.

Ví dụ, với hai đầu vào x1​=0,6, x2​=0,2, trọng số w1​=0,8, w2​=−0,5 và độ lệch b=0,1, ta có:

z=0,8×0,6−0,5×0,2 0,1=0,48

Nếu dùng ReLU, f(z)=max(0,z), đầu ra của nút là 0,48. Ví dụ nhỏ này cho thấy một nút không “nhận biết” mẫu theo nghĩa con người; nó chỉ thực hiện phép kết hợp số theo các tham số đã được học.

Hàm kích hoạt tạo ra tính phi tuyến. Đây là điều kiện quan trọng nếu mạng cần mô tả những quan hệ phức tạp. Nếu tất cả các lớp chỉ thực hiện phép biến đổi tuyến tính hoặc affine, nhiều lớp vẫn có thể gộp lại thành một phép biến đổi affine duy nhất. Chẳng hạn:

W2​(W1​x b1​) b2​=(W2​W1​)x (W2​b1​ b2​)

Vì vậy, chỉ xếp chồng nhiều lớp tuyến tính không tự tạo ra khả năng biểu diễn phi tuyến. Các hàm kích hoạt như ReLU, sigmoid hoặc tanh làm cho chuỗi biến đổi có thể tạo các ranh giới và quan hệ phức tạp hơn.

Các lớp nút học biểu diễn dữ liệu theo nguyên lý nào?

Một lớp ẩn không cần được lập trình thủ công để “tìm” một đặc trưng cụ thể. Nó tạo một vector mới từ vector của lớp trước, và các tham số của phép biến đổi được điều chỉnh trong quá trình huấn luyện. Khi nhiều lớp được nối tiếp, mỗi lớp làm việc trên biểu diễn do lớp trước tạo ra chứ không nhất thiết trực tiếp trên dữ liệu thô ban đầu.

Giả sử đầu vào là vector x. Lớp đầu tạo h1​=f(W1​x b1​); lớp sau tạo h2​=f(W2​h1​ b2​). h1​ và h2​ là các biểu diễn trung gian. Chúng không phải những “nhãn” cố định được gắn sẵn. Giá trị của chúng thay đổi theo dữ liệu và theo các tham số mà quá trình huấn luyện đã tìm được.

Các lớp trung gian trở nên hữu ích vì tất cả chúng cùng chịu tác động của mục tiêu tối ưu ở đầu ra. Gradient của hàm mất mát được truyền đến tham số ở từng lớp; nếu thay đổi một tham số làm mất mát giảm, thuật toán tối ưu có thể tiếp tục cập nhật theo hướng đó. Qua nhiều lần cập nhật trên dữ liệu huấn luyện, các biểu diễn trung gian dần được định hình để hỗ trợ ánh xạ đầu vào–đầu ra mà hàm mất mát đang đánh giá.

Nói “học biểu diễn” vì vậy không có nghĩa mạng tự phát hiện những khái niệm giống hệt cách con người đặt tên. Biểu diễn là cấu hình số bên trong giúp mô hình thực hiện ánh xạ đầu vào–đầu ra tốt hơn theo hàm mất mát đã chọn. Một đặc trưng trung gian có thể rất hữu ích cho mô hình nhưng không nhất thiết có diễn giải trực quan rõ ràng đối với con người.

Vai trò của chiều sâu cũng nằm ở khả năng hợp thành. Một lớp có thể tạo các mẫu biến đổi cơ bản; lớp sau kết hợp những mẫu đó thành cấu trúc ở mức khác. Tuy nhiên, nhiều lớp hơn không mặc nhiên tốt hơn. Khả năng học còn phụ thuộc vào dữ liệu, hàm mất mát, cách tối ưu, kích thước mô hình và việc tín hiệu gradient có truyền hiệu quả qua mạng hay không.

Mạng học bằng cách lan truyền sai số và điều chỉnh trọng số ra sao?

Trong huấn luyện có giám sát điển hình, mạng trước hết thực hiện một lượt lan truyền tiến để tạo dự đoán y^​. Một hàm mất mát L(y^​,y) đo mức chênh lệch giữa dự đoán và mục tiêu y. Mục tiêu của tối ưu hóa là tìm bộ tham số làm giá trị mất mát nhỏ hơn trên dữ liệu huấn luyện.

Để biết từng trọng số nên thay đổi thế nào, lan truyền ngược tính đạo hàm của hàm mất mát theo các tham số. Về toán học, backpropagation áp dụng quy tắc dây chuyền qua chuỗi phép tính của mạng. Nếu một trọng số là w, gradient ∂L/∂w cho biết một thay đổi rất nhỏ của w ảnh hưởng đến mất mát theo chiều nào và với độ nhạy cục bộ ra sao. Backpropagation vì thế chủ yếu tính gradient; việc dùng gradient để cập nhật tham số thuộc về thuật toán tối ưu như gradient descent.

Với gradient descent cơ bản, cập nhật có dạng:

w←w−η∂w∂L​

Trong đó, η là learning rate. Nếu gradient dương, phép trừ làm w giảm; nếu gradient âm, w tăng. Cùng nguyên lý đó được áp dụng cho rất nhiều trọng số và độ lệch trong mạng.

Chu trình học có thể tóm tắt theo bốn bước: lan truyền tiến để tạo dự đoán, tính hàm mất mát, lan truyền ngược để tính gradient, rồi cập nhật tham số. Quá trình này lặp lại trên nhiều mẫu hoặc lô dữ liệu. “Học” vì thế là sự thay đổi có hệ thống của tham số dưới tác động của mục tiêu tối ưu, không phải việc các nút tự ghi nhớ một định nghĩa hay quy tắc bằng ngôn ngữ.

Gradient chỉ cung cấp thông tin cục bộ tại trạng thái tham số hiện tại, nên việc tối ưu còn có điều kiện và giới hạn. Learning rate quá lớn có thể khiến cập nhật vượt quá vùng giảm mất mát hoặc dao động; quá nhỏ có thể làm học chậm. Ngoài ra, giảm mất mát trên dữ liệu huấn luyện không đồng nghĩa mô hình chắc chắn hoạt động tốt trên dữ liệu mới. Đây là lý do cần tách khái niệm “tối ưu được hàm mất mát” khỏi “học được biểu diễn có khả năng khái quát”.

Phép mô phỏng nơ-ron sinh học nên được hiểu đến giới hạn nào?

Tên gọi “nơ-ron” và “mạng nơ-ron” xuất phát từ cảm hứng về việc nhiều đơn vị nhận tín hiệu, tổng hợp tín hiệu và tạo đáp ứng. Ở mức trừu tượng, một nơ-ron nhân tạo cũng nhận nhiều đầu vào, gán mức ảnh hưởng cho chúng và tạo đầu ra cho các đơn vị khác. Đây là điểm tương đồng hữu ích để hình dung cấu trúc mạng.

Nhưng nơ-ron nhân tạo không phải bản sao sinh học. Công thức tổng có trọng số, độ lệch và hàm kích hoạt là một mô hình toán học phục vụ tính toán; nó bỏ qua phần lớn động lực điện hóa, cấu trúc tế bào, thời gian phát xung và cơ chế thích nghi của hệ thần kinh thực. Do đó, việc một ANN học được ánh xạ phức tạp không cho phép suy ra rằng nó xử lý thông tin theo đúng cách bộ não xử lý.

Ở mức tính toán, ANN là một chuỗi phép biến đổi số có tham số. Các nút kết hợp tín hiệu cục bộ, các lớp tạo biểu diễn trung gian, còn huấn luyện thay đổi tham số dựa trên gradient của sai số. Khi chuyển sang suy luận, bộ tham số đã học thường được giữ cố định để xử lý dữ liệu mới.

Trong nghĩa kỹ thuật của học máy, “học” không hàm ý ý thức hay hiểu biết như con người. Nó chỉ việc các tham số được cập nhật theo một quy tắc tối ưu để giảm tiêu chí sai số đã chọn; chính quá trình đó định hình cách các lớp biểu diễn dữ liệu.

Mạng nơ-ron nhân tạo xử lý thông tin bằng chuỗi phép biến đổi số có trọng số, độ lệch và hàm kích hoạt. Mỗi lớp tạo một biểu diễn trung gian; trong huấn luyện, hàm mất mát đo sai số, backpropagation tính gradient và thuật toán tối ưu dùng gradient đó để cập nhật tham số. Các phép biến đổi phi tuyến nối tiếp giúp mạng biểu diễn những quan hệ mà một phép biến đổi tuyến tính đơn lẻ không thể mô tả.

Cốt lõi của nguyên lý này là biến đổi có tham số đo sai số tối ưu tham số. Phép so sánh với nơ-ron sinh học chỉ nên được xem là cảm hứng cấu trúc ở mức trừu tượng, không phải mô tả đầy đủ cách bộ não xử lý thông tin.