Phân cụm dữ liệu chưa gắn nhãn như thế nào?

Quá trình này thường dựa trên cách biểu diễn dữ liệu, thước đo khoảng cách hoặc độ tương đồng và quy tắc hình thành cụm. Kết quả không phải là nhãn đúng–sai được xác định từ trước, mà là cấu trúc nhóm được phát hiện từ chính dữ liệu.

Phân cụm dữ liệu là gì?

Phân cụm dữ liệu là một phương pháp học không giám sát, trong đó các đối tượng được chia thành những nhóm sao cho các đối tượng trong cùng một nhóm có mức độ tương đồng cao hơn so với các đối tượng thuộc những nhóm khác.

Ví dụ, với dữ liệu khách hàng chưa được phân loại, mỗi khách hàng có thể được biểu diễn bằng các thuộc tính như tần suất mua, giá trị đơn hàng và số lần tương tác. Thuật toán có thể phát hiện một nhóm khách hàng có hành vi tương tự nhau mà không cần được cung cấp nhãn “khách hàng thường xuyên” từ trước.

Điểm quan trọng là thuật toán không tự hiểu “giống nhau” theo nghĩa của con người. Nó chỉ có thể phân cụm dựa trên cách dữ liệu được biểu diễn và tiêu chí tương đồng được lựa chọn.

Dữ liệu chưa gắn nhãn được nhóm bằng cách nào?

Quá trình phân cụm có thể hiểu theo chuỗi:

Biểu diễn dữ liệu → đo mức độ tương đồng → tìm cấu trúc nhóm → tạo các cụm → diễn giải kết quả

1. Biểu diễn mỗi đối tượng bằng các đặc trưng

Trước tiên, mỗi đối tượng cần được biểu diễn bằng các đặc trưng có thể sử dụng để so sánh.

Chẳng hạn, một khách hàng có thể được biểu diễn bằng:

·         Số lần mua hàng

·         Giá trị chi tiêu

·         Khoảng thời gian giữa các lần mua

·         Số lần tương tác

Các đặc trưng này tạo thành một biểu diễn cho đối tượng trong không gian dữ liệu.

2. Đo mức độ giống hoặc khác nhau

Thuật toán cần một cách xác định hai đối tượng gần hay xa nhau.

Với dữ liệu số, khoảng cách Euclid là một cách đo phổ biến. Khoảng cách nhỏ thường biểu thị hai điểm gần nhau trong không gian đặc trưng, trong khi khoảng cách lớn biểu thị chúng khác nhau hơn.

Tuy nhiên, không có một thước đo nào phù hợp cho mọi loại dữ liệu. Việc lựa chọn khoảng cách hoặc độ tương đồng có thể ảnh hưởng trực tiếp đến cấu trúc cụm được phát hiện.

3. Tìm những đối tượng có quan hệ gần nhau

Sau khi có cách đo tương đồng, thuật toán tìm kiếm cấu trúc trong dữ liệu.

Một số phương pháp tìm các điểm tập trung quanh tâm cụm, trong khi phương pháp khác xây dựng cụm dựa trên quan hệ lân cận hoặc liên kết giữa các đối tượng.

Kết quả cuối cùng là các nhóm mà trong đó các đối tượng có quan hệ tương đồng theo tiêu chí đã chọn.

Những cách phân cụm dữ liệu phổ biến

Phân cụm dựa trên tâm

K-Means là ví dụ điển hình. Người dùng xác định số cụm cần tìm là K, sau đó thuật toán lần lượt gán các điểm vào tâm cụm gần nhất và cập nhật vị trí tâm dựa trên các điểm thuộc cụm đó.

Phương pháp này phù hợp khi các cụm có cấu trúc tương đối rõ và có thể biểu diễn tốt bằng tâm cụm. Tuy nhiên, kết quả có thể bị ảnh hưởng bởi số cụm K, cách khởi tạo tâm và hình dạng thực tế của dữ liệu.

Phân cụm phân cấp

Phân cụm phân cấp xây dựng quan hệ giữa các đối tượng theo từng mức độ gần nhau, từ đó tạo thành một cấu trúc phân cấp các nhóm.

Ưu điểm là có thể quan sát nhiều mức độ gom nhóm thay vì chỉ nhận một cách chia cụm duy nhất. Người phân tích có thể lựa chọn mức cắt phù hợp với mục tiêu sử dụng.

Phân cụm dựa trên mật độ

Các phương pháp như DBSCAN tìm những vùng có mật độ điểm đủ cao để hình thành cụm và có thể nhận diện các điểm nằm ngoài những vùng đó.

Cách tiếp cận này hữu ích khi dữ liệu có cụm hình dạng không đều và khi cần phân biệt các điểm nhiễu hoặc điểm ngoại lệ khỏi những vùng dữ liệu tập trung.

Khi nào hai đối tượng được xem là thuộc cùng một cụm?

Hai đối tượng không nhất thiết phải giống nhau hoàn toàn mới được xếp cùng cụm. Điều quan trọng là chúng phải gần nhau theo tiêu chí tương đồng mà thuật toán đang sử dụng.

Điều này dẫn đến một giới hạn quan trọng: cùng một tập dữ liệu có thể tạo ra các kết quả phân cụm khác nhau nếu thay đổi:

·         Các đặc trưng được sử dụng

·         Cách chuẩn hóa dữ liệu

·         Thước đo khoảng cách

·         Thuật toán phân cụm

·         Các tham số của thuật toán

·         Số lượng cụm hoặc điều kiện hình thành cụm

Vì vậy, một cụm được tạo ra không mặc nhiên có nghĩa là đó là một nhóm “tự nhiên” duy nhất của dữ liệu. Nó phản ánh cấu trúc mà phương pháp phân cụm đã phát hiện dưới những giả định cụ thể.

Phân cụm dữ liệu khác phân loại như thế nào?

Điểm khác biệt cốt lõi nằm ở nhãn.

Trong phân loại, dữ liệu huấn luyện đã có các nhãn xác định. Mô hình học mối quan hệ giữa đặc trưng và nhãn để dự đoán nhãn cho dữ liệu mới.

Trong phân cụm, dữ liệu ban đầu chưa có nhãn. Thuật toán tự tìm các nhóm dựa trên quan hệ tương đồng giữa các đối tượng.

Có thể hình dung đơn giản:

·         Phân loại: Biết trước các nhóm → học cách đưa đối tượng mới vào nhóm

·         Phân cụm: Chưa biết nhóm → tìm xem dữ liệu có thể được chia thành những nhóm nào

Do đó, phân cụm đặc biệt hữu ích trong giai đoạn khám phá dữ liệu khi cấu trúc hoặc nhóm đối tượng chưa được xác định trước.

Phân cụm có thể cho biết điều gì về dữ liệu?

Giá trị của phân cụm không chỉ nằm ở việc tạo ra các nhóm. Kết quả còn có thể giúp phát hiện cấu trúc mà việc quan sát từng bản ghi riêng lẻ khó nhận ra.

Chẳng hạn, sau khi phân cụm khách hàng, một nhóm có thể tập trung những người có tần suất mua cao nhưng giá trị đơn hàng thấp, trong khi nhóm khác có số lần mua ít hơn nhưng giá trị mỗi giao dịch cao hơn.

Từ đó, người phân tích có thể tiếp tục xem xét đặc điểm của từng cụm để hiểu vì sao các đối tượng được gom lại với nhau và liệu cách chia này có phù hợp với mục tiêu phân tích hay không.

Điểm cần lưu ý là thuật toán tạo ra cụm không tự cung cấp ý nghĩa nghiệp vụ cho cụm. Việc đặt tên và diễn giải một cụm vẫn cần dựa trên các đặc trưng và bối cảnh của dữ liệu.

Những giới hạn cần lưu ý khi phân cụm dữ liệu

Phân cụm không phải lúc nào cũng tìm được một cách chia nhóm duy nhất hoặc rõ ràng.

Một số vấn đề thường gặp gồm:

·         Các cụm có thể chồng lấn hoặc không có ranh giới rõ

·         Dữ liệu có thể chứa nhiễu và điểm ngoại lệ

·         Các đặc trưng có thang đo khác nhau có thể làm sai lệch khoảng cách

·         Một số thuật toán yêu cầu xác định trước số cụm

·         Kết quả phụ thuộc vào thuật toán và tham số

·         Một cụm có ý nghĩa toán học chưa chắc có ý nghĩa thực tế

Đặc biệt, nếu một đặc trưng có giá trị số lớn hơn nhiều so với các đặc trưng khác mà dữ liệu không được xử lý phù hợp, đặc trưng đó có thể chi phối phép đo khoảng cách và làm thay đổi kết quả phân cụm.

Phân cụm dữ liệu giúp nhóm dữ liệu chưa được gắn nhãn bằng cách tìm các đối tượng có quan hệ tương đồng theo một cách biểu diễn và tiêu chí đo lường nhất định. Thay vì bắt đầu từ những nhãn có sẵn, phương pháp này bắt đầu từ cấu trúc của dữ liệu để phát hiện các nhóm tiềm ẩn. Tuy nhiên, ý nghĩa của từng cụm phụ thuộc vào đặc trưng, thước đo, thuật toán và tham số được lựa chọn, nên kết quả phân cụm cần được kiểm tra và diễn giải trong đúng bối cảnh sử dụng.