Data lake khác data warehouse như thế nào?

Data lake là một hệ thống lưu trữ tập trung có khả năng tiếp nhận lượng lớn dữ liệu ở nhiều dạng khác nhau, từ dữ liệu có cấu trúc như bảng và giao dịch đến dữ liệu bán cấu trúc hoặc phi cấu trúc như JSON, log, hình ảnh, âm thanh và dữ liệu máy móc

Điểm cốt lõi của data lake nằm ở cách dữ liệu được lưu giữ. Dữ liệu thường được đưa vào hệ thống với mức biến đổi ban đầu thấp, sau đó mới được làm sạch, biến đổi và diễn giải khi có nhu cầu sử dụng. Cách tiếp cận này thường được mô tả bằng khái niệm schema-on-read: cấu trúc dữ liệu được xác định khi đọc hoặc xử lý thay vì bắt buộc phải hoàn thiện trước khi lưu

Vì vậy, data lake phù hợp khi tổ chức muốn giữ lại dữ liệu gốc để phục vụ nhiều mục đích khác nhau. Cùng một nguồn dữ liệu có thể được dùng cho phân tích, machine learning, khám phá dữ liệu hoặc xây dựng các pipeline xử lý mới mà không phải thiết kế lại toàn bộ hệ thống lưu trữ từ đầu

Tuy nhiên, data lake không đồng nghĩa với việc "đổ tất cả dữ liệu vào một chỗ". Nếu thiếu metadata, phân quyền, quản trị vòng đời và quy tắc chất lượng dữ liệu, data lake dễ trở thành data swamp — nơi dữ liệu tồn tại nhưng khó tìm, khó hiểu và khó tin cậy

Data lake và data warehouse khác nhau ở cấu trúc dữ liệu như thế nào?

Khác biệt quan trọng nhất nằm ở trạng thái của dữ liệu và thời điểm xác định cấu trúc

Data lake ưu tiên lưu giữ dữ liệu ở dạng gần với nguồn ban đầu. Dữ liệu có thể gồm:

·         Dữ liệu có cấu trúc từ hệ thống giao dịch

·         Dữ liệu bán cấu trúc như JSON, XML hoặc log

·         Dữ liệu phi cấu trúc như hình ảnh, video, âm thanh hoặc văn bản

·         Dữ liệu sự kiện và dữ liệu máy móc phát sinh với tần suất cao

Ngược lại, data warehouse chủ yếu chứa dữ liệu đã được chọn lọc, làm sạch, biến đổi và tổ chức theo mô hình dữ liệu phục vụ phân tích. Trước khi dữ liệu được đưa vào các bảng hoặc mô hình phân tích, schema thường đã được xác định. Đây là cách tiếp cận schema-on-write

Có thể hình dung sự khác biệt như sau:

Điều này không có nghĩa data warehouse không thể chứa dữ liệu đa dạng hoặc data lake không thể phục vụ BI. Ranh giới nằm ở kiến trúc và cách dữ liệu được quản lý, chứ không phải một giới hạn tuyệt đối của công nghệ

Vì sao data lake linh hoạt hơn nhưng data warehouse thường dễ phân tích hơn?

Sự khác biệt về schema tạo ra một đánh đổi quan trọng

Với data lake, tổ chức có thể tiếp nhận dữ liệu nhanh hơn vì không nhất thiết phải thiết kế đầy đủ mô hình đích cho từng nguồn trước khi lưu. Điều này đặc biệt hữu ích khi dữ liệu mới xuất hiện thường xuyên hoặc chưa biết trước tất cả cách khai thác trong tương lai

Đổi lại, phần công việc xử lý được chuyển sang giai đoạn đọc và phân tích. Người dùng phải biết dữ liệu nằm ở đâu, có ý nghĩa gì, chất lượng ra sao và cần biến đổi thế nào trước khi sử dụng

Data warehouse đi theo hướng ngược lại. Dữ liệu được xử lý và tổ chức trước để các truy vấn phân tích có cấu trúc rõ ràng. Khi mô hình dữ liệu đã ổn định, việc xây dựng báo cáo và chỉ số kinh doanh thường dễ kiểm soát hơn

Vì vậy, hai kiến trúc không đơn giản là "một cái tốt hơn cái kia":

·         Data lake tối ưu cho tính linh hoạt của dữ liệu và khả năng khai thác nhiều mục đích

·         Data warehouse tối ưu cho dữ liệu đã được tổ chức, truy vấn phân tích và nhu cầu BI có tính ổn định

Đây cũng là lý do việc so sánh chỉ dựa trên tốc độ truy vấn hoặc dung lượng lưu trữ có thể dẫn đến kết luận sai. Hiệu năng thực tế còn phụ thuộc vào công cụ xử lý, định dạng dữ liệu, cách lập chỉ mục hoặc tối ưu truy vấn, mô hình dữ liệu và workload cụ thể

Data lake và data warehouse khác nhau về mục đích sử dụng ra sao?

Data lake thường được xây dựng khi doanh nghiệp cần một lớp dữ liệu có khả năng tiếp nhận và bảo toàn nhiều loại dữ liệu để xử lý về sau

Các trường hợp điển hình gồm:

·         Lưu trữ log và dữ liệu sự kiện

·         Phân tích dữ liệu lớn

·         Xử lý dữ liệu bán cấu trúc hoặc phi cấu trúc

·         Chuẩn bị dữ liệu cho machine learning

·         Khám phá dữ liệu chưa có mô hình phân tích cố định

·         Lưu giữ dữ liệu gốc để phục vụ nhiều pipeline khác nhau

Data warehouse phù hợp hơn khi câu hỏi đã tương đối rõ và dữ liệu cần được tổ chức thành các mô hình nhất quán để phục vụ phân tích

Các trường hợp phổ biến gồm:

·         Dashboard quản trị

·         Báo cáo kinh doanh

·         Phân tích doanh thu và chi phí

·         Theo dõi KPI

·         Phân tích lịch sử theo thời gian

·         Truy vấn dữ liệu phục vụ quyết định kinh doanh

Ví dụ, một hệ thống thương mại điện tử có thể đưa clickstream, log ứng dụng, dữ liệu tìm kiếm và dữ liệu hành vi người dùng vào data lake để giữ lại dữ liệu chi tiết. Từ đó, các dữ liệu đã được chuẩn hóa như đơn hàng, khách hàng, doanh thu và sản phẩm có thể được tổ chức trong data warehouse để phục vụ dashboard và báo cáo

Như vậy, data lake thường nằm gần nguồn dữ liệu và quá trình khám phá, trong khi data warehouse nằm gần lớp dữ liệu đã được chuẩn hóa và tiêu thụ bởi nghiệp vụ

Khi nào nên chọn data lake và khi nào nên chọn data warehouse?

Không nên lựa chọn chỉ dựa trên tên công nghệ. Câu hỏi quan trọng hơn là tổ chức đang cần giải quyết loại bài toán dữ liệu nào

Data lake phù hợp hơn khi:

·         Dữ liệu có nhiều định dạng

·         Nguồn dữ liệu thay đổi thường xuyên

·         Chưa biết trước toàn bộ cách dữ liệu sẽ được khai thác

·         Cần lưu giữ dữ liệu ở trạng thái gần nguyên bản

·         Có nhu cầu machine learning hoặc phân tích khám phá

·         Cần một lớp lưu trữ dữ liệu quy mô lớn làm nền cho nhiều pipeline

Data warehouse phù hợp hơn khi:

·         Dữ liệu phân tích đã tương đối rõ ràng

·         Schema và các chỉ số nghiệp vụ tương đối ổn định

·         Trọng tâm là BI, báo cáo và dashboard

·         Người dùng cần dữ liệu nhất quán và dễ truy vấn

·         Doanh nghiệp cần kiểm soát chặt cách các chỉ số được định nghĩa

Trong thực tế, hai hệ thống cũng có thể cùng tồn tại. Data lake có thể giữ dữ liệu chi tiết từ nhiều nguồn, trong khi data warehouse cung cấp lớp dữ liệu đã được chọn lọc cho các nhu cầu BI. Khi đó, vấn đề không còn là chọn một trong hai mà là xác định dữ liệu nào nên nằm ở đâu và luồng dữ liệu giữa các lớp được quản trị thế nào

Data lake có phải luôn tốt hơn data warehouse không?

Không. Data lake và data warehouse giải quyết những nhu cầu khác nhau

Nếu mục tiêu là giữ nhiều loại dữ liệu, trì hoãn việc áp đặt schema và tạo không gian cho các bài toán phân tích chưa được xác định hoàn toàn, data lake có lợi thế về tính linh hoạt

Nếu mục tiêu là cung cấp dữ liệu đã được chuẩn hóa cho báo cáo, dashboard và phân tích nghiệp vụ nhất quán, data warehouse thường phù hợp hơn

Một data lake được thiết kế tốt vẫn cần metadata, catalog, phân quyền, kiểm soát chất lượng và quản trị dữ liệu. Ngược lại, data warehouse không nhất thiết phải là nơi lưu mọi dữ liệu của doanh nghiệp. Việc ép toàn bộ dữ liệu thô, log hoặc dữ liệu phi cấu trúc vào warehouse có thể làm kiến trúc kém linh hoạt và tăng chi phí xử lý

Vì vậy, tiêu chí đúng không phải là "data lake hiện đại hơn data warehouse" mà là kiến trúc nào phù hợp với loại dữ liệu, workload, yêu cầu quản trị và mục tiêu phân tích của tổ chức

Tóm lại, data lake thiên về lưu giữ dữ liệu đa dạng và linh hoạt cho nhiều hình thức khai thác, còn data warehouse thiên về dữ liệu đã được tổ chức và tối ưu cho phân tích có cấu trúc. Hiểu rõ khác biệt về dữ liệu, schema, mục đích và cách sử dụng sẽ giúp xác định khi nào nên dùng từng kiến trúc hoặc kết hợp cả hai