Stream processing khác batch processing như thế nào?

Stream processing xử lý các sự kiện liên tục hoặc gần như liên tục khi chúng đi qua hệ thống. Batch processing thì thu thập dữ liệu trong một khoảng thời gian hoặc thành một tập dữ liệu hoàn chỉnh, sau đó chạy tác vụ xử lý cho cả tập đó

Vì vậy, nếu yêu cầu là phản ứng nhanh với dữ liệu mới, stream processing thường phù hợp hơn. Nếu ưu tiên xử lý khối lượng dữ liệu lớn theo lịch, tối ưu tài nguyên và không cần phản hồi tức thời, batch processing thường có lợi thế

Stream processing là gì?

Stream processing là mô hình xử lý dữ liệu theo dòng sự kiện liên tục, trong đó hệ thống tiếp nhận và xử lý từng sự kiện hoặc các nhóm sự kiện nhỏ ngay khi dữ liệu xuất hiện

Một sự kiện có thể là giao dịch mới, thao tác của người dùng, dữ liệu cảm biến, log ứng dụng hoặc một thay đổi trạng thái. Thay vì chờ toàn bộ dữ liệu của một khoảng thời gian hoàn tất, hệ thống có thể thực hiện phép biến đổi, lọc, tổng hợp hoặc phát hiện điều kiện ngay trên dòng dữ liệu

Luồng xử lý có thể hình dung đơn giản như sau:

Dữ liệu phát sinh → tiếp nhận → xử lý → tạo kết quả → chuyển kết quả đến hệ thống tiếp theo

Điểm quan trọng là dữ liệu được xử lý theo dòng thời gian thay vì chờ hình thành một tập dữ liệu hoàn chỉnh

Stream processing đặc biệt có ý nghĩa khi giá trị của kết quả giảm nếu hệ thống phản ứng quá muộn. Ví dụ, một hệ thống phát hiện giao dịch bất thường cần phân tích giao dịch gần thời điểm nó xảy ra, thay vì chờ đến cuối ngày mới kiểm tra

Batch processing là gì?

Batch processing là mô hình xử lý trong đó dữ liệu được tập hợp thành một batch, sau đó hệ thống thực hiện tác vụ trên toàn bộ batch đó

Batch có thể được hình thành theo nhiều cách, chẳng hạn:

·         Dữ liệu phát sinh trong một giờ

·         Dữ liệu của một ngày

·         Một tập tệp được thu thập đầy đủ

·         Một tập bản ghi đáp ứng điều kiện nhất định

Luồng xử lý thường có dạng:

Thu thập dữ liệu → tạo batch → chạy tác vụ → ghi kết quả

Do không nhất thiết phải xử lý ngay từng sự kiện, batch processing phù hợp với các công việc có thể trì hoãn như tổng hợp báo cáo định kỳ, xử lý dữ liệu lịch sử hoặc các tác vụ ETL theo lịch

Điểm cần phân biệt là batch processing không đồng nghĩa với xử lý chậm hoặc kém hiệu quả. Một batch lớn có thể được xử lý rất hiệu quả nhờ khả năng tối ưu phép tính trên toàn bộ tập dữ liệu, nhưng kết quả thường không xuất hiện ngay sau khi từng bản ghi được tạo ra

Stream processing và batch processing khác nhau ở đâu?

Khác biệt quan trọng nhất nằm ở đơn vị và thời điểm xử lý

Từ bảng trên có thể thấy độ trễ là hệ quả của mô hình xử lý chứ không phải tiêu chí duy nhất để định nghĩa hai mô hình. Một hệ thống stream có thể có độ trễ từ mili-giây đến giây hoặc lâu hơn tùy kiến trúc, trong khi batch có thể chạy rất nhanh sau khi một batch được tạo

Vì sao stream processing có thể phản hồi nhanh hơn?

Cơ chế tạo ra khác biệt nằm ở thời điểm hệ thống bắt đầu xử lý

Với batch processing, một hệ thống thường phải chờ đủ điều kiện để tạo batch trước khi chạy tác vụ. Nếu dữ liệu được gom theo ngày, chẳng hạn, kết quả của một bản ghi mới có thể chỉ được cập nhật trong lần chạy tiếp theo

Với stream processing, dữ liệu mới có thể được đưa trực tiếp vào pipeline xử lý. Hệ thống không cần chờ toàn bộ dữ liệu của khoảng thời gian hoàn tất

Điều này cho phép triển khai các cơ chế như:

·         Lọc sự kiện theo điều kiện

·         Tính toán trên cửa sổ thời gian

·         Đếm hoặc tổng hợp dữ liệu liên tục

·         Phát hiện mẫu hoặc điều kiện bất thường

·         Kích hoạt hành động khi sự kiện đáp ứng quy tắc

Tuy nhiên, xử lý nhanh không có nghĩa là stream processing đơn giản hơn. Hệ thống phải giải quyết các vấn đề đặc thù như thứ tự sự kiện, sự kiện đến muộn, dữ liệu trùng lặp, trạng thái xử lý và khả năng khôi phục khi có lỗi

Khi nào nên dùng stream processing và khi nào nên dùng batch processing?

Lựa chọn mô hình nên bắt đầu từ yêu cầu về thời điểm cần kết quả, sau đó mới cân nhắc kiến trúc và chi phí vận hành

Stream processing phù hợp khi

·         Cần phản ứng với dữ liệu mới gần như ngay lập tức

·         Dữ liệu phát sinh liên tục

·         Cần giám sát hoặc phát hiện điều kiện trong quá trình dữ liệu đi qua hệ thống

·         Kết quả mất giá trị nếu phải chờ đến cuối một khoảng thời gian

·         Cần cập nhật trạng thái hoặc chỉ số liên tục

Ví dụ điển hình gồm giám sát hệ thống, phân tích sự kiện người dùng, phát hiện bất thường và xử lý dữ liệu cảm biến

Batch processing phù hợp khi

·         Không cần kết quả ngay sau khi dữ liệu phát sinh

·         Dữ liệu đã được tích lũy thành tập tương đối hoàn chỉnh

·         Công việc cần xử lý dữ liệu lịch sử với quy mô lớn

·         Có thể chạy tác vụ theo lịch

·         Ưu tiên một quy trình xử lý ổn định trên từng tập dữ liệu

Ví dụ gồm tạo báo cáo định kỳ, xử lý dữ liệu lịch sử và các pipeline ETL chạy theo lịch

Có thể kết hợp stream processing và batch processing không?

Có. Hai mô hình không nhất thiết phải loại trừ nhau

Một hệ thống dữ liệu có thể dùng stream processing cho các nhu cầu cần phản ứng nhanh, đồng thời dùng batch processing cho các tác vụ tổng hợp hoặc xử lý lại dữ liệu lịch sử

Chẳng hạn, một nền tảng có thể xử lý sự kiện giao dịch theo stream để cập nhật trạng thái gần thời gian thực, nhưng cuối ngày vẫn chạy batch để tổng hợp dữ liệu, đối soát hoặc xây dựng báo cáo

Điểm quan trọng là hai pipeline có thể phục vụ hai nhu cầu thời gian khác nhau trên cùng hệ sinh thái dữ liệu. Vì vậy, quyết định kiến trúc không nên đặt thành câu hỏi “stream hay batch tốt hơn”, mà là “kết quả cần xuất hiện khi nào và loại xử lý nào phù hợp với yêu cầu đó?”

Những giới hạn cần lưu ý khi chọn stream processing

Stream processing có lợi thế về khả năng phản ứng nhanh nhưng đi kèm yêu cầu vận hành phức tạp hơn

Hệ thống cần xác định cách xử lý khi sự kiện đến không đúng thứ tự, đến muộn hoặc được gửi lại. Nếu pipeline có trạng thái, việc lưu và khôi phục trạng thái cũng trở thành một phần quan trọng của kiến trúc

Ngược lại, batch processing thường dễ hình dung hơn vì dữ liệu đầu vào của một lần chạy đã được xác định thành một tập. Nhưng chính việc chờ dữ liệu được tích lũy khiến batch không phù hợp với những bài toán yêu cầu phản ứng liên tục

Do đó, ranh giới thực tế không phải là stream luôn tốt hơn batch. Mỗi mô hình tối ưu cho một kiểu yêu cầu khác nhau: stream ưu tiên tính kịp thời của kết quả, còn batch ưu tiên xử lý theo tập dữ liệu và chu kỳ chạy xác định

Nếu cần phân biệt nhanh: hãy nhìn vào câu hỏi “Hệ thống có cần xử lý dữ liệu ngay khi dữ liệu xuất hiện không?” Nếu có, stream processing là hướng phù hợp để xem xét. Nếu có thể chờ dữ liệu được gom thành một tập rồi xử lý, batch processing thường là lựa chọn tự nhiên hơn