Data Lake là nơi lưu trữ dữ liệu được nhắc tới nhiều trong ngành công nghệ và công nghệ thông tin, vậy Data Lake là gì? Lợi ích của nó là gì? Nó được ứng dụng trong việc gì? Kiến trúc của nó ra sao và phân biệt giữa Data Lake vs Data Warehouse. Tất cả sẽ được HostingViet giải đáp trong bài viết này! Cùng xem nhé!
Data Lake là gì?
Data Lake (hồ dữ liệu) là một kho lưu trữ trung tâm chứa lượng lớn dữ liệu thô được giữ để sử dụng khi cần thiết. Các dữ liệu ở dạng nguyên gốc nên các doanh nghiệp không cần đầu tư cho việc biến đổi, phân loại và lưu trữ các dữ liệu tới khi có nhu cầu sử dụng chúng.
Data lake giúp lưu trữ lượng lớn dữ liệu thô và nâng cao hiệu suất phân tích và tích hợp dữ liệu gốc.
Kiến trúc của hồ dữ liệu Data Lake
Hồ dữ liệu có kiến trúc bao gồm các thành phần sau:
- Tầng Ingestion (phía trái mô tả các nguồn dữ liệu): Các dữ liệu có thể được nhập vào Data Lake theo thời gian thực hoặc theo lô.
- Tầng Insights (Các tầng bên phải trong hình ảnh): đại diện cho phần nghiên cứu, nơi thông tin chi tiết từ hệ thống được sử dụng. Các truy vấn NoSQL, SQL hoặc thậm chí là Excel có thể được dùng để phân tích dữ liệu.
- HDFS: Là nơi "đậu" cho tất cả các dữ liệu trong hệ thống.
- Tầng Distillation: Lấy các dữ liệu từ tầng lưu trữ rồi chuyển đổi nó thành những dữ liệu có cấu trúc để giúp việc phân tích trở nên dễ dàng hơn.
- Tầng Processing: Chạy những thuật toán phân tích và xử lý những truy vấn từ người dùng theo nhiều thời gian khác nhau, tương tác để tạo dữ liệu có cấu trúc giúp phân tích dễ dàng hơn.
- Tầng Unified Operations: Quản lý và giám sát hệ thống.
Dưới đây là hình ảnh minh họa kiến trúc của Data lake:
Hình ảnh minh họa kiến trúc của Data Lake
Lợi ích của Data Lake đem lại là gì?
Hồ dữ liệu Data lake đem lại cho bạn những lợi ích như sau:
Cải thiện tương tác với khách hàng
Do data lake kết hợp thông tin từ mạng xã hội với CRM và nền tảng mua bán và nền tảng mua bán, gồm xử lý sự cố và lịch sử mua sắm nên giúp doanh nghiệp hiểu rõ về nhóm khách hàng mang lại giá trị cao nhất, biết được nguyên nhân mà các khách hàng mua hàng hoặc rời bỏ thương hiệu và các chương trình khuyến mãi.
Tăng hiệu quả hoạt động
Data lake hỗ trợ lưu trữ và thực hiện phân tích trên dữ liệu IoT (Internet of Things) được dễ dàng hơn, giúp các doanh nghiệp tìm ra phương pháp mới để tiết kiệm chi phí vận hành.
Cải thiện các lựa chọn đổi mới R&D
Data lake hỗ trợ nhóm R&D kiểm tra những giả thuyết, điều chỉnh giả định và đánh giá các kết quả, giúp cải thiện hiệu suất làm việc.
Phân biệt Data lake và Data warehouse
2 dạng nơi lưu trữ này hay bị nhầm lẫn với nhau, nhưng thực tế, chúng hoàn toàn khác nhau. Data Lake là gì thì chúng ta vừa tìm hiểu ở trên, còn Data warehouse là gì bạn đã biết?
Data warehouse là một kho lưu trữ dữ liệu cho những doanh nghiệp với mục đích chính là cung cấp báo cáo và phân tích các dữ liệu. Những dữ liệu được lưu trữ đôi khi sẽ phải trải qua quá trình trích xuất, chuyển đổi và xử lý qua quy trình ETL (Extract – Transform – Load) trước khi được nhập vào kho lưu trữ.
Khác với Data Lake, dữ liệu trong Data Warehouse được lưu trữ dưới dạng có cấu trúc (structured) và thường đã được xử lý, chuẩn hóa, hoặc tổ chức để phù hợp với mục đích phân tích cụ thể.
HostingViet sẽ so sánh data lake vs data warehouse vào một bảng cụ thể để bạn có thể tiện theo dõi:
|
Tiêu chí so sánh |
Data Lake |
Data Warehouse |
|
Loại dữ liệu |
Tất cả những loại dữ liệu từ các nguồn của hệ thống |
Dữ liệu trích từ hệ thống giao dịch và những số liệu định lượng |
|
Xử lý |
Dữ liệu chưa được xử lý là chủ yếu |
Dữ liệu đã được xử lý cao |
|
Loại dữ liệu |
Có thể là loại phi cấu trúc, bán cấu trúc hoặc là có cấu trúc |
Chủ yếu là cấu trúc và bảng |
|
Tính nhanh nhẹn |
Có thể cấu hình lại nhanh chóng |
Kém linh hoạt hơn |
|
Nhiệm vụ |
Chia sẻ quyền quản lý dữ liệu |
Tối ưu hóa để truy xuất dữ liệu |
|
Người dùng |
Dùng chủ yếu bởi Data Scientist |
Hay được chuyên gia kinh doanh sử dụng |
|
Bảo mật |
Khả năng kiểm soát thấp hơn |
Cho phép kiểm soát các dữ liệu tốt hơn |
|
Thay thế EDW |
Có thể là nguồn cho EDW |
Bổ sung cho EDW (không thay thế) |
|
Kho |
Thiết kế để có thể lưu trữ với chi phí thấp |
Dùng bộ nhớ đắt tiền với thời gian phản hồi khá nhanh |
|
Xử lý dữ liệu |
Giúp nhập nhanh các dữ liệu mới |
Tốn nhiều thời gian để giới thiệu các nội dung mới |
|
Lược đồ |
Lược đồ khi đọc (không có lược đồ xác định trước) |
Lược đồ khi ghi (lược đồ xác định trước) |
|
Mức độ chi tiết |
ở mức độ chi tiết hoặc chi tiết thấp |
ở mức độ chi tiết cao |
Qua bảng trên, chúng ta đã biết các điểm khác biệt giữa 2 hình thức lưu trữ data lake vs data warehouse, trên thực tế, điểm chung duy nhất giữa chúng là đều có mục tiêu lưu trữ các dữ liệu cấp cao.
Data Lake được ứng dụng trong việc gì?
Data lake được ứng dụng trong nhiều việc, cụ thể như sau:
Các ứng dụng của Data Lake
Quản trị dữ liệu và kiểm soát dữ liệu
Data lake chứa nhiều các loại dữ liệu khác nhau gồm cả dữ liệu nhạy cảm, hoặc là cần tuân thủ theo các yêu cầu, việc này có thể gây ra lo ngại về vấn đề bảo mật, môi trường mà không có cấu trúc cơ sở dữ liệu cụ thể sẽ tạo sự linh hoạt và độ phức tạp trong việc thiết lập quyền truy cập, cần dựa và những đối tượng cụ thể hoặc là định nghĩa siêu dữ liệu.
Ngày nay, thông qua việc dùng nhiều các công cụ quản trị khác nhau, vấn đề này đã được giải quyết.
Cài đặt chính sách lưu trữ
Data lake có thể lưu trữ dữ liệu lịch sử, nhưng không thể lưu trữ mãi mãi, các dữ liệu cần được xử lý khi không còn sử dụng để có thể tiết kiệm tài nguyên bộ nhớ cùng tuân thủ những tiêu chuẩn California CCPA, EU GDPR, Australian APP.
Lưu trữ một số bản sao dữ liệu
Data lake giúp lưu trữ dữ liệu phi cấu trúc, cho phép người dùng lưu trữ lượng lớn các dữ liệu với chi phí đầu tư thấp. Nó có thể lưu trữ cả dữ liệu đã qua xử lý và dữ liệu thô.
Trên đây HostingViet đã giải đáp cho bạn “Data Lake là gì?” và cung cấp các thông tin liên quan, nếu bạn có thắc mắc gì, hãy liên hệ với chúng tôi qua hotline (024) 66 567 555 để được giải đáp nhé.