DATA WAREHOUSE 

I. Khái niệm

    Data warehouse (kho dữ liệu) là một hệ thống lưu trữ dữ liệu từ nhiều nguồn khác nhau, được thiết kế để hỗ trợ quy trình ra quyết định. Đây là một nền tảng thống nhất để lưu trữ, quản lý và phân tích dữ liệu nhằm hỗ trợ quá trình ra quyết định, cũng như tập trung vào việc lưu trữ và phân tích dữ liệu.

II. Đặc điểm của Data warehouse

• Hướng chủ đề (Subject-Oriented)
  • Data warehouse được thiết kế và tổ chức dựa trên các chủ đề hoặc lĩnh vực cụ thể của doanh nghiệp, chẳng hạn như bán hàng, marketing, tài chính, nhân sự, v.v. Kho dữ liệu sẽ tập trung vào việc cung cấp thông tin liên quan đến các chủ đề này để hỗ trợ quá trình ra quyết định.
• Được tích hợp (Integrated)
  • Data warehouse tổng hợp và tích hợp dữ liệu từ nhiều nguồn khác nhau, bao gồm các hệ thống giao dịch và các nguồn dữ liệu bên ngoài. Dữ liệu từ các nguồn này được chuẩn hóa và hợp nhất thành một cấu trúc dữ liệu chung, giúp tạo ra một bức tranh toàn diện về hoạt động của tổ chức.
• Bất biến (Non-volatile)
  • Dữ liệu trong data warehouse không thay đổi thường xuyên. Thay vì cập nhật dữ liệu trực tiếp, data warehouse thường được cung cấp dữ liệu từ các nguồn gốc và duy trì lịch sử thay đổi của dữ liệu theo thời gian. Từ đó cho phép người dùng phân tích và so sánh dữ liệu theo các chu kỳ thời gian khác nhau.
• Có gắn nhãn thời gian (Time-Variant)
  • Data warehouse lưu trữ dữ liệu theo thời gian và sẽ cho phép người dùng xem và phân tích dữ liệu theo các chu kỳ thời gian khác nhau, từ quá khứ đến hiện tại. Việc theo dõi sự thay đổi theo thời gian giúp người dùng nhận ra xu hướng và biểu đồ phát triển của dữ liệu.

III. Kiến trúc của Data warehouse

1. Simple

    Đây là một kiến trúc cơ bản và đơn giản của Data warehouse. Trong kiểu kiến trúc này, dữ liệu được trực tiếp sao chép từ nguồn gốc vào Data warehouse mà không có bất kỳ xử lý hay biến đổi nào. Điều này giúp đơn giản hóa quy trình và tăng tốc độ truy xuất dữ liệu.

2. Simple with a staging area

    Kiểu kiến trúc này bao gồm một khu vực tạm trữ (staging area) giữa nguồn dữ liệu và Data warehouse chính. Trong quá trình này, dữ liệu được sao chép và lưu trữ tạm thời trong khu vực tạm trữ trước khi được xử lý và chuyển vào Data warehouse.

Nhờ đó kho dữ liệu cũng cho phép kiểm tra, làm sạch và biến đổi dữ liệu trước khi nó được lưu trữ trong Data warehouse chính.

3. Hub and spoke

    Đây là một kiến trúc phổ biến trong các hệ thống Data warehouse lớn. Kiến trúc này bao gồm một trung tâm (hub) kết nối với nhiều nguồn dữ liệu (spoke).

Trung tâm là nơi lưu trữ và xử lý dữ liệu chung, trong khi các nguồn dữ liệu được giữ riêng tại các điểm kết nối (spoke). Kiến trúc này giúp tăng tính linh hoạt và quản lý dữ liệu hiệu quả trong môi trường phức tạp hơn.

4. Sandboxes

    Kiểu kiến trúc này cho phép các nhóm hoặc người dùng tạo ra các môi trường độc lập để thực hiện phân tích và thử nghiệm dữ liệu.

Mỗi sandbox là một không gian làm việc riêng biệt và có thể điều chỉnh phù hợp nhằm đáp ứng nhu cầu và yêu cầu cụ thể của từng nhóm. Điều này giúp đảm bảo tính riêng tư và an toàn của dữ liệu trong quá trình phân tích và thử nghiệm.

IV. Các loại Data warehouse

1. Kho dữ liệu doanh nghiệp (EDW – Enterprise Data Warehouse)

    Đây là một loại Data warehouse được xây dựng để phục vụ cho toàn bộ doanh nghiệp. EDW thu thập dữ liệu từ nhiều nguồn và tổ chức chúng thành một cấu trúc dữ liệu chung để hỗ trợ các hoạt động phân tích và ra quyết định của toàn bộ tổ chức đó.

2. Kho dữ liệu hoạt động (ODS – Operational Data Store)

    ODS là một loại Data warehouse được thiết kế để lưu trữ dữ liệu từ các hệ thống hoạt động của doanh nghiệp. ODS nhận dữ liệu từ các nguồn khác nhau và cung cấp nhanh chóng các thông tin cập nhật và dữ liệu thời gian thực để hỗ trợ các quyết định và hoạt động hàng ngày của doanh nghiệp.

3. Data mart

    Data mart là một loại Data warehouse nhỏ hơn, tập trung vào một phần cụ thể của doanh nghiệp hoặc một nhóm người dùng cụ thể.

Bên cạnh đó, Data mart chứa dữ liệu đã được xử lý và tùy chỉnh để đáp ứng nhu cầu phân tích của một nhóm người dùng cụ thể. Và chính Data mart thường được tạo ra từ EDW hoặc ODS và có thể chứa các dữ liệu phân tán hoặc tập trung.

V. Lợi ích của Data warehouse

Data warehouse mang đến cho người dùng rất nhiều lợi ích về:

• Cải thiện khả năng truy cập của người dùng cuối vào nhiều loại dữ liệu doanh nghiệp, tăng tính nhất quán của dữ liệu, cung cấp tài liệu bổ sung về dữ liệu và giảm chi phí điện toán cũng như tăng năng suất.
• Tạo ra một nơi để kết hợp dữ liệu liên quan từ các nguồn riêng biệt và xây dựng cơ sở hạ tầng điện toán có thể hỗ trợ những thay đổi trong hệ thống máy tính và cấu trúc kinh doanh.
• Cho phép người dùng cuối tự thực hiện các truy vấn hoặc báo cáo đặc biệt mà không ảnh hưởng đến hiệu suất của hệ thống hoạt động.