Datalize

CÁCH CÓ DỮ LIỆU PHÂN TÍCH BẰNG QUY TRÌNH ETL VS ELT

Trước khi chúng ta có dữ liệu để các bạn DA phân tích thì là các công việc kéo dữ liệu từ Data source/Database về Data lake/Data warehouse/Data mart bằng 1 trong 2 cách chính là ETL và ELT. Khác nhau mấu chốt ở điểm một bên có dữ liệu nào từ các data source thì đều extract và kéo 1 1 sang DW rồi mới "xào nấu" với bên còn lại extract để "xào nấu" rồi mới kéo sang DW các bạn nha.

Từ đó, đặc điểm dữ liệu, yêu cầu về thời gian xử lý, độ lớn của dữ liệu, chi phí, nguồn lực... cũng khác nhau khi chọn sử dụng 1 trong 2 cách này.

Đá lại mấy đối tượng làm việc chính của Data Engineer/Analytics Engineer (Data Layer/Architect)

1. Database/Data source: nguồn dữ liệu của dự án/cty -> tuỳ theo dự án có thể có 1 hoặc nhiều nguồn dữ liệu lớn nhỏ,

2. Data Lake/Data lake house: nơi chứng dữ liệu thô từ tất cả các nguồn dữ liệu của ý 1,

3. Data warehouse: nơi chứa dữ liệu tinh luyện bằng ETL/ELT (Extract Load Transform) procedure từ dữ liệu của 2,

4. Data mart: nơi dữ liệu tinh luyện gom/phân vùng theo các mục đích khác nhau (department/campaign analyasis driven),

5. Add-on: Data Visualization/Business Intelligence: nơi chứa chart/dashboard/INSIGHTs (sau tất cả thì đây là 'vàng').

CI/CD procedure in Data Engineer/Analytics Engineer/Google Looker Dev,

1 trong những key procedure gắn liền với cv của các role trên và thật sự cần trên góc độ collab để deliver new feature/update code,

Là luồng submit (member) , approve (lead), collab (team members) đảm bảo tính nhất quán, kiểm duyệt và dev traceable, ... nhất là với dự án đông member là càng quan trọng.