Data Engineer (NSDLD/144448)

Xây dựng đường ống dữ liệu (ETL/ELT): Thiết kế quy trình trích xuất (Extract), biến đổi (Transform) và tải (Load) dữ liệu từ các nguồn khác nhau về hệ thống lưu trữ chung.

Quản lý hạ tầng lưu trữ: Xây dựng và vận hành các giải pháp lưu trữ quy mô lớn như Data Warehouse hoặc Data Lake.

Làm sạch và chuẩn hóa dữ liệu: Xử lý các dữ liệu bị thiếu, trùng lặp hoặc sai định dạng để đảm bảo độ tin cậy và chất lượng cao.

Bảo mật và tối ưu hiệu suất: Đảm bảo hệ thống hoạt động ổn định, an toàn, tuân thủ các quy định về bảo mật và tối ưu tốc độ truy xuất dữ liệu.

Hỗ trợ các bộ phận liên quan: Cung cấp hạ tầng và dữ liệu sạch sẵn sàng cho Data Analyst hoặc Data Scientist triển khai mô hình phân tích và AI.

1. Xây dựng các công cụ phân tích sử dụng data pipeline để cung cấp thông tin chi tiết hữu ích về việc thu hút khách hàng, hiệu quả hoạt động và các chỉ số hiệu suất kinh doanh chính khác.

2. Xây dựng các giải pháp ETL có khả năng mở rộng linh hoạt với độ tin cậy cao, phục vụ cho việc khai thác/ tích hợp các loại dữ liệu (với cấu trúc, lưu lượng, tốc độ khác nhau) từ nhiều nguồn khác nhau

3. Thiết kế chi tiết giải pháp cho các luồng thu thập, chuẩn hóa, làm sạch, làm giàu, lưu trữ, xử lý, phân tích và hiển thị dữ liệu lớn.

4. Phối hợp và hỗ trợ DS, DA trong việc chuyển đổi các mô hình, thuật toán học máy, khai phá dữ liệu thành các bản đặc tả, thiết kế phần mềm đảm bảo chúng có thể được cài đặt, triển khai hiệu quả trên môi trường tính toán phân tán và có khả năng mở rộng tốt khi tập dữ liệu đầu vào tăng trưởng nhanh.

5. Thiết kế giải pháp và trực tiếp phát triển các module, thư viện có tính chất nền tảng, có khả năng tái sử dụng cao, ảnh hưởng diện rộng.

6. Xây dựng data dictionary, h

1. Quyền quản trị và cấu trúc hệ thống (Infrastructure & Architecture)

Thiết kế và cấu hình kho dữ liệu: Quyền quyết định hoặc tham gia quyết định cấu trúc của Data Warehouse, Data Lake (ví dụ: dùng AWS, Google Cloud, Azure, hay hệ thống On-premise).

Quản lý tài nguyên lưu trữ: Quyền phân bổ dung lượng, tối ưu hóa chi phí lưu trữ và hiệu năng tính toán của hệ thống dữ liệu.

Cài đặt công cụ: Quyền cài đặt, tích hợp các công cụ/framework mới vào hệ sinh thái dữ liệu của công ty (như Hadoop, Spark, Airflow, Kafka).

2. Quyền can thiệp và xử lý dữ liệu (Data Pipeline & ETL/ELT)

Xây dựng đường ống dữ liệu (Pipelines): Toàn quyền thiết kế, lập trình, chỉnh sửa và tự động hóa các quy trình thu thập (Extract), biến đổi (Transform) và nạp (Load) dữ liệu từ nhiều nguồn khác nhau.

Can thiệp dữ liệu thô (Raw Data): Có quyền truy cập vào các nguồn dữ liệu gốc (từ ứng dụng, web, CRM, ERP) để trích xuất dữ liệu phục vụ cho mục đích phân tích.

Sửa đổi cấu trúc bảng (Schema): Quyền định