Pindah dari web developer ke data engineer artinya pindah dari membangun aplikasi yang melayani pengguna satu per satu, ke membangun jalur yang memindahkan, membersihkan, dan menyusun data dalam jumlah besar. Banyak bekalmu tetap terpakai; ritme kerjanya yang berubah. Bayangin koki restoran yang pindah ke dapur pusat (central kitchen). Pisau, resep, dan kebersihan dapurnya sama. Bedanya, di restoran dia memasak per pesanan dan langsung tahu kalau pelanggan protes. Di dapur pusat dia menyiapkan bahan untuk semua cabang tiap malam, dan sambal yang keasinan baru ketahuan besok siang di sepuluh cabang sekaligus. Pelajaran terakhir track ini memetakan bekalmu, rencana tiga bulan, dan proyek yang bisa kamu tunjukkan.
🧪 Tebakan cepat: Di web, checkout yang rusak langsung ketahuan: pembeli melihat error 500. Di pipeline, load malam Toko Buku tanpa sengaja jalan dua kali dengan
INSERTbiasa. Siapa yang tahu duluan? Tebak dulu, jawabannya ada di bagian "Mindset: request vs pipeline".
Peta skill: yang sudah kamu punya
Skill web yang paling langsung terpakai adalah SQL, integrasi API, Git, dan paham JSON/REST. Peta dari skill web ke pelajaran di track ini:
| Skill web | Jadi apa di data engineering | Pelajarannya |
|---|---|---|
| SQL (CRUD, JOIN) | window function, CTE, agregasi besar, model dimensi | SQL untuk Data Engineering, Data Warehouse Concepts, Data Modeling (Star Schema), dbt (Data Build Tool) |
| API dan JSON | extract dari API, file JSON Lines | ETL vs ELT, Data Formats (CSV, Parquet, JSON Lines), Data Pipeline dengan Python |
| Queue dan job (misalnya queue Laravel) | event, retry, at-least-once, consumer idempoten | Kafka for Data Pipelines, CDC (Change Data Capture), Streaming vs Batch Processing, Real-time Analytics Pipeline |
| Git dan review PR | model dbt dan DAG di repo, di-review sebelum masuk | dbt (Data Build Tool), Orchestration at Scale |
| Testing | tes data: unique, not_null, rentang nilai | Data Quality & Validation, dbt (Data Build Tool) |
| Docker | menjalankan Airflow, Kafka, dan database di laptop | Apache Airflow Basics, Kafka for Data Pipelines |
Dihitung dari 20 pelajaran track ini, SQL jadi dasar di 10 pelajaran, queue dan job di 6, API di 4. Pengalaman membuat job queue Laravel yang di-retry juga langsung kepakai: baris dobel item 9 di Toko Buku lahir dari job seperti itu.
Yang benar-benar baru
- pandas: tabel di Python, dengan cara pikir per kolom, bukan per objek (Pandas & Data Manipulation).
- Penyimpanan per kolom dan Parquet: kenapa warehouse membaca 36 dari 144 sel (Data Warehouse Concepts, Data Formats).
- Model dimensi: fact, dimension, grain, SCD (Data Modeling (Star Schema)).
- Partisi dan lake: folder
dt=2026-10-01/, bronze, silver, gold (Data Lake Architecture). - Waktu: event time, jendela, watermark, data interval Airflow yang tertinggal satu hari dari jam jalannya (Streaming vs Batch Processing, Apache Airflow Basics).
- Tata kelola: lineage, data pribadi, retensi (Data Governance & Lineage).
Mindset: request vs pipeline
Perbedaan paling mendasar: web developer fokus pada request dan response yang dilayani untuk pengguna, data engineer fokus pada perpindahan dan transformasi data, batch atau stream.
| Web developer | Data engineer | |
|---|---|---|
| Satu unit kerja | satu request, beberapa baris | satu run, ribuan sampai jutaan baris |
| Kalau gagal | error 500, langsung kelihatan | sering sukses, tapi angkanya salah diam-diam |
| Yang dites | kode | kode dan datanya |
| Dijalankan ulang | jarang | biasa: retry, backfill, jadi harus idempoten |
| Waktu | sekarang | data interval: run 2 Oktober memuat 1 Oktober |
| Pemakai | pembeli | analis, pemilik bisnis, tim lain |
Load yang jalan dua kali gak error; dia sukses dua kali, dan angkanya dobel diam-diam. Gak ada yang tahu sampai angka laporan terasa aneh. Itu jawaban tebakannya. Makanya pelajaran-pelajaran sebelumnya terus kembali ke load yang idempoten, cek jumlah baris, tes data, dan cek kesegaran.
Rencana 3 bulan
Dua belas minggu, satu atau dua pelajaran per minggu, tiap pelajaran dikerjakan sampai Lab-nya dan dicoba di laptop:
| Minggu | Pelajaran |
|---|---|
| 1 | Apa itu Data Engineering?, ETL vs ELT |
| 2 | Data Formats (CSV, Parquet, JSON Lines), Pandas & Data Manipulation |
| 3 | SQL untuk Data Engineering |
| 4 | Data Warehouse Concepts, BigQuery / DuckDB |
| 5 | Data Pipeline dengan Python |
| 6 | Apache Airflow Basics |
| 7 | Data Modeling (Star Schema), Data Quality & Validation |
| 8 | dbt (Data Build Tool) |
| 9 | Streaming vs Batch Processing, CDC (Change Data Capture) |
| 10 | Kafka for Data Pipelines, Data Lake Architecture |
| 11 | Real-time Analytics Pipeline, Data Governance & Lineage, Orchestration at Scale |
| 12 | Web Dev to Data Engineer Transition, lalu proyek portofolio |
Kalau SQL-mu sudah kuat, minggu 3 dan 4 bisa dipadatkan jadi satu. Kalau belum pernah Python, beri minggu 2 dua minggu sendiri.
Proyek portofolio dari Toko Buku
Proyek yang paling meyakinkan adalah pipeline yang menjawab satu pertanyaan bisnis dari data yang kotor. Kamu sudah punya bahannya: "buku apa paling laku per kota per minggu?". Jalur minimalnya, dijalankan di SQLite di Lab:
| Langkah | Hasil | Pelajaran |
|---|---|---|
Extract dan load raw_order_lines |
19 baris, 23 buku, Rp 3.319.000 | ETL vs ELT, Data Pipeline dengan Python |
| Cek kualitas | unique 1, not_null kota 2, rentang harga 1 | Data Quality & Validation |
Transform penjualan |
18 baris, 21 buku, Rp 2.214.000 | SQL untuk Data Engineering, dbt (Data Build Tool) |
Mart laris_mingguan |
9 baris | Data Modeling (Star Schema), dbt (Data Build Tool) |
Versi yang lebih lengkap: proyek dbt dari pelajaran dbt di atas DuckDB, dijadwalkan DAG Airflow atau aset Dagster, dengan cek freshness dan lineage dari dbt docs. README-nya menjawab lima hal: pertanyaannya, gambar jalurnya, masalah data yang ditemukan dan cara menanganinya (tiga baris kotor itu), cara menjalankannya dalam satu perintah (misalnya docker compose up), dan apa yang akan kamu ubah kalau datanya seribu kali lebih besar.
Jabatan di Indonesia
Iklan lowongan di Indonesia memakai judul-judul ini, sering dalam bahasa Inggris:
- Data Engineer: membangun dan merawat pipeline, dari sumber ke warehouse.
- Analytics Engineer: transformasi di warehouse dengan SQL dan dbt, di antara data engineer dan analis.
- Big Data Engineer: sama, dengan penekanan pada Spark, Kafka, dan data yang sangat besar.
- Data Platform Engineer: menjalankan platformnya (Airflow, Kafka, warehouse) untuk tim data lain.
- ETL Developer atau BI Engineer: judul lama yang masih dipakai di bank dan perusahaan besar.
Isi pekerjaannya sering bertumpuk; baca daftar tugasnya, bukan cuma judulnya. Pelajaran ini sengaja gak mencantumkan angka gaji: angka yang beredar berbeda jauh antar sumber, kota, dan tahun. Kalau butuh, pakai survei gaji yang menyebut nama penerbit, tahun, dan jumlah respondennya.
⚠️ Jebakan yang sering ketemu
- Mulai dari tool, bukan dari konsep. Belajar Spark dan Kafka sebelum paham grain, idempotensi, dan event time bikin kamu bisa menyalakan cluster tapi gak bisa menjelaskan kenapa angkanya dobel.
- Portofolio dari dataset yang sudah bersih. Tutorial dengan data rapi gak menunjukkan apa pun. Tunjukkan masalah nyata yang kamu temukan dan tangani.
- Menganggap SQL CRUD sudah cukup. Window function, CTE, dan rencana query (
EXPLAIN) dipakai tiap hari. - Lupa pemakainya. Pipeline ada untuk menjawab pertanyaan orang. Mulai dari pertanyaannya, seperti track ini mulai dari pertanyaan pemilik Toko Buku.
TL;DR: Skill web yang paling langsung terpakai: SQL, integrasi API, Git, dan JSON/REST; SQL jadi dasar di 10 dari 20 pelajaran track ini, queue dan job di 6. Yang baru: pandas, penyimpanan per kolom dan Parquet, model dimensi, partisi, event time dan watermark, tata kelola. Mindset bergeser dari request dan response untuk pengguna ke perpindahan dan transformasi data, batch atau stream: load yang jalan dua kali gak error, cuma salah diam-diam, jadi semuanya harus idempoten dan dites. Rencana 12 minggu mengikuti urutan track, dari Apa itu Data Engineering? sampai Orchestration at Scale, lalu proyek portofolio: pipeline Toko Buku dari 19 baris mentah, cek yang menangkap 3 baris kotor, 18 baris bersih, sampai laris_mingguan 9 baris, dengan README yang menjelaskan masalah dan cara menjalankannya. Judul jabatannya Data Engineer, Analytics Engineer, Big Data Engineer, Data Platform Engineer; angka gaji cuma dari survei yang menyebut sumber dan tahunnya.
