Kursus Pelatihan Pelatihan Intensif Databricks Data Engineering Imersif

Minggu 1 — Pengenalan ke Data Engineering

• Konsep dasar data engineering dan tumpukan data modern
• Polanya dan sumber-sumber ingestion data
• Konsep batch vs streaming dan kasus penggunaan
• Laboratorium praktis: ingestion sampel data ke cloud storage

Minggu 2 — Dasar-Dasar Databricks Lakehouse Badge

• Konsep dasar platform Databricks dan navigasi workspace
• Konsep Delta Lake: ACID, time travel, dan evolusi skema
• Keamanan workspace, kontrol akses, dan dasar-dasar Unity Catalog
• Laboratorium praktis: pembuatan dan manajemen tabel Delta

Minggu 3 — Advanced SQL di Databricks

• Konstruksi SQL lanjutan dan fungsi window skala besar
• Optimasi query, rencana penjelasan, dan pola berorientasi biaya
• Tampilan materi, caching, dan tuning performa
• Laboratorium praktis: optimasi query analitik pada dataset besar

Minggu 4 — Sertifikasi Databricks Certified Developer for Apache Spark (Persiapan)

• Arsitektur Spark, RDDs, DataFrames, dan Datasets dalam penelusuran mendalam
• Transformasi dan aksi Spark kunci; pertimbangan performa
• Dasar-dasar streaming Spark dan pola structured streaming
• Latihan soal ujian praktek dan masalah tes praktis

Minggu 5 — Pengenalan ke Data Modeling

• Konsep: modeling dimensi, desain bintang/skema, dan normalisasi
• Modeling Lakehouse vs pendekatan warehouse tradisional
• Polanya untuk dataset siap analitik
• Laboratorium praktis: membangun tabel dan tampilan siap konsumsi

Minggu 6 — Pengenalan ke Import Tools & Automasi Data Ingestion

• Connector dan alat ingestion untuk Databricks (AWS Glue, Data Factory, Kafka)
• Pola ingest streaming dan desain mikro-batch
• Validasi data, pemeriksaan kualitas, dan penegakan skema
• Laboratorium praktis: membangun pipeline ingestion yang tahan lama

Minggu 7 — Pengenalan ke Git Flow dan CI/CD untuk Data Engineering

• Strategi cabang Git Flow dan organisasi repositori
• Pipeline CI/CD untuk notebook, pekerjaan, dan infrastruktur sebagai kode
• Pengujian, linting, dan otomatisasi penyebaran untuk kode data
• Laboratorium praktis: implementasikan workflow berbasis Git dan penyebaran pekerjaan otomatis

Minggu 8 — Sertifikasi Databricks Certified Data Engineer Associate (Persiapan) & Pola Data Engineering

• Ulasan topik sertifikasi dan latihan praktis
• Pola arsitektur: bronze/silver/gold, CDC, dimensi yang berubah lambat
• Pola operasional: pemantauan, peringatan, dan linimasa
• Laboratorium praktis: pipeline end-to-end yang menerapkan pola engineering

Minggu 9 — Pengenalan ke Airflow dan Astronomer; Scripting

• Konsep Airflow: DAGs, tugas, operator, dan penjadwalan
• Ikhtisar platform Astronomer dan praktik terbaik orkestrasi
• Scripting untuk otomatisasi: pola scripting Python untuk tugas data
• Laboratorium praktis: orkestrasi pekerjaan Databricks dengan DAGs Airflow

Minggu 10 — Visualisasi Data, Tableau, dan Proyek Final Kustom

• Menyambungkan Tableau ke Databricks dan praktik terbaik untuk lapisan BI
• Prinsip desain dasbor dan visualisasi yang berorientasi performa
• Capstone: penentuan cakupan, implementasi, dan presentasi proyek final kustom
• Presentasi akhir, ulasan peer-to-peer, dan umpan balik instruktur

Rangkuman dan Langkah Selanjutnya