Kerangka Materi

Pengenalan, Tujuan, dan Strategi Migrasi

  • Tujuan kursus, penyesuaian profil peserta, dan kriteria sukses
  • Pendekatan migrasi tingkat tinggi dan pertimbangan risiko
  • Penyiapan ruang kerja, repositori, dan dataset laboratorium

Hari 1 — Dasar-dasar Migrasi dan Arsitektur

  • Konsep Lakehouse, overview Delta Lake, dan arsitektur Databricks
  • Perbedaan SMP vs MPP dan implikasinya untuk migrasi
  • Desain Medallion (Bronze→Silver→Gold) dan overview Unity Catalog

Laboratorium Hari 1 — Menerjemahkan Stored Procedure

  • Migrasi praktis dari stored procedure sampel ke notebook
  • Pemetaan tabel sementara dan kursor ke transformasi DataFrame
  • Validasi dan perbandingan dengan output asli

Hari 2 — Delta Lake Lanjutan & Inkremental Loading

  • Transaksi ACID, log komitmen, versi, dan time travel
  • Auto Loader, pola MERGE INTO, upserts, dan evolusi skema
  • OPTIMIZE, VACUUM, Z-ORDER, partisi, dan penyetelan penyimpanan

Laboratorium Hari 2 — Inkremental Ingestion & Optimasi

  • Implementasi Auto Loader ingestion dan alur kerja MERGE
  • Aplikasi OPTIMIZE, Z-ORDER, dan VACUUM; validasi hasil
  • Pengukuran peningkatan kinerja read/write

Hari 3 — SQL di Databricks, Kinerja & Debugging

  • Fitur SQL analitik: fungsi window, fungsi tingkat tinggi, penanganan JSON/array
  • Membaca Spark UI, DAGs, shuffle, stage, tugas, dan diagnosis leher botol
  • Pola penyetelan kueri: join broadcast, hint, caching, dan pengurangan spill

Laboratorium Hari 3 — Refactoring SQL & Penyetelan Kinerja

  • Merefaktor proses SQL berat menjadi Spark SQL yang dioptimalkan
  • Gunakan jejak Spark UI untuk mengidentifikasi dan memperbaiki masalah skew dan shuffle
  • Benchmark sebelum/sesudah dan dokumentasikan langkah-langkah penyetelan

Hari 4 — PySpark Taktis: Menggantikan Logika Prosedural

  • Model eksekusi Spark: driver, executor, evaluasi malas, dan strategi partisi
  • Transformasi loop dan kursor menjadi operasi DataFrame vektorisasi
  • Modularisasi, UDFs/pandas UDFs, widget, dan perpustakaan yang dapat digunakan ulang

Laboratorium Hari 4 — Merefaktor Skrip Prosedural

  • Merefaktor skrip ETL prosedural menjadi notebook PySpark modular
  • Introduksi parametrasi, uji gaya unit, dan fungsi yang dapat digunakan ulang
  • Tinjauan kode dan aplikasi daftar periksa praktik terbaik

Hari 5 — Orkestrasi, Pipa Pengolahan End-to-End & Praktik Terbaik

  • Databricks Workflows: desain pekerjaan, ketergantungan tugas, pemicu, dan penanganan kesalahan
  • Merancang pipa Medallion inkremental dengan aturan kualitas dan validasi skema
  • Integrasi dengan Git (GitHub/Azure DevOps), CI, dan strategi pengujian untuk logika PySpark

Laboratorium Hari 5 — Bangun Pipa Pengolahan End-to-End Lengkap

  • Assemble pipeline Bronze→Silver→Gold yang diorkestra dengan Workflows
  • Implementasikan logging, audit, retry, dan validasi otomatis
  • Jalankan pipa pengolahan penuh, validasi output, dan siapkan catatan penyebaran

Operasionalisasi, Tata Kelola, dan Siap Produksi

  • Tata kelola Unity Catalog, garis keturunan, dan praktik kontrol akses terbaik
  • Biaya, ukuran cluster, otomatisasi skala, dan pola konkurensi pekerjaan
  • Daftar periksa penyebaran, strategi rollback, dan pembuatan buku panduan

Tinjauan Akhir, Transfer Pengetahuan, dan Langkah Selanjutnya

  • Presentasi peserta tentang pekerjaan migrasi dan pelajaran yang dipelajari
  • Analisis celah, aktivitas pengikut-up yang direkomendasikan, dan serah terima materi pelatihan
  • Referensi, jalur pembelajaran lebih lanjut, dan opsi dukungan

Persyaratan

  • Pemahaman tentang konsep engineering data
  • Pengalaman dengan SQL dan stored procedures (Synapse / SQL Server)
  • Kenalan dengan konsep orkestrasi ETL (ADF atau sejenisnya)

Audience

  • Manajer teknologi dengan latar belakang engineering data
  • Data engineers yang beralih dari logika prosedural OLAP ke pola Lakehouse
  • Platform engineers yang bertanggung jawab atas adopsi Databricks
 35 Jam

Jumlah Peserta


Biaya per Peserta

Kursus Pelatihan Terbuka membutuhkan minimal 5 peserta.

Kursus Mendatang

Workshop Migrasi Databricks: Dari Stored Procedures ke Lakehouse (5 Hari Intensif)

2026-01-05 09:30
35 Jam
Pondok Indah Office Tower 3
100750000 IDR (Daring)
100750000 IDR (Ruang Kelas)

Workshop Migrasi Databricks: Dari Stored Procedures ke Lakehouse (5 Hari Intensif)

2026-01-19 09:30
35 Jam
Pondok Indah Office Tower 3
100750000 IDR (Daring)
100750000 IDR (Ruang Kelas)

Workshop Migrasi Databricks: Dari Stored Procedures ke Lakehouse (5 Hari Intensif)

2026-02-02 09:30
35 Jam
Pondok Indah Office Tower 3
100750000 IDR (Daring)
100750000 IDR (Ruang Kelas)

Workshop Migrasi Databricks: Dari Stored Procedures ke Lakehouse (5 Hari Intensif)

2026-02-16 09:30
35 Jam
Pondok Indah Office Tower 3
100750000 IDR (Daring)
100750000 IDR (Ruang Kelas)

Workshop Migrasi Databricks: Dari Stored Procedures ke Lakehouse (5 Hari Intensif)

2026-03-02 09:30
35 Jam
Pondok Indah Office Tower 3
100750000 IDR (Daring)
100750000 IDR (Ruang Kelas)

Kursus Terkait

Machine Learning dengan Azure Databricks untuk Keuangan

 7 Jam

Azure Databricks adalah platform kolaboratif berbasis cloud yang mendukung analitik big data dan machine learning menggunakan Apache Spark dan ekosistem Microsoft Azure.

Pelatihan ini dipandu oleh instruktur (online atau tatap muka) ditujukan untuk profesional data tingkat menengah yang ingin merancang, membangun, dan menerapkan model machine learning menggunakan Azure Databricks untuk kasus penggunaan keuangan.

Pada akhir pelatihan ini, peserta akan dapat:

  • Membangun dan melatih model machine learning menggunakan data keuangan di Azure Databricks.
  • Menggunakan MLflow untuk melacak eksperimen, mengelola model, dan menerapkan solusi.
  • Menerapkan model untuk mendeteksi anomali, menilai risiko, atau memprediksi tren dalam keuangan.
  • Mengintegrasikan model ML ke dalam pipeline yang dapat diskalakan untuk evaluasi berkelanjutan.

Format Kursus

  • Ceramah interaktif dan diskusi.
  • Banyak latihan dan praktik.
  • Implementasi tangan di lingkungan live-lab.

Pilihan Penyesuaian Kursus

  • Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk mengatur.
Baca selengkapnya...

Databricks

14 Jam

Pelatihan langsung yang dipimpin instruktur di Indonesia (online atau di tempat) ini ditujukan untuk ilmuwan data dan pengembang yang ingin menyiapkan, menerapkan, dan mengelola solusi analitik data menggunakan Databricks.

Pada akhir pelatihan ini, peserta akan dapat:

  • Siapkan dan konfigurasikan Databricks.
  • Pahami bagaimana Databricks dan Apache Spark bekerja bersama.
  • Pelajari cara memuat dan mengubah data di Databricks.
Baca selengkapnya...

Pelatihan Intensif Databricks Data Engineering Imersif

 350 Jam

Databricks Lakehouse adalah platform data dan AI yang terpadu yang menggabungkan data engineering, data science, dan analitik dalam satu fondasi yang skalabel.

Pelatihan ini dipimpin instruktur (online atau tatap muka) ditujukan untuk insinyur data dan praktisi analitik dengan tingkat menengah hingga lanjutan yang ingin memperoleh keterampilan end-to-end yang siap produksi dalam data engineering menggunakan Databricks, Apache Spark, orkestrasi, dan visualisasi downstream.

Setelah pelatihan ini, peserta akan mampu:

  • Mendesain dan mengimplementasikan pipeline ETL/ELT yang skalabel di platform Databricks Lakehouse.
  • Menggunakan Spark dan SQL lanjutan secara efektif untuk pemrosesan data besar skala besar dan optimasi.
  • Mem bangun, melatih, dan menerapkan model menggunakan pola ML Big Data dan alat Databricks.
  • Mengimplementasikan pola modeling dan ingest data yang sesuai dengan kebutuhan analitik dan pelaporan.
  • Mengotomatisasi workflow dengan Airflow/Astronomer dan mengoperasionalkan dengan CI/CD berbasis Git.
  • Membuat dasbor produksi dan visualisasi menggunakan Tableau yang terhubung ke Databricks.
  • Menyampaikan proyek capstone kustom yang mendemonstrasikan solusi Lakehouse end-to-end.

Format Pelatihan

  • Kuliah teori dengan topik harian dan bacaan fokus.
  • Laboratorium praktis yang luas di Databricks dan lingkungan cloud.
  • Penilaian praktis mingguan dan persiapan badge sertifikasi.
  • Pekerjaan proyek bimbingan dengan mentor instruktur dan ulasan peer-to-peer.
  • Proyek capstone kustom akhir dan presentasi.

Opsi Penyesuaian Pelatihan

  • Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk mengatur.
Baca selengkapnya...

Data Analysis dengan Databricks untuk Finance

14 Jam

Databricks adalah platform analitik terpadu yang dirancang untuk big data dan machine learning dalam lingkungan kolaboratif.

Pelatihan langsung berorientasi instruktur (online atau di lokasi) ini ditujukan bagi analis data level pemula hingga menengah serta profesional keuangan yang ingin melakukan analisis data berskala besar menggunakan Databricks dalam kasus penggunaan terkait keuangan.

Selesai pelatihan ini, peserta akan dapat:

  • Menggunakan notebook Databricks untuk meminta dan menganalisis dataset keuangan.
  • Membersihkan dan mentransformasikan data keuangan mentah untuk laporan dan wawasan.
  • Membuat dashboard dan visualisasi untuk pelacakan kinerja.
  • Berkolaborasi secara real time dengan anggota tim di notebook bersama.

Format Kursus

  • Lektur interaktif dan diskusi.
  • Banyak latihan dan praktik.
  • Pelaksanaan hands-on dalam lingkungan laboratorium langsung.

Opsi Pemaduan Kursus

  • Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk menentukan.
Baca selengkapnya...

Kategori Terkait

Databricks
Databricks