Hubungi Kami

Kerangka Materi

Pengingat Konsep Dasar Apache Airflow

  • Ilmu pokok: DAG, operator, serta mekanisme eksekusi alur kerja.
  • Arsitektur dan komponen inti Apache Airflow.
  • Memahami kasus penggunaan tingkat lanjut beserta pola alurnya.

Pembuatan Operator Khusus

  • Mengenal struktur dasar pembentukan sebuah operator dalam Airflow.
  • Cara merancang operator khusus untuk tugas-tugas spesifik.
  • Uji coba dan perbaikan kesalahan pada operator yang telah dibuat.

Pembuatan Hook serta Sensor Khusus

  • Mengimplementasikan hook sebagai jembatan integrasi dengan sistem eksternal.
  • Cara menciptakan sensor untuk memantau kejadian atau pemicu di luar sistem Airflow.
  • Menambah interaktivitas alur kerja melalui sensor yang disesuaikan sendiri.

Pengembangan Plugin Apache Airflow

  • Mempelajari konsep arsitektur plugin dalam platform ini.
  • Cara merancang plugin untuk memperluas kemampuan Apache Airflow.
  • Mengetahui praktik terbaik dalam pengaturan serta penerapan plugin tersebut.

Pengintegrasian Airflow dengan Sistem Eksternal

  • Cara mengkoneksikan platform ini ke basis data, API, maupun layanan cloud.
  • Menggunakan Apache Airflow dalam proses ETL serta pemrosesan data secara real time.
  • Menangani hubungan ketergantungan antara Airflow dan komponen eksternal lainnya.

Teknik Debugging Tingkat Lanjut dan Pemantauan

  • Pemanfaatan log serta metrik bawaan untuk deteksi gangguan.
  • Mengatur mekanisme peringatan otomatis terkait masalah pada alur kerja.
  • Integrasi dengan alat pemantauan pihak ketiga agar memudahkan analisis sistem.

Optimalisasi Performa dan Skalabilitas

  • Meningkatkan kapasitas Airflow melalui executor Celery serta Kubernetes.
  • Pengaturan optimal penggunaan sumber daya dalam alur kerja yang kompleks.
  • Rumus pencapaian ketersediaan tinggi dan keterbebasan dari kegagalan sistem.

Studi Kasus serta Aplikasi Nyata

  • Mengupas contoh implementasi canggih dalam ranah rekayasa data maupun DevOps.
  • Studi khusus: Pembuatan operator kustom untuk sistem ETL berskala besar.
  • Praktik manajemen efektif bagi infrastruktur Airflow di tingkat organisasi.

Penutup dan Langkah Selanjutnya

Persyaratan

  • Pemahaman mendalam mengenai konsep dasar Apache Airflow, termasuk DAG, operator, serta arsitektur eksekusi.
  • Kemampuan memadai dalam pemrograman Python.
  • Pengalaman mengintegrasikan sistem data dengan alur kerja yang terkoordinasi.

Target Peserta

  • Insinyur data
  • Insinyur DevOps
  • Arsitek perangkat lunak
 21 Jam

Jumlah Peserta


Harga per Peserta

Testimoni (1)

Kursus Mendatang

Kategori Terkait