Kerangka Materi

Ulasan Apache Airflow Dasar-dasar

  • Konsep inti: DAG, tugas, dan operator
  • Arsitektur dan komponen aliran udara
  • Rekap kasus penggunaan umum dan alur kerja

Mengoptimalkan Kinerja Alur Kerja

  • Mengidentifikasi hambatan pada jalur pipa aliran udara
  • Teknik optimasi tingkat tugas
  • Memanfaatkan percobaan ulang tugas, paralelisme, dan konkurensi

Mengelola Ketergantungan Kompleks

  • Menentukan dependensi dinamis dalam alur kerja
  • Menangani alur kerja bersyarat dan percabangan
  • Menggunakan grup tugas dan sub-DAG secara efektif

Fitur Lanjutan di Apache Airflow

  • Membuat operator dan hook khusus
  • Menerapkan sensor untuk pemicu eksternal
  • Mengintegrasikan layanan dan plugin pihak ketiga

Skala Apache Airflow Penerapan

  • Pendekatan skala horizontal dan vertikal
  • Menggunakan Celery Executors untuk eksekusi terdistribusi
  • Praktik terbaik untuk penskalaan di lingkungan cloud

Alur Kerja Pemantauan dan Debugging

  • Mengonfigurasi pencatatan dan peringatan untuk pemantauan alur kerja
  • Menggunakan UI dan CLI Airflow untuk pemecahan masalah
  • Mengidentifikasi dan menyelesaikan masalah umum dalam penerapan Airflow

Pengamanan Apache Airflow

  • Otentikasi dan kontrol akses di Airflow
  • Melindungi data sensitif dan konfigurasi lingkungan
  • Menerapkan jejak audit untuk alur kerja

Perusahaan Use Case dan Praktik Terbaik

  • Merancang alur kerja yang kuat untuk lingkungan produksi
  • Memanfaatkan Airflow untuk rekayasa data dan jalur ETL
  • Menjelajahi studi kasus dunia nyata tentang penerapan Airflow yang dapat diskalakan

Ringkasan dan Langkah Berikutnya

Persyaratan

  • Pengetahuan dasar tentang Apache Airflow
  • Keakraban dengan konsep pemrograman Python dan orkestrasi alur kerja
  • Pengalaman dalam mengelola dan menerapkan aplikasi di lingkungan Linux

Hadirin

  • Insinyur data
  • DevOps profesional
  • Pengembang perangkat lunak
 21 Jam

Jumlah Peserta


Biaya per Peserta

Kursus Pelatihan Terbuka membutuhkan minimal 5 peserta.

Testimoni (1)

Tons of new things learned. Thanks to Jacek who is very skilled, kind and helping a lot.

Emil Peev - PUBLIC COURSE
Kursus - Apache Airflow

Kursus Mendatang

Intermediate Apache Airflow: Optimizing and Scaling Workflows

2025-10-21 09:30
21 Jam
Pondok Indah Office Tower 3
60450000 IDR (Online)
60450000 IDR (Ruang Kelas)

Intermediate Apache Airflow: Optimizing and Scaling Workflows

2025-11-04 09:30
21 Jam
Pondok Indah Office Tower 3
60450000 IDR (Online)
60450000 IDR (Ruang Kelas)

Intermediate Apache Airflow: Optimizing and Scaling Workflows

2025-11-18 09:30
21 Jam
Pondok Indah Office Tower 3
60450000 IDR (Online)
60450000 IDR (Ruang Kelas)

Intermediate Apache Airflow: Optimizing and Scaling Workflows

2025-12-02 09:30
21 Jam
Pondok Indah Office Tower 3
60450000 IDR (Online)
60450000 IDR (Ruang Kelas)

Kursus Terkait

Advanced Apache Airflow: Pengembang Operator dan Plugin Kustom

21 Jam

Pelatihan langsung yang dipimpin instruktur di Indonesia (online atau di tempat) ini ditujukan untuk peserta tingkat lanjut yang ingin membuat operator, sensor, dan plugin khusus di Apache Airflow, dan mengintegrasikannya dengan sistem data yang ada untuk otomatisasi dan pemantauan tingkat lanjut.

Pada akhir pelatihan ini, peserta akan dapat:

  • Mengembangkan operator, kait, dan sensor khusus yang disesuaikan dengan alur kerja tertentu.
  • Merancang dan menerapkan plugin Airflow untuk memperluas fungsionalitas.
  • Integrasikan alur kerja Airflow dengan sistem dan layanan eksternal.
  • Optimalkan dan pantau alur kerja menggunakan alat debugging tingkat lanjut.
  • Memanfaatkan praktik terbaik untuk mengelola penerapan Airflow berskala besar.
Baca selengkapnya...

Memahami Apache Airflow untuk DevOps

21 Jam

Pelatihan langsung yang dipandu instruktur di Indonesia (online atau di tempat) ini ditujukan untuk peserta tingkat lanjut yang ingin menerapkan Apache Airflow di lingkungan cloud, menyiapkan jalur CI/CD, dan menerapkan praktik pemantauan dan pencatatan yang kuat.

Pada akhir pelatihan ini, peserta akan dapat:

  • Terapkan Apache Airflow di lingkungan cloud dan containerized.
  • Siapkan jalur CI/CD untuk mengotomatiskan pengujian dan penerapan DAG.
  • Integrasikan alat pemantauan dan pencatatan untuk meningkatkan keandalan sistem.
  • Optimalkan konfigurasi Airflow untuk kinerja dan skalabilitas.
  • Terapkan praktik terbaik keamanan untuk mengelola alur kerja dan lingkungan.
Baca selengkapnya...

Apache Airflow untuk Data Science: Mengotomatisasi Machine Learning Pipelines

21 Jam

Pelatihan ini dipimpin oleh instruktur secara langsung di Indonesia (online atau tatap muka) dan ditujukan untuk peserta tingkat menengah yang ingin mengautomasikan dan mengelola alur kerja machine learning, termasuk pelatihan model, validasi, dan penyebaran menggunakan Apache Airflow.

Di akhir pelatihan ini, peserta akan mampu untuk:

  • Mengatur Apache Airflow untuk orkestrasi alur kerja machine learning.
  • Mengautomasikan tugas-tugas pra-pemrosesan data, pelatihan model, dan validasi.
  • Mengintegrasikan Airflow dengan kerangka kerja dan alat machine learning.
  • Menggunakan pipa terautomasi untuk menyebarkan model machine learning.
  • Memantau dan mengoptimalkan alur kerja machine learning di produksi.
Baca selengkapnya...

Apache Airflow

21 Jam

Pelatihan langsung yang dipimpin instruktur di Indonesia (online atau di tempat) ini ditujukan untuk peserta tingkat pemula hingga menengah yang ingin menggunakan Apache Airflow untuk membangun dan mengelola jalur data ujung ke ujung.

Pada akhir pelatihan ini, peserta akan dapat:

  • Instal dan konfigurasikan Apache Airflow.
  • Penulis, jadwalkan, dan pantau alur data yang kompleks
  • Kelola banyak ETL (Ekstrak, Ekstrak, Transformasi, Muat).
  • Skala dan aman Apache Airflow.
Baca selengkapnya...

Kategori Terkait

Apache Airflow
Apache Airflow