Kerangka Materi
Pengenalan Apache Airflow
- Apa itu orkestrasi alur kerja
- Fitur dan manfaat utama Apache Airflow
- Peningkatan Airflow 2.x dan gambaran ekosistem
Arsitektur dan Konsep Inti
- Proses scheduler, web server, dan worker
- DAG, tugas, dan operator
- Executor dan backend (Local, Celery, Kubernetes)
Instalasi dan Pemasangan
- Menginstal Airflow di lingkungan lokal dan cloud
- Mengonfigurasi Airflow dengan berbagai executor
- Menyiapkan database metadata dan koneksi
Menjelajahi UI dan CLI Airflow
- Menjelajahi antarmuka web Airflow
- Memantau eksekusi DAG, tugas, dan log
- Menggunakan CLI Airflow untuk administrasi
Membuat dan Mengelola DAG
- Membuat DAG dengan TaskFlow API
- Menggunakan operator, sensor, dan hook
- Mengelola dependensi dan interval penjadwalan
Mengintegrasikan Airflow dengan Data dan Layanan Cloud
- Menghubungkan ke database, API, dan antrean pesan
- Menjalankan pipeline ETL dengan Airflow
- Integrasi cloud: operator AWS, GCP, Azure
Pemantauan dan Observabilitas
- Log tugas dan pemantauan real-time
- Metrik dengan Prometheus dan Grafana
- Alerting dan notifikasi melalui email atau Slack
Mengamankan Apache Airflow
- Kontrol akses berbasis peran (RBAC)
- Autentikasi dengan LDAP, OAuth, dan SSO
- Manajemen secrets dengan Vault dan cloud secret stores
Memperluas Skala Apache Airflow
- Paralelisme, konkurensi, dan antrean tugas
- Menggunakan CeleryExecutor dan KubernetesExecutor
- Mendeplomentasikan Airflow di Kubernetes dengan Helm
Praktik Terbaik untuk Produksi
- Kontrol versi dan CI/CD untuk DAG
- Pengujian dan debugging DAG
- Mempertahankan keandalan dan kinerja dalam skala besar
Pemecahan Masalah dan Optimasi
- Debugging DAG dan tugas yang gagal
- Mengoptimalkan kinerja DAG
- Jebakan umum dan cara menghindarinya
Ringkasan dan Langkah Selanjutnya
Persyaratan
- Pengalaman dengan pemrograman Python
- Familiaritas dengan konsep data engineering atau DevOps
- Pemahaman tentang ETL atau orkestrasi alur kerja
Target Audiens
- Ilmuwan data
- Insinyur data
- Insinyur DevOps dan infrastruktur
- Pengembang perangkat lunak
Testimoni (7)
Instruktur menyesuaikan pelatihan dengan tingkat peserta dan menjawab semua pertanyaan. Dia sangat komunikatif, dan mudah berinteraksi dengannya. Saya sangat menghargai format pelatihan yang mencakup banyak latihan praktis. Secara keseluruhan, ini adalah sesi yang sangat menarik dan terorganisir dengan baik.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Kursus - Apache Airflow: Building and Managing Data Pipelines
Diterjemahkan Mesin
Pelatihan ini sangat tepat. Teori dan latihan yang sangat bermanfaat.
Vladimir - PUBLIC COURSE
Kursus - Apache Airflow
Diterjemahkan Mesin
Pelatihan tersebut sangat tepat di semua aspek. Aspek teoritis yang bermanfaat dan latihan yang mendukung.
Vladimir - PUBLIC COURSE
Kursus - Apache Airflow
Diterjemahkan Mesin
Pelatihan tersebut sangat tepat di semua aspek. Aspek teoritis yang berguna dan latihan yang mendukung.
Vladimir - PUBLIC COURSE
Kursus - Apache Airflow
Diterjemahkan Mesin
Pelatihan ini sangat tepat dari semua aspek. Aspek teoritis yang bermanfaat dan latihan praktis.
Vladimir - PUBLIC COURSE
Kursus - Apache Airflow
Diterjemahkan Mesin
Pelatihan ini sangat tepat dari semua aspek. Aspek teoritis yang bermanfaat dan latihan praktis.
Vladimir - PUBLIC COURSE
Kursus - Apache Airflow
Diterjemahkan Mesin
Pelatihan tersebut tepat sasaran di semua aspek. Aspek teoritis yang berguna dan latihan praktis.
Vladimir - PUBLIC COURSE
Kursus - Apache Airflow
Diterjemahkan Mesin
