Terima kasih telah mengirimkan pertanyaan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Terima kasih telah mengirimkan pemesanan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Kerangka Materi
Pengantar Apache Airflow
- Apa itu orchestrasi workflow
- Fitur dan manfaat utama Apache Airflow
- Perbaikan dan overview ekosistem Airflow 2.x
Arsitektur dan Konsep Dasar
- Proses scheduler, web server, dan worker
- DAGs, tugas, dan operator
- Eksekutor dan backend (Local, Celery, Kubernetes)
Instalasi dan Pengaturan
- Menginstal Airflow di lingkungan lokal dan cloud
- Mengkonfigurasi Airflow dengan berbagai eksekutor
- Mengatur database metadata dan koneksi
Menavigasi UI dan CLI Airflow
- Mengkaji antarmuka web Airflow
- Memantau penjalanan DAG, tugas, dan log
- Menggunakan CLI Airflow untuk administrasi
Menulis dan Mengelola DAGs
- Membuat DAGs dengan TaskFlow API
- Menggunakan operator, sensor, dan hook
- Mengelola ketergantungan dan interval penjadwalan
Mengintegrasikan Airflow dengan Layanan Data dan Cloud
- Menghubungkan ke database, API, dan antrian pesan
- Menjalankan pipeline ETL dengan Airflow
- Integrasi cloud: operator AWS, GCP, Azure
Pemantauan dan Observabilitas
- Log tugas dan pemantauan waktu nyata
- Metrik dengan Prometheus dan Grafana
- Pengumuman dan notifikasi melalui email atau Slack
Mengamanakan Apache Airflow
- Kontrol akses berbasis peran (RBAC)
- Otentikasi dengan LDAP, OAuth, dan SSO
- Pengelolaan rahasia dengan Vault dan penyimpanan rahasia cloud
Mengskalakan Apache Airflow
- Paralelisme, konsistensi, dan antrian tugas
- Menggunakan CeleryExecutor dan KubernetesExecutor
- Menyiapkan Airflow di Kubernetes dengan Helm
Best Practices untuk Produksi
- Kontrol versi dan CI/CD untuk DAGs
- Pengujian dan debug DAGs
- Mempertahankan keterandalan dan kinerja di skala besar
Penyelesaian Masalah dan Optimasi
- Mengidentifikasi dan memperbaiki DAG dan tugas yang gagal
- Meningkatkan kinerja DAG
- Banyaknya masalah umum dan cara menghindarinya
Ringkasan dan Langkah Selanjutnya
Persyaratan
- Pengalaman dalam pemrograman Python
- Kenampakan dengan konsep data engineering atau DevOps
- Pemahaman tentang ETL atau workflow orchestration
Penonton
- Ilmuwan data
- Insinyur data
- Insinyur DevOps dan infrastruktur
- Pengembang perangkat lunak
21 Jam
Testimoni (7)
The training was spot on. Very useful theory and exercices.
Vladimir - PUBLIC COURSE
Kursus - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Kursus - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Kursus - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Kursus - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Kursus - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
Vladimir - PUBLIC COURSE
Kursus - Apache Airflow
The training was spot on in all aspects. Usefull theoretical aspects and exercises.
