Terima kasih telah mengirimkan pertanyaan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Terima kasih telah mengirimkan pemesanan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Kerangka Materi
Pengantar Apache Airflow
- Apa itu orchestrasi workflow
- Fitur dan manfaat utama Apache Airflow
- Perbaikan dan overview ekosistem Airflow 2.x
Arsitektur dan Konsep Dasar
- Proses scheduler, web server, dan worker
- DAGs, tugas, dan operator
- Eksekutor dan backend (Local, Celery, Kubernetes)
Instalasi dan Pengaturan
- Menginstal Airflow di lingkungan lokal dan cloud
- Mengkonfigurasi Airflow dengan berbagai eksekutor
- Mengatur database metadata dan koneksi
Menavigasi UI dan CLI Airflow
- Mengkaji antarmuka web Airflow
- Memantau penjalanan DAG, tugas, dan log
- Menggunakan CLI Airflow untuk administrasi
Menulis dan Mengelola DAGs
- Membuat DAGs dengan TaskFlow API
- Menggunakan operator, sensor, dan hook
- Mengelola ketergantungan dan interval penjadwalan
Mengintegrasikan Airflow dengan Layanan Data dan Cloud
- Menghubungkan ke database, API, dan antrian pesan
- Menjalankan pipeline ETL dengan Airflow
- Integrasi cloud: operator AWS, GCP, Azure
Pemantauan dan Observabilitas
- Log tugas dan pemantauan waktu nyata
- Metrik dengan Prometheus dan Grafana
- Pengumuman dan notifikasi melalui email atau Slack
Mengamanakan Apache Airflow
- Kontrol akses berbasis peran (RBAC)
- Otentikasi dengan LDAP, OAuth, dan SSO
- Pengelolaan rahasia dengan Vault dan penyimpanan rahasia cloud
Mengskalakan Apache Airflow
- Paralelisme, konsistensi, dan antrian tugas
- Menggunakan CeleryExecutor dan KubernetesExecutor
- Menyiapkan Airflow di Kubernetes dengan Helm
Best Practices untuk Produksi
- Kontrol versi dan CI/CD untuk DAGs
- Pengujian dan debug DAGs
- Mempertahankan keterandalan dan kinerja di skala besar
Penyelesaian Masalah dan Optimasi
- Mengidentifikasi dan memperbaiki DAG dan tugas yang gagal
- Meningkatkan kinerja DAG
- Banyaknya masalah umum dan cara menghindarinya
Ringkasan dan Langkah Selanjutnya
Persyaratan
- Pengalaman dalam pemrograman Python
- Kenampakan dengan konsep data engineering atau DevOps
- Pemahaman tentang ETL atau workflow orchestration
Penonton
- Ilmuwan data
- Insinyur data
- Insinyur DevOps dan infrastruktur
- Pengembang perangkat lunak
21 Jam
Testimoni (7)
Instruktur menyesuaikan pelatihan dengan tingkat peserta dan menjawab semua pertanyaan. Dia sangat komunikatif, dan mudah berinteraksi dengannya. Saya sangat menghargai format pelatihan yang mencakup banyak latihan praktis. Secara keseluruhan, ini adalah sesi yang sangat menarik dan terorganisir dengan baik.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Kursus - Apache Airflow: Building and Managing Data Pipelines
Diterjemahkan Mesin
Pelatihan ini sangat tepat. Teori dan latihan yang sangat bermanfaat.
Vladimir - PUBLIC COURSE
Kursus - Apache Airflow
Diterjemahkan Mesin
Pelatihan tersebut sangat tepat di semua aspek. Aspek teoritis yang bermanfaat dan latihan yang mendukung.
Vladimir - PUBLIC COURSE
Kursus - Apache Airflow
Diterjemahkan Mesin
Pelatihan tersebut sangat tepat di semua aspek. Aspek teoritis yang berguna dan latihan yang mendukung.
Vladimir - PUBLIC COURSE
Kursus - Apache Airflow
Diterjemahkan Mesin
Pelatihan ini sangat tepat dari semua aspek. Aspek teoritis yang bermanfaat dan latihan praktis.
Vladimir - PUBLIC COURSE
Kursus - Apache Airflow
Diterjemahkan Mesin
Pelatihan ini sangat tepat dari semua aspek. Aspek teoritis yang bermanfaat dan latihan praktis.
Vladimir - PUBLIC COURSE
Kursus - Apache Airflow
Diterjemahkan Mesin
Pelatihan tersebut tepat sasaran di semua aspek. Aspek teoritis yang berguna dan latihan praktis.
Vladimir - PUBLIC COURSE
Kursus - Apache Airflow
Diterjemahkan Mesin
