Terima kasih telah mengirimkan pertanyaan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Terima kasih telah mengirimkan pemesanan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Kerangka Materi
Pengingat Konsep Dasar Apache Airflow
- Ilmu pokok: DAG, operator, serta mekanisme eksekusi alur kerja.
- Arsitektur dan komponen inti Apache Airflow.
- Memahami kasus penggunaan tingkat lanjut beserta pola alurnya.
Pembuatan Operator Khusus
- Mengenal struktur dasar pembentukan sebuah operator dalam Airflow.
- Cara merancang operator khusus untuk tugas-tugas spesifik.
- Uji coba dan perbaikan kesalahan pada operator yang telah dibuat.
Pembuatan Hook serta Sensor Khusus
- Mengimplementasikan hook sebagai jembatan integrasi dengan sistem eksternal.
- Cara menciptakan sensor untuk memantau kejadian atau pemicu di luar sistem Airflow.
- Menambah interaktivitas alur kerja melalui sensor yang disesuaikan sendiri.
Pengembangan Plugin Apache Airflow
- Mempelajari konsep arsitektur plugin dalam platform ini.
- Cara merancang plugin untuk memperluas kemampuan Apache Airflow.
- Mengetahui praktik terbaik dalam pengaturan serta penerapan plugin tersebut.
Pengintegrasian Airflow dengan Sistem Eksternal
- Cara mengkoneksikan platform ini ke basis data, API, maupun layanan cloud.
- Menggunakan Apache Airflow dalam proses ETL serta pemrosesan data secara real time.
- Menangani hubungan ketergantungan antara Airflow dan komponen eksternal lainnya.
Teknik Debugging Tingkat Lanjut dan Pemantauan
- Pemanfaatan log serta metrik bawaan untuk deteksi gangguan.
- Mengatur mekanisme peringatan otomatis terkait masalah pada alur kerja.
- Integrasi dengan alat pemantauan pihak ketiga agar memudahkan analisis sistem.
Optimalisasi Performa dan Skalabilitas
- Meningkatkan kapasitas Airflow melalui executor Celery serta Kubernetes.
- Pengaturan optimal penggunaan sumber daya dalam alur kerja yang kompleks.
- Rumus pencapaian ketersediaan tinggi dan keterbebasan dari kegagalan sistem.
Studi Kasus serta Aplikasi Nyata
- Mengupas contoh implementasi canggih dalam ranah rekayasa data maupun DevOps.
- Studi khusus: Pembuatan operator kustom untuk sistem ETL berskala besar.
- Praktik manajemen efektif bagi infrastruktur Airflow di tingkat organisasi.
Penutup dan Langkah Selanjutnya
Persyaratan
- Pemahaman mendalam mengenai konsep dasar Apache Airflow, termasuk DAG, operator, serta arsitektur eksekusi.
- Kemampuan memadai dalam pemrograman Python.
- Pengalaman mengintegrasikan sistem data dengan alur kerja yang terkoordinasi.
Target Peserta
- Insinyur data
- Insinyur DevOps
- Arsitek perangkat lunak
21 Jam
Testimoni (1)
Instruktur menyesuaikan pelatihan dengan tingkat peserta dan menjawab semua pertanyaan. Dia sangat komunikatif, dan mudah berinteraksi dengannya. Saya sangat menghargai format pelatihan yang mencakup banyak latihan praktis. Secara keseluruhan, ini adalah sesi yang sangat menarik dan terorganisir dengan baik.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Kursus - Apache Airflow: Building and Managing Data Pipelines
Diterjemahkan Mesin