Kerangka Materi

Dasar-dasar NiFi dan Aliran Data

  • Data dalam pergerakan vs data diam: konsep dan tantangan
  • Arsitektur NiFi: core, pengatur aliran, provenance, dan bulletin
  • Komponen utama: processor, koneksi, controller, dan provenance

Konteks dan Integraksi Big Data

  • Peran NiFi dalam ekosistem Big Data (Hadoop, Kafka, penyimpanan cloud)
  • Irisan HDFS, MapReduce, dan alternatif modern
  • Kasus penggunaan: pengambilan aliran, pengiriman log, pipa acara

Instalasi, Konfigurasi & Pengaturan Kluster

  • Memasang NiFi dalam mode tunggal dan kluster
  • Konfigurasi kluster: peran node, zookeeper, dan pembagi beban
  • Mengatur penempatan NiFi: menggunakan Ansible, Docker, atau Helm

Mendesain dan Mengelola Aliran Data

  • Rute, penyaringan, pemisahan, dan penggabungan aliran
  • Konfigurasi processor (InvokeHTTP, QueryRecord, PutDatabaseRecord, dll.)
  • Penanganan skema, penambahan nilai, dan operasi transformasi
  • Penanganan kesalahan, hubungan pengulangan, dan tekanan balik

Skenario Integraksi

  • Menghubungkan ke database, sistem pesan, dan REST API
  • Aliran ke sistem analitik: Kafka, Elasticsearch, atau penyimpanan cloud
  • Integraksi dengan Splunk, Prometheus, atau pipa log

Monitoring, Pemulihan & Provenance

  • Menggunakan UI NiFi, metrik, dan pemvisualisasi provenance
  • Mendesain pemulihan otomatis dan penanganan kegagalan dengan halus
  • Cadangan, versi aliran, dan pengelolaan perubahan

Tuning Kinerja & Optimisasi

  • Menyesuaikan JVM, heap, pool thread, dan parameter kluster
  • Mengoptimalkan desain aliran untuk mengurangi botol leher
  • Isolasi sumber daya, prioritas aliran, dan kontrol throughput

Praktik Terbaik & Pemerintahan

  • Dokumentasi aliran, standar penamaan, dan desain modular
  • Keamanan: TLS, otentikasi, kontrol akses, enkripsi data
  • Kontrol perubahan, versi, akses berbasis peran, jejak audit

Penyelesaian Masalah & Tanggap Bantah

  • Masalah umum: deadlocks, kebocoran memori, kesalahan processor
  • Analisis log, diagnostik kesalahan dan penelitian penyebab akar
  • Strategi pemulihan dan pengembalian aliran

Laporan Praktis: Implementasi Pipeline Data yang Realistik

  • Membangun aliran akhir-ke-akhir: pengambilan, transformasi, pengiriman
  • Mengimplementasikan penanganan kesalahan, tekanan balik, dan skalabilitas
  • Uji kinerja dan optimalkan pipeline

Ringkasan dan Langkah Selanjutnya

Persyaratan

  • Pengalaman dengan Linux command line
  • Pengertian dasar tentang jaringan dan sistem data
  • Pemahaman tentang konsep data streaming atau ETL

Penonton

  • Administrator sistem
  • Insinyur data
  • Pengembang
  • Profesional DevOps
 21 Jam

Jumlah Peserta


Biaya per Peserta

Testimoni (7)

Kursus Mendatang

Kategori Terkait