Kerangka Materi
Dasar-dasar NiFi dan Aliran Data
- Data dalam pergerakan vs data diam: konsep dan tantangan
- Arsitektur NiFi: core, pengatur aliran, provenance, dan bulletin
- Komponen utama: processor, koneksi, controller, dan provenance
Konteks dan Integraksi Big Data
- Peran NiFi dalam ekosistem Big Data (Hadoop, Kafka, penyimpanan cloud)
- Irisan HDFS, MapReduce, dan alternatif modern
- Kasus penggunaan: pengambilan aliran, pengiriman log, pipa acara
Instalasi, Konfigurasi & Pengaturan Kluster
- Memasang NiFi dalam mode tunggal dan kluster
- Konfigurasi kluster: peran node, zookeeper, dan pembagi beban
- Mengatur penempatan NiFi: menggunakan Ansible, Docker, atau Helm
Mendesain dan Mengelola Aliran Data
- Rute, penyaringan, pemisahan, dan penggabungan aliran
- Konfigurasi processor (InvokeHTTP, QueryRecord, PutDatabaseRecord, dll.)
- Penanganan skema, penambahan nilai, dan operasi transformasi
- Penanganan kesalahan, hubungan pengulangan, dan tekanan balik
Skenario Integraksi
- Menghubungkan ke database, sistem pesan, dan REST API
- Aliran ke sistem analitik: Kafka, Elasticsearch, atau penyimpanan cloud
- Integraksi dengan Splunk, Prometheus, atau pipa log
Monitoring, Pemulihan & Provenance
- Menggunakan UI NiFi, metrik, dan pemvisualisasi provenance
- Mendesain pemulihan otomatis dan penanganan kegagalan dengan halus
- Cadangan, versi aliran, dan pengelolaan perubahan
Tuning Kinerja & Optimisasi
- Menyesuaikan JVM, heap, pool thread, dan parameter kluster
- Mengoptimalkan desain aliran untuk mengurangi botol leher
- Isolasi sumber daya, prioritas aliran, dan kontrol throughput
Praktik Terbaik & Pemerintahan
- Dokumentasi aliran, standar penamaan, dan desain modular
- Keamanan: TLS, otentikasi, kontrol akses, enkripsi data
- Kontrol perubahan, versi, akses berbasis peran, jejak audit
Penyelesaian Masalah & Tanggap Bantah
- Masalah umum: deadlocks, kebocoran memori, kesalahan processor
- Analisis log, diagnostik kesalahan dan penelitian penyebab akar
- Strategi pemulihan dan pengembalian aliran
Laporan Praktis: Implementasi Pipeline Data yang Realistik
- Membangun aliran akhir-ke-akhir: pengambilan, transformasi, pengiriman
- Mengimplementasikan penanganan kesalahan, tekanan balik, dan skalabilitas
- Uji kinerja dan optimalkan pipeline
Ringkasan dan Langkah Selanjutnya
Persyaratan
- Pengalaman dengan Linux command line
- Pengertian dasar tentang jaringan dan sistem data
- Pemahaman tentang konsep data streaming atau ETL
Penonton
- Administrator sistem
- Insinyur data
- Pengembang
- Profesional DevOps
Testimoni (7)
Latihan langsung. Kelas seharusnya berlangsung selama 5 hari, tetapi 3 hari membantu menyelesaikan banyak pertanyaan yang saya miliki dari pengalaman bekerja dengan NiFi
James - BHG Financial
Kursus - Apache NiFi for Administrators
Diterjemahkan Mesin
Saya pikir kecepatan pelatihnya bagus. Ia tidak meninggalkan siswa yang tertinggal dengan pendekatannya. Ia sangat mendukung kami, para PEMULA yang mungkin belum pernah memiliki peran Administrator Sistem atau Infrastruktur selama karier kami atau yang telah menghidupkan kembali keterampilan tersebut dari periode karier kami sebelumnya.
Pamdrea Ivory - BHG Financial
Kursus - Apache NiFi for Administrators
Diterjemahkan Mesin
Saya suka bagian praktik langsung. Bagian ini membantu saya mengingat informasi dengan lebih baik dengan menyelesaikan latihan yang diberikan. Selain itu, kemampuan pelatih untuk melibatkan seluruh kelas membuat saya merasa nyaman untuk mengajukan pertanyaan tentang hal-hal yang tidak saya pahami.
Leila - BHG Financial
Kursus - Apache NiFi for Administrators
Diterjemahkan Mesin
Kasus penggunaan, contoh untuk membangun aliran data NiFi. Kami berupaya memecahkan masalah umum dan kendala.
Nelson - BHG Financial
Kursus - Apache NiFi for Administrators
Diterjemahkan Mesin
Saya menyukai strukturnya. Kami menyelami dasar-dasar Nifi, konsep, kasus penggunaan, dll. pada hari pertama. Pada hari kedua, kami mempraktikkan pengetahuan Hari Pertama dengan membangun alur kerja untuk memenuhi persyaratan skenario. Pada hari ketiga, kami melihat Nifi Registry dan kontrol versi, multi-tenancy, dan membahas Tanya Jawab.
Adam - BHG Financial
Kursus - Apache NiFi for Administrators
Diterjemahkan Mesin
I like how he was able to elaborate about Nifi and how powerful it is. You can basically use it for any infrastructure and use many different computer languages. Also i was glad we were able to fix the Nifi cert renewal issue we were having with the Truststore.
Joachim Martin - BHG Financial
Kursus - Apache NiFi for Administrators
general knowledge and the possibilities that the training offered in terms on the tool.