Stream Processing with Kafka Streams Training Course

Confluent Apache Kafka adalah platform streaming acara distribusi yang dirancang untuk pipa data dengan throughput tinggi, toleransi kerusakan, dan analitik real-time.

Sesi pelatihan interaktif ini (daring atau di lokasi) ditujukan bagi administrator sistem level menengah dan profesional DevOps yang ingin menginstal, konfigurasi, memantau, dan mengatasi masalah kluster Confluent Apache Kafka.

Setelah selesai sesi pelatihan ini, peserta akan dapat:

• Mengerti komponen dan arsitektur Confluent Kafka.
• Mendeploy dan mengelola Kafka broker, Zookeeper kwarum, dan layanan kunci.
• Mengeksekusi fitur canggih termasuk keamanan, replikasi, dan tuning performa.
• Menggunakan alat manajemen untuk memantau dan menjaga kluster Kafka.

Format Kursus

• Pelajaran interaktif dan diskusi.
• Banyak latihan dan praktek.
• Implementasi hands-on dalam lingkungan laboratorium langsung.

Opsi Kustomisasi Kursus

• Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk mengatur.

Apache Beam adalah model pemrograman sumber terbuka dan terpadu untuk mendefinisikan dan menjalankan alur pemrosesan data paralel. Kekuatannya terletak pada kemampuannya untuk menjalankan alur batch dan streaming, dengan eksekusi yang dilakukan oleh salah satu back-end pemrosesan terdistribusi yang didukung Beam: Apache Apex, Apache Flink, Apache Spark, dan Google Cloud Dataflow. Apache Beam berguna untuk tugas ETL (Ekstrak, Transformasi, dan Muat) seperti memindahkan data antara media penyimpanan dan sumber data yang berbeda, mengubah data ke dalam format yang lebih diinginkan, dan memuat data ke sistem baru.

Dalam pelatihan langsung yang dipandu instruktur (di tempat atau jarak jauh) ini, peserta akan mempelajari cara mengimplementasikan Apache Beam SDK dalam aplikasi Java atau Python yang mendefinisikan jalur pemrosesan data untuk menguraikan kumpulan data besar menjadi potongan-potongan yang lebih kecil untuk pemrosesan paralel yang independen.

Pada akhir pelatihan ini, peserta akan dapat:

• Instal dan konfigurasikan Apache Beam.
• Gunakan model pemrograman tunggal untuk melakukan pemrosesan batch dan aliran dalam aplikasi Java atau Python mereka.
• Menjalankan jalur pipa di beberapa lingkungan.

Format Kursus

• Sebagian kuliah, sebagian diskusi, latihan dan praktik langsung yang berat

Catatan

• Kursus ini akan tersedia Scala di masa mendatang. Silakan hubungi kami untuk mengaturnya.

Confluent Apache Kafka adalah platform streaming acara distribusi tingkat enterprise yang dibangun di atas Apache Kafka. Ini mendukung pipa data dengan throughput tinggi, fault-tolerant, dan aplikasi streaming real-time.

Pelatihan live ini (daring atau tatap muka) ditujukan untuk insinyur dan administrator level menengah yang ingin mengimplementasikan, mengonfigurasikan, dan memaksimalkan klaster Confluent Kafka di lingkungan produksi.

Di akhir pelatihan ini, peserta akan dapat:

• Menginstal, mengkonfigurasi, dan mengoperasikan klaster Confluent Kafka dengan beberapa broker.
• Mendesain setup high-availability menggunakan Zookeeper dan teknik replikasi.
• Tune kinerja, memantau metrik, dan menerapkan strategi pemulihan.
• Menyediakan keamanan, penyebaran, dan integrasi Kafka dengan lingkungan enterprise.

Format Kursus

• Lektor interaktif dan diskusi.
• Banyak latihan dan praktik.
• Pelaksanaan hands-on di lingkungan laboratorium langsung.

Opsi Kustomisasi Kursus

• Untuk meminta pelatihan kustom untuk kursus ini, silakan hubungi kami untuk mengatur.

Instruktur ini akan memberikan pelatihan langsung (daring atau tatap muka) yang ditujukan bagi insinyur yang ingin menggunakan Confluent (sebuah distribusi Kafka) untuk membangun dan mengelola platform pengolahan data real-time untuk aplikasi mereka.

Selesai mengikuti pelatihan ini, peserta akan dapat:

• Instal dan konfigurasi Confluent Platform.
• Menggunakan alat dan layanan manajemen Confluent untuk menjalankan Kafka dengan lebih mudah.
• Menyimpan dan memproses data stream yang masuk.
• Mengeksekusi dan mengelola kluster Kafka secara optimal.
• Menyekuritasi data stream.

Format Kursus

• Pembahasan interaktif dan diskusi.
• Banyak latihan dan praktek.
• Implementasi praktis dalam lingkungan laboratorium langsung.

Opsi Kustomisasi Kursus

• Kursus ini didasarkan pada versi open source Confluent: Confluent Open Source.
• Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk mengatur.

Apache Kafka adalah platform streaming distribusi. Ini merupakan standar de facto untuk membangun pipa data dan menyelesaikan banyak kasus penggunaan yang berbeda dalam pemrosesan data: dapat digunakan sebagai antrian pesan, log distribusi, prosesor aliran, dll.

Kita akan mulai dengan beberapa teori di balik pipa data secara umum, kemudian melanjutkan dengan konsep-konsep dasar di balik Kafka. Kita juga akan mengeksplorasi komponen-komponen penting seperti Kafka Streams dan Kafka Connect.

Pelatihan langsung yang dipandu instruktur di Indonesia (online atau di tempat) ini memperkenalkan prinsip dan pendekatan di balik pemrosesan data aliran dan batch terdistribusi, dan memandu peserta melalui pembuatan aplikasi streaming data waktu nyata di Apache Flink.

Pada akhir pelatihan ini, peserta akan dapat:

• Siapkan lingkungan untuk mengembangkan aplikasi analisis data.
• Pahami cara kerja pustaka pemrosesan grafik Apache Flink (Gelly).
• Mengemas, menjalankan, dan memantau aplikasi streaming data berbasis Flink yang toleran terhadap kesalahan.
• Kelola beban kerja yang beragam.
• Melakukan analisis tingkat lanjut.
• Siapkan klaster Flink multi-simpul.
• Mengukur dan mengoptimalkan kinerja.
• Integrasikan Flink dengan berbagai sistem Big Data.
• Bandingkan kemampuan Flink dengan kerangka kerja pemrosesan data besar lainnya.

In this instructor-led, live training in Indonesia (onsite or remote), participants will learn how to set up and integrate different Stream Processing frameworks with existing big data storage systems and related software applications and microservices.

By the end of this training, participants will be able to:

• Install and configure different Stream Processing frameworks, such as Spark Streaming and Kafka Streaming.
• Understand and select the most appropriate framework for the job.
• Process of data continuously, concurrently, and in a record-by-record fashion.
• Integrate Stream Processing solutions with existing databases, data warehouses, data lakes, etc.
• Integrate the most appropriate stream processing library with enterprise applications and microservices.

Mata kuliah ini ditujukan untuk arsitek enterprise, pengembang, administrator sistem, dan siapa saja yang ingin memahami dan menggunakan sistem pesan distribusi berkapasitas tinggi. Jika Anda memiliki persyaratan lebih spesifik (misalnya hanya fokus pada sisi administrasi sistem), mata kuliah ini dapat disesuaikan untuk lebih memenuhi kebutuhan Anda.

Pelatihan langsung yang dipimpin instruktur di Indonesia (online atau di lokasi) ditujukan untuk teknisi data, ilmuwan data, dan pemrogram yang ingin menggunakan fitur Apache Kafka dalam streaming data dengan Python.

Di akhir pelatihan ini, peserta akan dapat menggunakan Apache Kafka untuk memantau dan mengelola kondisi aliran data berkelanjutan menggunakan pemrograman Python.

Pelatihan langsung yang dipimpin instruktur di Indonesia (online atau di tempat) ini ditujukan untuk pengembang yang ingin menerapkan pemrosesan aliran Apache Kafka tanpa menulis kode.

Pada akhir pelatihan ini, peserta akan dapat:

• Instal dan konfigurasikan Confluent KSQL.
• Siapkan alur pemrosesan aliran hanya menggunakan perintah SQL (tanpa pengkodean Java atau Python).
• Melakukan penyaringan data, transformasi, agregasi, gabungan, windowing, dan sesiisasi sepenuhnya di SQL.
• Rancang dan terapkan kueri interaktif dan berkelanjutan untuk streaming ETL dan analisis waktu nyata.

Dalam pelatihan langsung yang dipandu instruktur di Indonesia (di tempat atau jarak jauh), peserta akan mempelajari cara menerapkan dan mengelola Apache NiFi di lingkungan lab langsung.

Pada akhir pelatihan ini, peserta akan dapat:

• Instal dan konfigurasikan Apachi NiFi.
• Sumber, transformasi, dan kelola data dari sumber data yang berbeda dan terdistribusi, termasuk basis data dan danau data besar.
• Mengotomatiskan aliran data.
• Aktifkan analitik streaming.
• Terapkan berbagai pendekatan untuk penyerapan data.
• Transformasi Big Data menjadi wawasan bisnis.

Dalam pelatihan langsung yang dipandu instruktur di Indonesia ini, peserta akan mempelajari dasar-dasar pemrograman berbasis aliran saat mereka mengembangkan sejumlah ekstensi demo, komponen, dan prosesor menggunakan Apache NiFi.

Pada akhir pelatihan ini, peserta akan dapat:

• Memahami arsitektur NiFi dan konsep aliran data.
• Mengembangkan ekstensi menggunakan NiFi dan API pihak ketiga.
• Mengembangkan prosesor Apache Nifi mereka sendiri.
• Menyerap dan memproses data secara real-time dari berbagai format file dan sumber data yang berbeda dan tidak umum.

Pelatihan langsung yang dipimpin instruktur di Indonesia (online atau di lokasi) ditujukan untuk teknisi data, ilmuwan data, dan pemrogram yang ingin menggunakan fitur Spark Streaming dalam memproses dan menganalisis data waktu nyata.

Di akhir pelatihan ini, peserta akan dapat menggunakan Spark Streaming untuk memproses aliran data langsung untuk digunakan dalam database, sistem file, dan dasbor langsung.