Kursus Pelatihan Stream Processing dengan Kafka Streams
Kafka Streams adalah perpustakaan sisi klien untuk membangun aplikasi dan mikroservis yang datanya dijalankan ke dan dari sistem pesan Kafka. Tradisionalnya, Apache Kafka telah bergantung pada Apache Spark atau Apache Storm untuk memproses data antara produsen pesan dan konsumen. Dengan memanggil API Kafka Streams dari dalam aplikasi, data dapat diproses langsung di dalam Kafka, menghindari kebutuhan untuk mengirimkan data ke kluster terpisah untuk diproses.
Dalam pelatihan berorientasi instruktur ini, peserta akan belajar bagaimana mengintegrasikan Kafka Streams ke dalam sejumlah aplikasi contoh Java yang memindahkan data ke dan dari Apache Kafka untuk pemrosesan stream.
Selesai pelatihan ini, peserta akan dapat:
- Mengerti fitur dan keunggulan Kafka Streams dibandingkan kerangka kerja pemrosesan stream lainnya
- Mempersiapkan data stream langsung dalam kluster Kafka
- Menulis aplikasi atau mikroservis Java atau Scala yang terintegrasi dengan Kafka dan Kafka Streams
- Menulis kode singkat yang mengubah topik Kafka input menjadi topik Kafka output
- Membangun, memaketkan, dan mendeploy aplikasi
Audience
- Pengembang
Format kursus
- Berupa ceramah, diskusi, latihan dan praktek langsung yang intensif
Catatan
- Untuk meminta pelatihan kustom untuk kursus ini, silakan hubungi kami untuk mengatur
Kerangka Materi
Pendahuluan
- Kafka vs Spark, Flink, dan Storm
Ringkasan Fitur Kafka Streams
- Pemrosesan berstatus dan tanpa status, pemrosesan waktu acara, DSL, operasi jendela berdasarkan waktu acara, dll.
Kasus Studi: API Kafka Streams untuk Peramalan Anggaran
Menyiapkan Lingkungan Pengembangan
Membuat Aplikasi Streams
Menghidupkan Klaster Kafka
Mempersiapkan Topik dan Data Input
Opsi untuk Memproses Data Stream
- DSL Kafka Streams Tingkat Tinggi
- Pemroses Tingkat Rendah
Mengubah Data Input
Memeriksa Data Output
Mematikan Klaster Kafka
Opsi untuk Mendeploy Aplikasi
- Alat ops klasik (Puppet, Chef dan Salt)
- Docker
- Berkas WAR
Pemecahan Masalah
Ringkasan dan Kesimpulan
Persyaratan
- Memahami Apache Kafka
- Pengalaman pemrograman Java
Kursus Pelatihan Terbuka membutuhkan minimal 5 peserta.
Kursus Pelatihan Stream Processing dengan Kafka Streams - Pemesanan
Kursus Pelatihan Stream Processing dengan Kafka Streams - Penyelidikan
Stream Processing dengan Kafka Streams - Permintaan Konsultasi
Permintaan Konsultasi
Testimoni (1)
Recalling/reviewing keypoints of the topics discussed.
Paolo Angelo Gaton - SMS Global Technologies Inc.
Kursus - Building Stream Processing Applications with Kafka Streams
Kursus Mendatang
Kursus Terkait
Apache Kafka Connect
7 JamPelatihan langsung yang dipimpin instruktur di Indonesia (daring atau tatap muka) ini ditujukan bagi pengembang yang ingin mengintegrasikan Apache Kafka dengan basis data dan aplikasi yang sudah ada untuk pemrosesan, analisis, dll.
Selesai pelatihan ini, peserta akan dapat:
- Menggunakan Kafka Connect untuk memasukkan jumlah besar data dari basis data ke topik-topik Kafka.
- Memasukkan data log yang dihasilkan oleh server aplikasi ke topik-topik Kafka.
- Make setiap data yang dikumpulkan tersedia untuk pemrosesan stream.
- Mengekspor data dari topik-topik Kafka ke sistem sekunder untuk penyimpanan dan analisis.
Building Kafka Solutions with Confluent
14 JamInstruktur ini akan memberikan pelatihan langsung (daring atau tatap muka) yang ditujukan bagi insinyur yang ingin menggunakan Confluent (sebuah distribusi Kafka) untuk membangun dan mengelola platform pengolahan data real-time untuk aplikasi mereka.
Selesai mengikuti pelatihan ini, peserta akan dapat:
- Instal dan konfigurasi Confluent Platform.
- Menggunakan alat dan layanan manajemen Confluent untuk menjalankan Kafka dengan lebih mudah.
- Menyimpan dan memproses data stream yang masuk.
- Mengeksekusi dan mengelola kluster Kafka secara optimal.
- Menyekuritasi data stream.
Format Kursus
- Pembahasan interaktif dan diskusi.
- Banyak latihan dan praktek.
- Implementasi praktis dalam lingkungan laboratorium langsung.
Opsi Kustomisasi Kursus
- Kursus ini didasarkan pada versi open source Confluent: Confluent Open Source.
- Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk mengatur.
Membangun Data Pipelines dengan Apache Kafka
7 JamApache Kafka adalah platform streaming distribusi. Ini merupakan standar de facto untuk membangun pipa data dan menyelesaikan banyak kasus penggunaan yang berbeda dalam pemrosesan data: dapat digunakan sebagai antrian pesan, log distribusi, prosesor aliran, dll.
Kita akan mulai dengan beberapa teori di balik pipa data secara umum, kemudian melanjutkan dengan konsep-konsep dasar di balik Kafka. Kita juga akan mengeksplorasi komponen-komponen penting seperti Kafka Streams dan Kafka Connect.
Pemrograman Aliran Pengolahan Data dalam Praktik
21 JamDalam pelatihan langsung ini yang dipimpin instruktur di Indonesia (tatap muka atau jarak jauh), peserta akan belajar cara mengatur dan mengintegrasikan berbagai kerangka Stream Processing dengan sistem penyimpanan data besar yang ada dan aplikasi perangkat lunak serta mikrolayanan terkait.
Di akhir pelatihan ini, peserta akan dapat:
- Memasang dan mengkonfigurasi berbagai kerangka Stream Processing, seperti Spark Streaming dan Kafka Streaming.
- Memahami dan memilih kerangka yang paling sesuai untuk tugas tersebut.
- Mengolah data secara kontinu, bersamaan, dan secara catatan demi catatan.
- Mengintegrasikan solusi Stream Processing dengan database, data warehouse, data lake, dan sebagainya yang ada.
- Mengintegrasikan perpustakaan pengolahan aliran yang paling sesuai dengan aplikasi perusahaan dan mikrolayanan.
Distributed Messaging dengan Apache Kafka
14 JamMata kuliah ini ditujukan untuk arsitek enterprise, pengembang, administrator sistem, dan siapa saja yang ingin memahami dan menggunakan sistem pesan distribusi berkapasitas tinggi. Jika Anda memiliki persyaratan lebih spesifik (misalnya hanya fokus pada sisi administrasi sistem), mata kuliah ini dapat disesuaikan untuk lebih memenuhi kebutuhan Anda.
Kafka untuk Administrator
21 JamPelatihan ini yang dibimbing instruktur secara langsung (online atau tatap muka) ditujukan untuk sysadmins yang ingin mengatur, meluncurkan, mengelola, dan memaksimalkan kluster Kafka tingkat perusahaan.
Setelah menyelesaikan pelatihan ini, peserta akan dapat:
- Mengatur dan mengelola kluster Kafka.
- Menevaluasi keuntungan dan kerugian dari menyiapkan Kafka di dalam lingkungan atau di cloud.
- Menyebarkan dan memantau Kafka menggunakan berbagai alat lingkungan dalam dan cloud.
Apache Kafka for Developers
21 JamIni adalah pelatihan langsung dengan instruktur (pelatihan online langsung atau pelatihan langsung tatap muka) yang ditujukan untuk pengembang tingkat menengah yang ingin mengembangkan aplikasi big data dengan Apache Kafka.
Pada akhir pelatihan ini, peserta akan dapat:
- Membuat Kafka producers dan consumers untuk mengirim dan membaca data dari Kafka.
- Mengintegrasikan Kafka dengan sistem eksternal menggunakan Kafka Connect.
- Menulis aplikasi streaming dengan Kafka Streams & ksqlDB.
- Mengintegrasikan aplikasi client Kafka dengan Confluent Cloud untuk penempatan Kafka berbasis cloud.
- Mendapatkan pengalaman praktis melalui latihan praktek dan kasus penggunaan dunia nyata.
Apache Kafka untuk Programmer Python
7 JamPelatihan langsung yang dipimpin instruktur di Indonesia (online atau di lokasi) ditujukan untuk teknisi data, ilmuwan data, dan pemrogram yang ingin menggunakan fitur Apache Kafka dalam streaming data dengan Python.
Di akhir pelatihan ini, peserta akan dapat menggunakan Apache Kafka untuk memantau dan mengelola kondisi aliran data berkelanjutan menggunakan pemrograman Python.
Kafka Fundamentals for Java Developers
14 JamPelatihan langsung yang dipimpin instruktur di Indonesia (online atau tatap muka) ini ditujukan bagi pengembang Java tingkat menengah yang ingin mengintegrasikan Apache Kafka ke dalam aplikasi mereka untuk pesan yang handal, skalabel, dan berkapasitas tinggi.
Setelah pelatihan ini, peserta akan dapat:
- Mengerti arsitektur dan komponen inti Kafka.
- Menyiapkan dan mengonfigurasi klaster Kafka.
- Menghasilkan dan mengkonsumsi pesan menggunakan Java.
- Implementasikan Kafka Streams untuk pemrosesan data real-time.
- Memastikan toleransi terhadap kesalahan dan skalabilitas dalam aplikasi Kafka.
Administrasi Antrian Pesan Kafka
14 JamPelatihan ini dipandu instruktur dan disajikan secara langsung di Indonesia (online atau tatap muka) ditujukan bagi administrator sistem tingkat menengah yang ingin mengoptimalkan fitur antrian pesan Kafka.
Di akhir pelatihan ini, peserta akan dapat:
- Mengerti kemampuan dan arsitektur antrian pesan Kafka.
- Mengonfigurasi topik Kafka untuk skenario antrian pesan.
- Menghasilkan dan mengonsumsi pesan menggunakan Kafka.
- Memantau dan mengelola Kafka sebagai antrian pesan.
Security for Apache Kafka
7 JamPelatihan langsung yang dipimpin instruktur di Indonesia (daring atau tatap muka) ini ditujukan bagi pengujian perangkat lunak yang ingin mengimplementasikan tindakan keamanan jaringan ke dalam aplikasi Apache Kafka.
Selesai pelatihan ini, peserta akan dapat:
- Mendeploy Apache Kafka ke server berbasis cloud.
- Mengimplementasikan enkripsi SSL untuk mencegah serangan.
- Menambahkan autentikasi ACL untuk melacak dan mengontrol akses pengguna.
- Menjamin klien yang dapat dipercaya memiliki akses ke klaster Kafka dengan autentikasi SSL dan SASL.
Apache Kafka dan Spring Boot
7 JamPelatihan langsung yang dipimpin instruktur di Indonesia (online atau di tempat) ini ditujukan untuk pengembang tingkat menengah yang ingin mempelajari dasar-dasar Kafka dan mengintegrasikannya dengan Spring Boot.
Pada akhir pelatihan ini, peserta akan dapat:
- Pahami Kafka dan arsitekturnya.
- Pelajari cara memasang, mengonfigurasi, dan menyiapkan lingkungan Kafka dasar.
- Integrasikan Kafka dengan Spring Boot.
Pengelolaan Topik Kafka
14 JamIni adalah pelatihan langsung (online atau tatap muka) yang dipimpin instruktur untuk sistem administrator tingkat pemula hingga menengah yang ingin mempelajari cara mengelola topik Kafka secara efektif untuk pengolahan dan pemrosesan data streaming yang efisien.
Sampai akhir pelatihan ini, peserta akan mampu:
- Mengerti dasar dan arsitektur topik Kafka.
- Membuat, mengonfigurasi, dan mengelola topik Kafka.
- Memantau topik Kafka untuk kesehatan, kinerja, dan ketersediaan.
- Menerapkan langkah keamanan untuk topik Kafka.
SMACK Stack untuk Data Science
14 JamPelatihan ini yang dikombinasikan dengan instruktur, baik pelatihan online langsung atau pelatihan langsung tatap muka, ditujukan untuk para ilmuwan data yang ingin menggunakan SMACK stack untuk membangun platform pengolahan data untuk solusi big data.
Di akhir pelatihan ini, peserta akan mampu:
- Menerapkan arsitektur pipeline data untuk mengolah big data.
- Mengembangkan infrastruktur cluster dengan Apache Mesos dan Docker.
- Menganalisis data dengan Spark dan Scala.
- Mengelola data tidak terstruktur dengan Apache Cassandra.
Microservices dengan Spring Cloud dan Kafka
21 JamPelatihan ini, yang dikendalikan instruktur dan dilaksanakan secara langsung (online atau tatap muka), ditujukan untuk para pengembang yang ingin mengubah arsitektur tradisional menjadi arsitektur berbasis mikrolayanan yang sangat paralel menggunakan Spring Cloud, Kafka, Docker, Kubernetes, dan Redis.
Di akhir pelatihan ini, peserta akan mampu untuk:
- Menyusun lingkungan pengembangan yang diperlukan untuk membangun mikrolayanan.
- Mendesain dan mengimplementasikan ekosistem mikrolayanan yang sangat paralel menggunakan Spring Cloud, Kafka, Redis, Docker, dan Kubernetes.
- Mengubah layanan monolitik dan SOA menjadi arsitektur berbasis mikrolayanan.
- Menerapkan pendekatan DevOps dalam mengembangkan, menguji, dan merilis software.
- Memastikan tingkat paralelisme tinggi di antara mikrolayanan dalam produksi.
- Memantau mikrolayanan dan mengimplementasikan strategi pemulihan.
- Melakukan penyesuaian kinerja.
- Belajar tentang tren masa depan dalam arsitektur mikrolayanan.