Kursus Pelatihan Streaming Data dan Pengolahan Data Secara Real-Time

Ini adalah pelatihan langsung (online atau tatap muka) yang dipimpin oleh instruktur untuk profesional data tingkat lanjut yang ingin mengoptimalkan workflow pengolahan data, memastikan integritas data, dan mengimplementasikan solusi data lakehouse yang kuat yang dapat menangani kompleksitas aplikasi big data modern.

Di akhir pelatihan ini, peserta akan dapat:

• Memahami arsitektur Iceberg secara mendalam, termasuk manajemen metadata dan tata letak berkas.
• Mengonfigurasi Iceberg untuk kinerja optimal di berbagai lingkungan dan mengintegrasikannya dengan beberapa mesin pengolahan data.
• Mengelola tabel Iceberg skala besar, melakukan perubahan skema kompleks, dan mengelola evolusi partisipasi.
• Memahami teknik untuk mengoptimalkan kinerja query dan efisiensi pemindaian data untuk dataset besar.
• Mengimplementasikan mekanisme untuk memastikan konsistensi data, mengelola jaminan transaksional, dan mengelola kegagalan dalam lingkungan terdistribusi.

Pelatihan ini, yang dibimbing instruktur secara langsung (online langsung atau tatap muka), ditujukan untuk profesional data pemula yang ingin mempelajari pengetahuan dan keterampilan yang diperlukan untuk menggunakan Apache Iceberg secara efektif untuk mengelola dataset berukuran besar, memastikan integritas data, dan mengoptimalkan alur kerja pemrosesan data.

Di akhir pelatihan ini, peserta akan dapat:

• Memahami secara mendalam arsitektur, fitur, dan manfaat Apache Iceberg.
• Mempelajari format tabel, pemartisian, evolusi skema, dan keterampilan perjalanan waktu.
• Memasang dan mengkonfigurasi Apache Iceberg dalam berbagai lingkungan.
• Membuat, mengelola, dan memanipulasi tabel Iceberg.
• Memahami proses migrasi data dari format tabel lainnya ke Iceberg.

Pelatihan langsung yang dipimpin instruktur di Indonesia (daring atau tatap muka) ini ditujukan untuk ilmuwan data dan insinyur level menengah yang ingin menggunakan Google Colab dan Apache Spark untuk pengolahan dan analitik big data.

Pada akhir pelatihan ini, peserta akan dapat:

• Mengatur lingkungan big data menggunakan Google Colab dan Spark.
• Memproses dan menganalisis dataset besar dengan efisien menggunakan Apache Spark.
• Visualisasi big data dalam lingkungan kolaboratif.
• Mengintegrasikan Apache Spark dengan alat berbasis cloud.

Kemajuan teknologi dan peningkatan jumlah informasi sedang mengubah cara bisnis dilakukan di berbagai industri, termasuk pemerintahan. Tingkat pembuatan data dan arsip digital pemerintah semakin meningkat karena pertumbuhan cepat dari perangkat dan aplikasi mobile, sensor pintar dan perangkat, solusi komputasi cloud, dan portal yang menghadap ke masyarakat. Seiring informasi digital bertambah dan menjadi lebih kompleks, manajemen informasi, pemrosesan, penyimpanan, keamanan, dan disposisi juga semakin rumit. Alat-alat baru untuk penangkapan, pencarian, penemuan, dan analisis membantu organisasi memperoleh wawasan dari data tidak terstruktur mereka. Pasar pemerintah sedang berada pada titik kritis, menyadari bahwa informasi merupakan aset strategis, dan pemerintah perlu melindungi, memanfaatkan, dan menganalisis baik data terstruktur maupun tidak terstruktur untuk lebih baik melayani dan memenuhi kebutuhan misi. Ketika pemimpin pemerintah berusaha mengembangkan organisasi yang didorong oleh data agar berhasil mencapai misi, mereka sedang menyiapkan dasar untuk menghubungkan ketergantungan di antara peristiwa, orang, proses, dan informasi.

Solusi pemerintah berharga akan dibuat dari gabungan teknologi yang paling disruptif:

• Perangkat mobile dan aplikasi
• Layanan cloud
• Teknologi bisnis sosial dan jaringan
• Big Data dan analitik

Big Data adalah salah satu solusi industri yang cerdas dan memungkinkan pemerintah membuat keputusan yang lebih baik dengan mengambil tindakan berdasarkan pola yang terungkap melalui analisis data dalam jumlah besar — terkait maupun tidak, terstruktur maupun tidak terstruktur.

Namun, untuk mencapai prestasi ini membutuhkan lebih dari sekadar mengumpulkan kuantitas data yang sangat besar. “Mengerti volume Big Data ini memerlukan alat dan teknologi terdepan yang dapat menganalisis dan mengekstrak pengetahuan berguna dari aliran informasi yang luas dan beragam,” kata Tom Kalil dan Fen Zhao dari Kantor Kebijakan Ilmu dan Teknologi Gedung Putih dalam sebuah posting di Blog OSTP.

Gedung Putih mengambil langkah untuk membantu agensi menemukan teknologi ini ketika mereka mendirikan Inisiatif Penelitian dan Pengembangan Big Data Nasional pada tahun 2012. Inisiatif tersebut mencakup lebih dari $200 juta untuk memanfaatkan ledakan Big Data dan alat yang diperlukan untuk menganalisisnya.

Tantangan yang dihadirkan oleh Big Data hampir setara dengan janjinya. Menyimpan data secara efisien adalah salah satu tantangan tersebut. Sebagai biasa, anggaran terbatas, sehingga agensi harus meminimalkan harga per-megabyte penyimpanan dan menjaga data tetap mudah diakses agar pengguna dapat mendapatkannya kapan mereka mau dan bagaimana mereka butuhkan. Membuat cadangan data dalam jumlah besar meningkatkan tantangan.

Menganalisis data secara efektif adalah tantangan utama lainnya. Banyak agensi menggunakan alat komersial yang memungkinkan mereka menyaring gunung-gunung data, menemukan tren yang dapat membantu mereka beroperasi lebih efisien. (Studi baru-baru ini oleh MeriTalk menemukan bahwa eksekutif IT federal berpikir Big Data dapat membantu agensi menghemat lebih dari $500 miliar sambil juga memenuhi objektif misi.).

Alat Big Data yang dikembangkan secara kustom juga memungkinkan agensi untuk menangani kebutuhan menganalisis data mereka. Misalnya, Grup Analitik Data Komputasi Laboratorium Oak Ridge National telah membuat sistem analitik data Piranha-nya tersedia bagi agensi lain. Sistem tersebut telah membantu peneliti medis menemukan tautan yang dapat memperingatkan dokter tentang aneurisma aorta sebelum terjadi. Itu juga digunakan untuk tugas-tugas yang lebih sederhana, seperti menyaring resume untuk menghubungkan kandidat pekerjaan dengan manajer perekrutan.

Peserta yang menyelesaikan pelatihan langsung yang dipandu instruktur di Indonesia akan memperoleh pemahaman praktis dan nyata tentang Big Data dan teknologi, metodologi, serta alat terkaitnya.

Peserta akan memiliki kesempatan untuk mempraktikkan pengetahuan ini melalui latihan langsung. Interaksi kelompok dan umpan balik instruktur merupakan komponen penting dari kelas.

Kursus ini dimulai dengan pengenalan konsep dasar Big Data, kemudian berlanjut ke bahasa pemrograman dan metodologi yang digunakan untuk melakukan Data Analysis. Terakhir, kami membahas alat dan infrastruktur yang memungkinkan penyimpanan Big Data, Pemrosesan Terdistribusi, dan Scalabilitas.

Apache NiFi adalah platform open-source berbasis aliran data yang digunakan untuk integrasi dan pemrosesan peristiwa. Platform ini memungkinkan routing, transformasi, dan mediasi sistem otomatis secara real-time antar sistem yang berbeda, dengan UI berbasis web dan kontrol detail.

Pelatihan langsung yang dipandu instruktur (tatap muka atau online) ini ditujukan untuk administrator dan insinyur tingkat menengah yang ingin mengimplementasikan, mengelola, mengamankan, dan mengoptimalkan aliran data NiFi di lingkungan produksi.

Setelah pelatihan ini, peserta akan dapat:

• Menginstal, mengonfigurasi, dan memelihara klaster Apache NiFi.
• Mendesain dan mengelola aliran data dari berbagai sumber dan tujuan.
• Implementasikan otomatisasi aliran, routing, dan logika transformasi.
• Mengoptimalkan kinerja, memantau operasi, dan menyelesaikan masalah.

Format Kursus

• Kuliah interaktif dengan diskusi arsitektur dunia nyata.
• Laboratorium praktis: membangun, mengeksekusi, dan mengelola aliran data.
• Eksperimen berbasis skenario di lingkungan live-lab.

Pilihan Penyesuaian Kursus

• Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk mengatur.

Python adalah bahasa pemrograman tingkat tinggi yang terkenal dengan sintaksnya yang jelas dan keterbacaan kode. Spark adalah mesin pengolahan data yang digunakan dalam pengecekan, analisis, dan transformasi big data. PySpark memungkinkan pengguna untuk mengintegrasikan Spark dengan Python.

Target Audience: Profesional tingkat menengah di industri perbankan yang familiar dengan Python dan Spark, berkeinginan untuk mendalami keterampilan mereka dalam pengolahan big data dan pembelajaran mesin.

Pelatihan ini memberikan pengantar praktis dalam membangun alur kerja pemrosesan data dan Machine Learning yang dapat diskalakan menggunakan PySpark. Peserta akan mempelajari cara kerja Apache Spark dalam ekosistem Big Data modern serta bagaimana memproses dataset berskala besar secara efisien dengan menerapkan prinsip komputasi terdistribusi.

Pelatihan ini, yang dipimpin instruktur secara langsung di Indonesia (online atau tatap muka), ditujukan untuk para insinyur yang ingin mengatur dan mendepatkan sistem Apache Spark untuk memproses jumlah data yang sangat besar.

Di akhir pelatihan ini, peserta akan mampu:

• Menginstal dan mengkonfigurasi Apache Spark.
• Membaca dan memproses serta menganalisis data dalam jumlah sangat besar dengan cepat.
• Memahami perbedaan antara Apache Spark dan Hadoop MapReduce serta ketika menggunakan yang mana.
• Mengintegrasikan Apache Spark dengan alat-alat pemrosesan otomatis lainnya.

Ini adalah pelatihan langsung (online atau tatap muka) yang dipimpin instruktur untuk administrator sistem tingkat pemula hingga menengah yang ingin mengimplementasikan, memelihara, dan mengoptimalkan klaster Spark.

Pada akhir pelatihan ini, peserta akan mampu untuk:

• Menginstal dan mengkonfigurasi Apache Spark di berbagai lingkungan.
• Mengelola sumber daya klaster dan memantau aplikasi Spark.
• Mengoptimalkan kinerja klaster Spark.
• Menerapkan langkah-langkah keamanan dan memastikan ketersediaan tinggi.
• Mengidentifikasi dan memecahkan masalah umum Spark.

Kurva pembelajaran Apache Spark meningkat perlahan pada awalnya, memerlukan banyak usaha untuk mendapatkan return pertama. Kursus ini bertujuan untuk melompat melalui bagian pertama yang sulit. Setelah mengikuti kursus ini, peserta akan memahami dasar-dasar Apache Spark, mereka akan dapat membedakan RDD dari DataFrame dengan jelas, mereka akan mempelajari Python dan Scala API, mereka akan memahami eksekutor dan tugas, dll. Selain itu, mengikuti praktik terbaik, kursus ini sangat memfokuskan pada deploymen cloud, Databricks dan AWS. Mahasiswa juga akan memahami perbedaan antara AWS EMR dan AWS Glue, salah satu layanan Spark terbaru dari AWS.

PESERTA:

Data Engineer, DevOps, Data Scientist

Dalam pelatihan langsung yang dipimpin instruktur di Indonesia ini, peserta akan mempelajari cara menggunakan Python dan Spark bersama-sama untuk menganalisis data besar saat mereka mengerjakan latihan langsung.

Pada akhir pelatihan ini, peserta akan mampu:

• Pelajari cara menggunakan Spark dengan Python untuk menganalisis Big Data.
• Kerjakan latihan yang meniru kasus dunia nyata.
• Gunakan alat dan teknik yang berbeda untuk analisis data besar menggunakan PySpark.

Pelatihan langsung yang dipimpin instruktur di Indonesia (online atau di lokasi) ditujukan untuk pengembang yang ingin menggunakan dan mengintegrasikan Spark, Hadoop, dan Python untuk memproses, menganalisis, dan mengubah kumpulan data yang besar dan kompleks.

Pada akhir pelatihan ini, peserta akan mampu:

• Siapkan lingkungan yang diperlukan untuk mulai memproses data besar dengan Spark, Hadoop, dan Python.
• Memahami fitur, komponen inti, dan arsitektur Spark dan Hadoop.
• Pelajari cara mengintegrasikan Spark, Hadoop, dan Python untuk pemrosesan data besar.
• Jelajahi alat di ekosistem Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka, dan Flume).
• Bangun sistem rekomendasi pemfilteran kolaboratif yang serupa dengan Netflix, YouTube, Amazon, Spotify, dan Google.
• Gunakan Apache Mahout untuk menskalakan algoritma pembelajaran mesin.

Stratio adalah platform yang berorientasi data, yang mengintegrasikan big data, AI, dan governance menjadi satu solusi. Modul Rocket dan Intelligence-nya memungkinkan penjelajahan data cepat, transformasi, dan analitik lanjutan dalam lingkungan enterprise.

Pelatihan langsung (daring atau tatap muka) ini ditujukan untuk profesional data tingkat menengah yang ingin menggunakan modul Rocket dan Intelligence di Stratio dengan efektif bersama PySpark, fokus pada struktur pengulangan, fungsi definisi pengguna, dan logika data lanjutan.

Pada akhir pelatihan ini, peserta akan dapat:

• Menavigasi dan bekerja dalam platform Stratio menggunakan modul Rocket dan Intelligence.
• Mengaplikasikan PySpark dalam konteks penyerapan data, transformasi, dan analisis.
• Menggunakan loop dan logika kondisional untuk mengontrol alur kerja data dan tugas pemrosesan fitur.
• Membuat dan mengelola fungsi definisi pengguna (UDFs) untuk operasi data yang dapat didaur ulang dalam PySpark.

Format Kursus

• Diskusi dan kuliah interaktif.
• Banyak latihan dan praktik.
• Implementasi hands-on dalam lingkungan laboratorium langsung.

Opsi Penyesuaian Kursus

• Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk mengatur.