Kursus Pelatihan Pemeliharaan Apache Spark

Pelatihan langsung yang dipimpin instruktur di Indonesia (daring atau tatap muka) ini ditujukan untuk ilmuwan data dan insinyur level menengah yang ingin menggunakan Google Colab dan Apache Spark untuk pengolahan dan analitik big data.

Pada akhir pelatihan ini, peserta akan dapat:

• Mengatur lingkungan big data menggunakan Google Colab dan Spark.
• Memproses dan menganalisis dataset besar dengan efisien menggunakan Apache Spark.
• Visualisasi big data dalam lingkungan kolaboratif.
• Mengintegrasikan Apache Spark dengan alat berbasis cloud.

Python adalah bahasa pemrograman tingkat tinggi yang terkenal dengan sintaksnya yang jelas dan keterbacaan kode. Spark adalah mesin pengolahan data yang digunakan dalam pengecekan, analisis, dan transformasi big data. PySpark memungkinkan pengguna untuk mengintegrasikan Spark dengan Python.

Target Audience: Profesional tingkat menengah di industri perbankan yang familiar dengan Python dan Spark, berkeinginan untuk mendalami keterampilan mereka dalam pengolahan big data dan pembelajaran mesin.

Pelatihan ini memberikan pengantar praktis dalam membangun alur kerja pemrosesan data dan Machine Learning yang dapat diskalakan menggunakan PySpark. Peserta akan mempelajari cara kerja Apache Spark dalam ekosistem Big Data modern serta bagaimana memproses dataset berskala besar secara efisien dengan menerapkan prinsip komputasi terdistribusi.

Pelatihan ini, yang dipimpin instruktur secara langsung di Indonesia (online atau tatap muka), ditujukan untuk para insinyur yang ingin mengatur dan mendepatkan sistem Apache Spark untuk memproses jumlah data yang sangat besar.

Di akhir pelatihan ini, peserta akan mampu:

• Menginstal dan mengkonfigurasi Apache Spark.
• Membaca dan memproses serta menganalisis data dalam jumlah sangat besar dengan cepat.
• Memahami perbedaan antara Apache Spark dan Hadoop MapReduce serta ketika menggunakan yang mana.
• Mengintegrasikan Apache Spark dengan alat-alat pemrosesan otomatis lainnya.

Kurva pembelajaran Apache Spark meningkat perlahan pada awalnya, memerlukan banyak usaha untuk mendapatkan return pertama. Kursus ini bertujuan untuk melompat melalui bagian pertama yang sulit. Setelah mengikuti kursus ini, peserta akan memahami dasar-dasar Apache Spark, mereka akan dapat membedakan RDD dari DataFrame dengan jelas, mereka akan mempelajari Python dan Scala API, mereka akan memahami eksekutor dan tugas, dll. Selain itu, mengikuti praktik terbaik, kursus ini sangat memfokuskan pada deploymen cloud, Databricks dan AWS. Mahasiswa juga akan memahami perbedaan antara AWS EMR dan AWS Glue, salah satu layanan Spark terbaru dari AWS.

PESERTA:

Data Engineer, DevOps, Data Scientist

TUJUAN:

Kursus ini akan memperkenalkan Apache Spark. Mahasiswa akan mempelajari bagaimana Spark memasuki ekosistem Big Data, dan bagaimana menggunakan Spark untuk analisis data. Kursus ini mencakup Spark shell untuk analisis data interaktif, internasional Spark, API Spark, Spark SQL, Spark streaming, dan machine learning dan graphX.

AUDIENS:

Pengembang / Analis Data

Pelatihan langsung yang dipimpin instruktur di Indonesia (online atau di tempat) ini ditujukan untuk ilmuwan data dan pengembang yang ingin menggunakan Spark NLP, dibangun di atas Apache Spark, untuk mengembangkan, menerapkan, dan meningkatkan skala model dan jalur pemrosesan teks bahasa alami.

Pada akhir pelatihan ini, peserta akan dapat:

• Siapkan lingkungan pengembangan yang diperlukan untuk mulai membangun jalur NLP dengan Spark NLP.
• Memahami fitur, arsitektur, dan manfaat penggunaan Spark NLP.
• Gunakan model terlatih yang tersedia di Spark NLP untuk mengimplementasikan pemrosesan teks.
• Pelajari cara membangun, melatih, dan menskalakan Spark NLP model untuk proyek tingkat produksi.
• Terapkan klasifikasi, inferensi, dan analisis sentimen pada kasus penggunaan dunia nyata (data klinis, wawasan perilaku pelanggan, dll.).

Dalam pelatihan langsung yang dipimpin instruktur di Indonesia ini, peserta akan mempelajari cara menggunakan Python dan Spark bersama-sama untuk menganalisis data besar saat mereka mengerjakan latihan langsung.

Pada akhir pelatihan ini, peserta akan mampu:

• Pelajari cara menggunakan Spark dengan Python untuk menganalisis Big Data.
• Kerjakan latihan yang meniru kasus dunia nyata.
• Gunakan alat dan teknik yang berbeda untuk analisis data besar menggunakan PySpark.

Pelatihan langsung yang dipimpin instruktur di Indonesia (online atau di lokasi) ditujukan untuk pengembang yang ingin menggunakan dan mengintegrasikan Spark, Hadoop, dan Python untuk memproses, menganalisis, dan mengubah kumpulan data yang besar dan kompleks.

Pada akhir pelatihan ini, peserta akan mampu:

• Siapkan lingkungan yang diperlukan untuk mulai memproses data besar dengan Spark, Hadoop, dan Python.
• Memahami fitur, komponen inti, dan arsitektur Spark dan Hadoop.
• Pelajari cara mengintegrasikan Spark, Hadoop, dan Python untuk pemrosesan data besar.
• Jelajahi alat di ekosistem Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka, dan Flume).
• Bangun sistem rekomendasi pemfilteran kolaboratif yang serupa dengan Netflix, YouTube, Amazon, Spotify, dan Google.
• Gunakan Apache Mahout untuk menskalakan algoritma pembelajaran mesin.

Apache Spark SQL merupakan modul Spark untuk bekerja dengan data terstruktur dan tidak terstruktur. Spark SQL memberikan informasi tentang struktur data serta perhitungan yang dilakukan. Informasi ini dapat digunakan untuk melakukan optimasi. Dua penggunaan umum untuk Spark SQL adalah:
- untuk menjalankan kueri SQL.
- untuk membaca data dari instalasi Hive yang ada.

Dalam pelatihan langsung (tatap muka atau remote) ini yang dibimbing oleh instruktur, peserta akan belajar cara menganalisis berbagai jenis set data menggunakan Spark SQL.

Di akhir pelatihan ini, peserta akan mampu:

• Menginstal dan mengkonfigurasi Spark SQL.
• Melakukan analisis data menggunakan Spark SQL.
• Menanyakan set data dalam berbagai format.
• Memvisualisasikan data dan hasil kueri.

Format Kursus

• Perkuliahan interaktif dan diskusi.
• Banyak latihan dan praktik.
• Implementasi langsung di lingkungan lab langsung.

Opsi Pengkustoman Kursus

• Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk mengatur.

Stratio adalah platform yang berorientasi data, yang mengintegrasikan big data, AI, dan governance menjadi satu solusi. Modul Rocket dan Intelligence-nya memungkinkan penjelajahan data cepat, transformasi, dan analitik lanjutan dalam lingkungan enterprise.

Pelatihan langsung (daring atau tatap muka) ini ditujukan untuk profesional data tingkat menengah yang ingin menggunakan modul Rocket dan Intelligence di Stratio dengan efektif bersama PySpark, fokus pada struktur pengulangan, fungsi definisi pengguna, dan logika data lanjutan.

Pada akhir pelatihan ini, peserta akan dapat:

• Menavigasi dan bekerja dalam platform Stratio menggunakan modul Rocket dan Intelligence.
• Mengaplikasikan PySpark dalam konteks penyerapan data, transformasi, dan analisis.
• Menggunakan loop dan logika kondisional untuk mengontrol alur kerja data dan tugas pemrosesan fitur.
• Membuat dan mengelola fungsi definisi pengguna (UDFs) untuk operasi data yang dapat didaur ulang dalam PySpark.

Format Kursus

• Diskusi dan kuliah interaktif.
• Banyak latihan dan praktik.
• Implementasi hands-on dalam lingkungan laboratorium langsung.

Opsi Penyesuaian Kursus

• Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk mengatur.