Kursus Pelatihan Dasar-Dasar Apache Spark

Pelatihan langsung tatap muka ini, yang dipandu instruktur Indonesia (online atau offline), ditujukan bagi para ilmuwan data dan insinyur tingkat menengah yang ingin memanfaatkan Google Colab serta Apache Spark untuk pemrosesan dan analisis big data.

Setelah mengikuti pelatihan ini, peserta diharapkan mampu:

• Menyiapkan lingkungan pemrosesan big data menggunakan Google Colab dan Apache Spark.
• Memproses serta menganalisis kumpulan data besar secara efisien lewat Apache Spark.
• Memvisualisasikan big data dalam lingkungan kolaboratif.
• Mengintegrasikan Apache Spark dengan berbagai alat berbasis cloud.

Python merupakan bahasa pemrograman tingkat tinggi yang terkenal karena sintaksnya yang jelas serta kemudahan dalam membaca kode. Spark adalah mesin pemrosesan data yang digunakan untuk menanyakan, menganalisis, dan mengubah data besar. PySpark memungkinkan pengguna untuk menghubungkan Spark dengan Python.

Audiens Sasaran: Para profesional di tingkat menengah dari industri perbankan yang sudah mengenal Python dan Spark, serta ingin mengasah keterampilan mereka dalam pemrosesan data besar dan pengembangan model machine learning.

Pelatihan ini memberikan pengenalan praktis mengenai cara membuat alur kerja pemrosesan data serta pembelajaran mesin yang dapat diskalakan dengan menggunakan PySpark. Para peserta mempelajari cara Apache Spark bekerja dalam ekosistem Big Data modern, serta bagaimana memproses kumpulan data besar secara efisien berdasarkan prinsip komputasi terdistribusi.

Pelatihan online langsung ini dipimpin oleh instruktur dan ditujukan bagi para administrator sistem tingkat pemula hingga menengah yang ingin menerapkan, memelihara, serta mengoptimalkan klaster Spark.

Setelah menyelesaikan pelatihan ini, peserta diharapkan mampu:

• Menginstal dan mengonfigurasi Apache Spark dalam berbagai lingkungan.
• Mengelola sumber daya klaster serta memantau aplikasi Spark.
• Mengoptimalkan kinerja klaster Spark.
• Menetapkan langkah-langkah keamanan dan memastikan ketersediaan tinggi sistem.
• Mendiagnosis serta memperbaiki masalah umum yang muncul pada Spark.

Kurva pembelajaran Apache Spark meningkat perlahan pada awalnya, memerlukan banyak usaha untuk mendapatkan return pertama. Kursus ini bertujuan untuk melompat melalui bagian pertama yang sulit. Setelah mengikuti kursus ini, peserta akan memahami dasar-dasar Apache Spark, mereka akan dapat membedakan RDD dari DataFrame dengan jelas, mereka akan mempelajari Python dan Scala API, mereka akan memahami eksekutor dan tugas, dll. Selain itu, mengikuti praktik terbaik, kursus ini sangat memfokuskan pada deploymen cloud, Databricks dan AWS. Mahasiswa juga akan memahami perbedaan antara AWS EMR dan AWS Glue, salah satu layanan Spark terbaru dari AWS.

PESERTA:

Data Engineer, DevOps, Data Scientist

Dalam pelatihan online langsung ini, para peserta akan mempelajari cara menggunakan Python dan Spark secara bersamaan guna menganalisis big data melalui latihan praktik yang disediakan.

Setelah menyelesaikan pelatihan ini, para peserta akan mampu:

• Menggunakan Spark dengan Python untuk menganalisis Big Data.
• Menyelesaikan latihan yang mencerminkan skenario dunia nyata.
• Menerapkan berbagai alat dan teknik analisis big data menggunakan PySpark.

Pelatihan online langsung ini dipandu oleh instruktur, baik secara daring maupun tatap muka, ditujukan bagi para pengembang yang ingin menggunakan serta mengintegrasikan Spark, Hadoop, dan Python untuk memproses, menganalisis, serta mentransformasi kumpulan data besar dan kompleks.

Setelah menyelesaikan pelatihan ini, peserta akan mampu:

• Mengatur lingkungan yang diperlukan agar dapat mulai memproses data besar menggunakan Spark, Hadoop, dan Python.
• Memahami fitur, komponen inti, serta arsitektur Spark dan Hadoop.
• Belajar cara mengintegrasikan Spark, Hadoop, dan Python dalam pemrosesan data besar.
• Mengeksplorasi berbagai alat dalam ekosistem Spark seperti Spark MlLib, Spark Streaming, Kafka, Sqoop, serta Flume.
• Membangun sistem rekomendasi berbasis filtering kolaboratif mirip dengan yang digunakan oleh Netflix, YouTube, Amazon, Spotify, dan Google.
• Menggunakan Apache Mahout untuk menskalakan algoritma pembelajaran mesin.

Stratio adalah platform yang berorientasi data, yang mengintegrasikan big data, AI, dan governance menjadi satu solusi. Modul Rocket dan Intelligence-nya memungkinkan penjelajahan data cepat, transformasi, dan analitik lanjutan dalam lingkungan enterprise.

Pelatihan langsung (daring atau tatap muka) ini ditujukan untuk profesional data tingkat menengah yang ingin menggunakan modul Rocket dan Intelligence di Stratio dengan efektif bersama PySpark, fokus pada struktur pengulangan, fungsi definisi pengguna, dan logika data lanjutan.

Pada akhir pelatihan ini, peserta akan dapat:

• Menavigasi dan bekerja dalam platform Stratio menggunakan modul Rocket dan Intelligence.
• Mengaplikasikan PySpark dalam konteks penyerapan data, transformasi, dan analisis.
• Menggunakan loop dan logika kondisional untuk mengontrol alur kerja data dan tugas pemrosesan fitur.
• Membuat dan mengelola fungsi definisi pengguna (UDFs) untuk operasi data yang dapat didaur ulang dalam PySpark.

Format Kursus

• Diskusi dan kuliah interaktif.
• Banyak latihan dan praktik.
• Implementasi hands-on dalam lingkungan laboratorium langsung.

Opsi Penyesuaian Kursus

• Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk mengatur.