Kursus Pelatihan Python dan Spark untuk Pemrosesan Data Besar di Industri Perbankan (PySpark)

Pelatihan langsung dengan instruktur (online atau tatap muka) ini ditujukan bagi insinyur data, analis data, dan profesional data yang ingin menggunakan Databricks dan PySpark untuk membangun pipa data skalabel dan memigrasikan alur kerja SQL yang ada.

Pelatihan ini memberikan pengantar praktis dalam membangun alur kerja pemrosesan data yang dapat diskalakan serta sistem Pembelajaran Mesin menggunakan PySpark. Para peserta akan mempelajari cara Apache Spark beroperasi dalam ekosistem Big Data masa kini, beserta teknik efisien dalam mengolah kumpulan data besar melalui prinsip komputasi terdistribusi.

Kursus praktis tiga hari ini berfokus pada pembangunan dan optimasi beban kerja pemrosesan data yang efisien menggunakan PySpark, Pandas, dan Polars dalam lingkungan berbasis Kubernetes.

Partisipan akan mengembangkan pemahaman praktis tentang bagaimana aplikasi Spark dieksekusi di Kubernetes dan bagaimana keputusan konfigurasi tingkat aplikasi memengaruhi kinerja, skalabilitas, konsumsi sumber daya, dan biaya. Kursus ini mencakup area optimasi utama, termasuk penentuan ukuran eksekutor, alokasi memori, alokasi dinamis, strategi partisi, perilaku shuffle, masalah file kecil, dan pemrosesan Parquet yang efisien.

Kursus ini juga membahas tantangan umum saat bekerja dengan Pandas, termasuk batasan memori dan kegagalan out-of-memory, serta memperkenalkan Polars sebagai alternatif berkinerja tinggi untuk beban kerja pemrosesan data tertentu. Melalui latihan langsung, partisipan akan mendiagnosis masalah kinerja dan memori, membandingkan strategi konfigurasi yang berbeda, dan menerapkan teknik optimasi pada skenario ETL dan machine learning yang realistis.

Penekanan utama dalam kursus ini adalah pada pengambilan keputusan praktis: memahami cara mengidentifikasi titik kemacetan, memilih alat yang tepat, mengonfigurasi Spark secara efisien, serta menyeimbangkan kinerja dengan konsumsi sumber daya infrastruktur dan biaya.

Dalam pelatihan online langsung yang dibimbing instruktur di Indonesia, peserta akan belajar cara menggunakan Python dan Spark secara bersama-sama untuk menganalisis big data sambil mengerjakan latihan praktik langsung.

Setelah menyelesaikan pelatihan ini, peserta akan mampu:

• Menggunakan Spark dengan Python untuk menganalisis Big Data.
• Mengerjakan latihan yang mensimulasikan kasus di dunia nyata.
• Menggunakan berbagai alat dan teknik untuk analisis big data dengan PySpark.

Pelatihan langsung online yang dipandu instruktur di Indonesia ini mencakup platform Stratio, dengan fokus pada modul Roket dan Intelek menggunakan PySpark. Peserta akan menguasai ingest data, transformasi, dan analitik lanjutan, serta memperoleh keterampilan praktis dalam perulangan, UDF, dan alur kerja data perusahaan.