Kursus Pelatihan Pemeliharaan Apache Spark

Kurs ini ditujukan untuk pengembang dan ilmuwan data yang ingin memahami dan menerapkan kecerdasan buatan dalam aplikasi mereka. Fokus khusus diberikan pada analisis data, kecerdasan buatan terdistribusi, dan pemrosesan bahasa alami.

Big data analytics melibatkan proses pemeriksaan jumlah data besar dan beragam untuk mengungkap korelasi, pola terpendam, dan wawasan lainnya yang berguna.

Industri kesehatan memiliki jumlah data medis dan klinis yang rumit dan heterogen yang sangat besar. Menggunakan analisis big data pada data kesehatan menawarkan potensi besar dalam mendapatkan wawasan untuk meningkatkan pelayanan kesehatan. Namun, kekuatan besar dari dataset ini memunculkan tantangan besar dalam analisis dan aplikasi praktis dalam lingkungan klinis.

Dalam pelatihan online langsung ini, peserta akan belajar melakukan analisis big data dalam kesehatan sambil melewati serangkaian latihan praktis langsung.

Di akhir pelatihan ini, peserta akan dapat:

• Memasang dan mengkonfigurasi alat analisis big data seperti Hadoop MapReduce dan Spark
• Memahami karakteristik data medis
• Menerapkan teknik big data untuk mengatasi data medis
• Mempelajari sistem dan algoritma big data dalam konteks aplikasi kesehatan

Target Peserta

• Pengembang
• Ilmuwan Data

Format Kursus

• Bagian kuliah, bagian diskusi, latihan dan banyak praktik langsung.

Catatan

• Untuk meminta pelatihan kustom untuk kursus ini, silakan hubungi kami untuk mengatur.

Dalam pelatihan langsung yang dipandu instruktur di Indonesia ini, peserta akan mempelajari tentang penawaran teknologi dan pendekatan implementasi untuk memproses data grafik. Tujuannya adalah untuk mengidentifikasi objek dunia nyata, karakteristik dan hubungannya, kemudian memodelkan hubungan ini dan memprosesnya sebagai data menggunakan pendekatan Graph Computing (juga dikenal sebagai Analisis Grafik). Kami mulai dengan ikhtisar umum dan mempersempitnya pada alat tertentu saat kami melangkah melalui serangkaian studi kasus, latihan langsung, dan penerapan langsung.

Pada akhir pelatihan ini, peserta akan dapat:

• Memahami bagaimana data grafik dipertahankan dan dilintasi.
• Pilih kerangka kerja terbaik untuk tugas tertentu (dari basis data grafik hingga kerangka kerja pemrosesan batch.)
• Terapkan Hadoop, Spark, GraphX dan Pregel untuk melakukan komputasi grafik di banyak mesin secara paralel.
• Lihat masalah big data dunia nyata dalam bentuk grafik, proses, dan lintasan.

Pelatihan langsung ini di Indonesia (online atau di lokasi) ditujukan bagi administrator sistem yang ingin belajar cara mengatur, mendeploy dan mengelola klaster Hadoop dalam organisasi mereka.

Setelah selesai pelatihan ini, peserta akan dapat:

• Menginstal dan mengkonfigurasi Apache Hadoop.
• Mengerti empat komponen utama dalam ekosistem Hadoop: HDFS, MapReduce, YARN, dan Hadoop Common.
• Menggunakan Sistem File Terdistribusi (HDFS) Hadoop untuk menyelebar klaster hingga ratusan atau ribuan node.
• Mengatur HDFS sebagai mesin penyimpanan untuk pemasangan Spark di lokasi.
• Mengatur Spark untuk mengakses solusi penyimpanan alternatif seperti Amazon S3 dan sistem basis data NoSQL seperti Redis, Elasticsearch, Couchbase, Aerospike, dll.
• Melakukan tugas administratif seperti provisi, pengelolaan, pemantauan dan penyediaan keamanan klaster Apache Hadoop.

Pelatihan langsung yang dipandu instruktur di Indonesia (online atau di tempat) ini memperkenalkan Hortonworks Data Platform (HDP) dan memandu peserta melalui penerapan solusi Spark + Hadoop.

Pada akhir pelatihan ini, peserta akan dapat:

• Gunakan Hortonworks untuk menjalankan Hadoop secara andal dalam skala besar.
• Satukan kemampuan keamanan, tata kelola, dan operasi Hadoop dengan alur kerja analitik tangkas Spark.
• Gunakan Hortonworks untuk menyelidiki, memvalidasi, mensertifikasi, dan mendukung setiap komponen dalam proyek Spark.
• Memproses berbagai jenis data, termasuk data terstruktur, tak terstruktur, bergerak, dan diam.

Dalam pelatihan ini yang dipimpin instruktur, secara langsung (tatap muka atau jarak jauh), peserta akan belajar cara mengatur dan mengintegrasikan berbagai kerangka kerja Stream Processing dengan sistem penyimpanan big data yang ada dan aplikasi perangkat lunak terkait serta microservices.

Di akhir pelatihan ini, peserta akan mampu:

• Memasang dan mengkonfigurasi berbagai kerangka kerja Stream Processing, seperti Spark Streaming dan Kafka Streaming.
• Memahami dan memilih kerangka kerja yang paling tepat untuk tugas tersebut.
• Mengolah data secara kontinu, bersamaan, dan dengan cara catatan per catatan.
• Mengintegrasikan solusi Stream Processing dengan database, data warehouse, data lake, dll yang ada.
• Mengintegrasikan pustaka pemrosesan stream yang paling tepat dengan aplikasi perusahaan dan microservices.

Python adalah bahasa pemrograman tingkat tinggi yang terkenal karena sintaksisnya yang jelas dan keterbacaan kode. Spark adalah mesin pemrosesan data yang digunakan dalam kueri, analisis, dan transformasi data besar. PySpark memungkinkan pengguna untuk menghubungkan Spark dengan Python.

Target Pemirsa: Profesional tingkat menengah di industri perbankan yang familiar dengan Python dan Spark, yang ingin memperdalam keterampilan mereka dalam pemrosesan big data dan pembelajaran mesin.  

Pelatihan ini yang dipimpin instruktur secara langsung dalam Indonesia (online langsung atau tatap muka) ditujukan untuk para ilmuwan data yang ingin menggunakan tumpukan SMACK untuk membangun platform pemrosesan data untuk solusi data besar.

Pada akhir pelatihan ini, peserta akan mampu:

• Mengimplementasikan arsitektur pipa data untuk memproses data besar.
• Membangun infrastruktur kluster dengan Apache Mesos dan Docker.
• Menganalisis data dengan Spark dan Scala.
• Mengelola data tak terstruktur dengan Apache Cassandra.

Pelatihan ini, yang dipimpin instruktur secara langsung di Indonesia (online atau tatap muka), ditujukan untuk para insinyur yang ingin mengatur dan mendepatkan sistem Apache Spark untuk memproses jumlah data yang sangat besar.

Di akhir pelatihan ini, peserta akan mampu:

• Menginstal dan mengkonfigurasi Apache Spark.
• Membaca dan memproses serta menganalisis data dalam jumlah sangat besar dengan cepat.
• Memahami perbedaan antara Apache Spark dan Hadoop MapReduce serta ketika menggunakan yang mana.
• Mengintegrasikan Apache Spark dengan alat-alat pemrosesan otomatis lainnya.

Kurva pembelajaran Apache Spark meningkat perlahan pada awalnya, memerlukan banyak usaha untuk mendapatkan return pertama. Kursus ini bertujuan untuk melompat melalui bagian pertama yang sulit. Setelah mengikuti kursus ini, peserta akan memahami dasar-dasar Apache Spark, mereka akan dapat membedakan RDD dari DataFrame dengan jelas, mereka akan mempelajari Python dan Scala API, mereka akan memahami eksekutor dan tugas, dll. Selain itu, mengikuti praktik terbaik, kursus ini sangat memfokuskan pada deploymen cloud, Databricks dan AWS. Mahasiswa juga akan memahami perbedaan antara AWS EMR dan AWS Glue, salah satu layanan Spark terbaru dari AWS.

PESERTA:

Data Engineer, DevOps, Data Scientist

TUJUAN:

Kursus ini akan memperkenalkan Apache Spark. Mahasiswa akan mempelajari bagaimana Spark memasuki ekosistem Big Data, dan bagaimana menggunakan Spark untuk analisis data. Kursus ini mencakup Spark shell untuk analisis data interaktif, internasional Spark, API Spark, Spark SQL, Spark streaming, dan machine learning dan graphX.

AUDIENS:

Pengembang / Analis Data

Dalam pelatihan langsung yang dipimpin instruktur di Indonesia ini, peserta akan mempelajari cara menggunakan Python dan Spark bersama-sama untuk menganalisis data besar saat mereka mengerjakan latihan langsung.

Pada akhir pelatihan ini, peserta akan mampu:

• Pelajari cara menggunakan Spark dengan Python untuk menganalisis Big Data.
• Kerjakan latihan yang meniru kasus dunia nyata.
• Gunakan alat dan teknik yang berbeda untuk analisis data besar menggunakan PySpark.

Apache Spark SQL merupakan modul Spark untuk bekerja dengan data terstruktur dan tidak terstruktur. Spark SQL memberikan informasi tentang struktur data serta perhitungan yang dilakukan. Informasi ini dapat digunakan untuk melakukan optimasi. Dua penggunaan umum untuk Spark SQL adalah:
- untuk menjalankan kueri SQL.
- untuk membaca data dari instalasi Hive yang ada.

Dalam pelatihan langsung (tatap muka atau remote) ini yang dibimbing oleh instruktur, peserta akan belajar cara menganalisis berbagai jenis set data menggunakan Spark SQL.

Di akhir pelatihan ini, peserta akan mampu:

• Menginstal dan mengkonfigurasi Spark SQL.
• Melakukan analisis data menggunakan Spark SQL.
• Menanyakan set data dalam berbagai format.
• Memvisualisasikan data dan hasil kueri.

Format Kursus

• Perkuliahan interaktif dan diskusi.
• Banyak latihan dan praktik.
• Implementasi langsung di lingkungan lab langsung.

Opsi Pengkustoman Kursus

• Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk mengatur.

MLlib adalah pustaka pemrosesan machine learning (ML) Spark. Tujuannya adalah untuk membuat machine learning praktis yang dapat diukur dan mudah. Ini terdiri dari algoritma belajar umum dan utilitas, termasuk klasifikasi, regresi, clustering, filtering kolaboratif, pengurangan dimensi, serta primer optimasi tingkat rendah dan API pipeline tingkat tinggi.

Ia terbagi menjadi dua paket:

• spark.mllib berisi API asli yang dibangun di atas RDDs.

• spark.ml menyediakan API tingkat tinggi yang dibangun di atas DataFrames untuk memkonstruksi pipeline ML.

Peserta

Kursus ini ditujukan untuk insinyur dan pengembang yang ingin menggunakan pustaka Machine Learning yang terintegrasi dalam Apache Spark

Stratio adalah platform yang berorientasi data, yang mengintegrasikan big data, AI, dan governance menjadi satu solusi. Modul Rocket dan Intelligence-nya memungkinkan penjelajahan data cepat, transformasi, dan analitik lanjutan dalam lingkungan enterprise.

Pelatihan langsung (daring atau tatap muka) ini ditujukan untuk profesional data tingkat menengah yang ingin menggunakan modul Rocket dan Intelligence di Stratio dengan efektif bersama PySpark, fokus pada struktur pengulangan, fungsi definisi pengguna, dan logika data lanjutan.

Pada akhir pelatihan ini, peserta akan dapat:

• Menavigasi dan bekerja dalam platform Stratio menggunakan modul Rocket dan Intelligence.
• Mengaplikasikan PySpark dalam konteks penyerapan data, transformasi, dan analisis.
• Menggunakan loop dan logika kondisional untuk mengontrol alur kerja data dan tugas pemrosesan fitur.
• Membuat dan mengelola fungsi definisi pengguna (UDFs) untuk operasi data yang dapat didaur ulang dalam PySpark.

Format Kursus

• Diskusi dan kuliah interaktif.
• Banyak latihan dan praktik.
• Implementasi hands-on dalam lingkungan laboratorium langsung.

Opsi Penyesuaian Kursus

• Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk mengatur.