Course Outline
Landasan Intensif Data Platform Engineering
- Pengantar aplikasi intensif data
- Tantangan dalam rekayasa platform untuk data besar
- Ikhtisar arsitektur pemrosesan data
Pemodelan Data dan Management
- Prinsip pemodelan data untuk skalabilitas
- Opsi dan pengoptimalan penyimpanan data
- Mengelola siklus hidup data dalam lingkungan terdistribusi
Big Data Kerangka Pengolahan
- Ikhtisar alat pemrosesan data besar (Hadoop, Spark, Flink)
- Pemrosesan batch vs. aliran
- Menyiapkan jalur pemrosesan data besar
Platform Analisis Waktu Nyata
- Merancang untuk analisis real-time
- Mesin pemroses aliran (Kafka Streams, Apache Storm)
- Membangun dasbor dan visualisasi real-time
Orkestrasi Saluran Data
- Manajemen alur kerja dengan Apache Airflow dan lainnya
- Mengotomatiskan saluran data untuk efisiensi
- Memantau dan memperingatkan saluran data
Keamanan dan Kepatuhan Platform
- Praktik terbaik keamanan untuk platform data
- Memastikan privasi data dan kepatuhan terhadap peraturan
- Menerapkan kontrol akses data yang aman
Penyetelan dan Pengoptimalan Kinerja
- Teknik untuk mengoptimalkan throughput dan latensi data
- Strategi penskalaan untuk platform padat data
- Pembandingan dan pemantauan kinerja
Studi Kasus dan Praktik Terbaik
- Menganalisis implementasi platform data yang sukses
- Pembelajaran dari para pemimpin industri
- Tren yang muncul dalam rekayasa platform intensif data
Proyek Batu Penjuru
- Merancang solusi platform untuk aplikasi intensif data
- Menerapkan prototipe jalur pemrosesan data
- Mengevaluasi kinerja dan skalabilitas platform
Ringkasan dan Langkah Selanjutnya
Requirements
- Pemahaman tentang struktur data dasar dan algoritma
- Pengalaman dengan pemrograman Java, Scala, atau Python.
- Keakraban dengan konsep dasar database dan SQL
Hadirin
- Pengembang perangkat lunak
- Insinyur data
- Petunjuk teknis
Testimonials (3)
I am getting the correct level of understanding I need to assist in my day to day work
Wasfi Adams
Course - Impacted Function Point (IFP)
The trainer was super engaging and made sure we understand through questioning and affirmations. Even though the content was overwhelming, the trainer broke it down well and made content easily accessible for later reference.
Zaid Amerika
Course - Unit of Software Measurement Parameterization (UMSP)
Everything was built up from a basic level while progressing quick enough to prevent anyone getting bored.