Big Data Pelatihan Daring di Indonesia

Pelatihan langsung yang dipimpin instruktur di Indonesia (daring atau tatap muka) ini ditujukan untuk ilmuwan data dan insinyur level menengah yang ingin menggunakan Google Colab dan Apache Spark untuk pengolahan dan analitik big data.

Pada akhir pelatihan ini, peserta akan dapat:

• Mengatur lingkungan big data menggunakan Google Colab dan Spark.
• Memproses dan menganalisis dataset besar dengan efisien menggunakan Apache Spark.
• Visualisasi big data dalam lingkungan kolaboratif.
• Mengintegrasikan Apache Spark dengan alat berbasis cloud.

Stratio adalah platform yang berorientasi data, yang mengintegrasikan big data, AI, dan governance menjadi satu solusi. Modul Rocket dan Intelligence-nya memungkinkan penjelajahan data cepat, transformasi, dan analitik lanjutan dalam lingkungan enterprise.

Pelatihan langsung (daring atau tatap muka) ini ditujukan untuk profesional data tingkat menengah yang ingin menggunakan modul Rocket dan Intelligence di Stratio dengan efektif bersama PySpark, fokus pada struktur pengulangan, fungsi definisi pengguna, dan logika data lanjutan.

Pada akhir pelatihan ini, peserta akan dapat:

• Menavigasi dan bekerja dalam platform Stratio menggunakan modul Rocket dan Intelligence.
• Mengaplikasikan PySpark dalam konteks penyerapan data, transformasi, dan analisis.
• Menggunakan loop dan logika kondisional untuk mengontrol alur kerja data dan tugas pemrosesan fitur.
• Membuat dan mengelola fungsi definisi pengguna (UDFs) untuk operasi data yang dapat didaur ulang dalam PySpark.

Format Kursus

• Diskusi dan kuliah interaktif.
• Banyak latihan dan praktik.
• Implementasi hands-on dalam lingkungan laboratorium langsung.

Opsi Penyesuaian Kursus

• Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk mengatur.

Data Warehousing adalah praktik merancang, membangun, dan mengoperasikan repositori data terpusat yang mendukung analitik, pelaporan, dan pengambilan keputusan.

Pelatihan ini dipimpin instruktur (online atau tatap muka) ditujukan bagi profesional data tingkat menengah yang ingin memodelkan data dimensional, membangun pipa ETL yang robust, dan mengoptimalkan beban kerja analitik.

Pada akhir pelatihan ini, peserta akan dapat:

• Menjelaskan konsep dan arsitektur dasar data warehousing.
• Merancang model dimensional dan memilih antara skema bintang (star) dan salju (snowflake).
• Membangun dan mengorkestrasi pipa ETL dan ELT secara andal.
• Membedakan beban kerja OLTP versus OLAP dan mengoptimalkan untuk analitik.

Format Kursus

• Diskusi dan ceramah interaktif.
• Banyak latihan dan praktik.
• Implementasi langsung dalam lingkungan live-lab.

Opsi Penyesuaian Kursus

• Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk membuat jadwal.

Peserta yang menyelesaikan pelatihan langsung yang dipandu instruktur di Indonesia akan memperoleh pemahaman praktis dan nyata tentang Big Data dan teknologi, metodologi, serta alat terkaitnya.

Peserta akan memiliki kesempatan untuk mempraktikkan pengetahuan ini melalui latihan langsung. Interaksi kelompok dan umpan balik instruktur merupakan komponen penting dari kelas.

Kursus ini dimulai dengan pengenalan konsep dasar Big Data, kemudian berlanjut ke bahasa pemrograman dan metodologi yang digunakan untuk melakukan Data Analysis. Terakhir, kami membahas alat dan infrastruktur yang memungkinkan penyimpanan Big Data, Pemrosesan Terdistribusi, dan Scalabilitas.

Greenplum adalah platform data open-source massively parallel processing (MPP) yang dirancang untuk analisis dan lingkungan data skala besar.

Pelatihan langsung ini, yang dapat dilakukan secara online maupun tatap muka, ditujukan untuk pengguna teknis tingkat menengah hingga mahir yang ingin memahami arsitektur internal Greenplum, membangun model data yang teroptimasi, dan menerapkan SQL kinerja tinggi dalam lingkungan terdistribusi.

Setelah menyelesaikan pelatihan ini, peserta akan mampu:

• Memahami arsitektur shared-nothing dan model paralelisme Greenplum.
• Merancang struktur tabel terdistribusi dan partisinya yang optimal untuk kinerja query.
• Menggunakan strategi indexing, format penyimpanan, dan teknik desain fisik.
• Menerjemahkan rencana EXPLAIN dan mengoptimalkan query menggunakan praktik terbaik.

Format Pelatihan

• Diskusi interaktif dan pertanyaan.
• Banyak latihan dan praktik.
• Implementasi langsung dalam lingkungan laboratorium live.

Opsi Penyesuaian Pelatihan

• Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk mengatur.

Greenplum adalah platform data paralel massa terbuka yang berbasis PostgreSQL, dirancang untuk analisis tingkat lanjut dan penyimpanan data berukuran besar.

Pelatihan ini yang dipimpin instruktur (online atau tatap muka) ditujukan untuk administrator tingkat menengah yang ingin menginstal, mengkonfigurasi, dan mengelola lingkungan Greenplum secara efektif, termasuk mengelola pembaruan sistem dan pustaka.

Di akhir pelatihan ini, peserta akan mampu untuk:

• Menginstal dan mengkonfigurasi kluster Greenplum yang siap produksi.
• Mengelola pembaruan sistem dan menerapkan patch secara aman.
• Mengelola pustaka Greenplum untuk analisis dan ekstensi.
• Memperbaiki dan memantau sistem Greenplum.

Format Pelatihan

• Pertemuan dan diskusi interaktif.
• Penggunaan langsung Greenplum dalam lingkungan laboratorium yang terkontrol.
• Latihan terarah yang berfokus pada pengaturan kluster, alur kerja upgrade, dan ekstensi sistem.

Opsi Pemerataan Pelatihan

• Untuk meminta pelatihan yang disesuaikan untuk kursus ini berdasarkan lingkungan atau platform data Anda, silakan hubungi kami untuk mengatur.

Ini adalah pelatihan langsung (online atau tatap muka) yang dipimpin oleh instruktur untuk profesional data tingkat lanjut yang ingin mengoptimalkan workflow pengolahan data, memastikan integritas data, dan mengimplementasikan solusi data lakehouse yang kuat yang dapat menangani kompleksitas aplikasi big data modern.

Di akhir pelatihan ini, peserta akan dapat:

• Memahami arsitektur Iceberg secara mendalam, termasuk manajemen metadata dan tata letak berkas.
• Mengonfigurasi Iceberg untuk kinerja optimal di berbagai lingkungan dan mengintegrasikannya dengan beberapa mesin pengolahan data.
• Mengelola tabel Iceberg skala besar, melakukan perubahan skema kompleks, dan mengelola evolusi partisipasi.
• Memahami teknik untuk mengoptimalkan kinerja query dan efisiensi pemindaian data untuk dataset besar.
• Mengimplementasikan mekanisme untuk memastikan konsistensi data, mengelola jaminan transaksional, dan mengelola kegagalan dalam lingkungan terdistribusi.

Pelatihan ini, yang dibimbing instruktur secara langsung (online langsung atau tatap muka), ditujukan untuk profesional data pemula yang ingin mempelajari pengetahuan dan keterampilan yang diperlukan untuk menggunakan Apache Iceberg secara efektif untuk mengelola dataset berukuran besar, memastikan integritas data, dan mengoptimalkan alur kerja pemrosesan data.

Di akhir pelatihan ini, peserta akan dapat:

• Memahami secara mendalam arsitektur, fitur, dan manfaat Apache Iceberg.
• Mempelajari format tabel, pemartisian, evolusi skema, dan keterampilan perjalanan waktu.
• Memasang dan mengkonfigurasi Apache Iceberg dalam berbagai lingkungan.
• Membuat, mengelola, dan memanipulasi tabel Iceberg.
• Memahami proses migrasi data dari format tabel lainnya ke Iceberg.

Pelatihan ini dipandu oleh instruktur (online atau tatap muka) ditujukan kepada profesional IT level menengah yang ingin mengembangkan keterampilan mereka dalam arsitektur data, tata kelola data, komputasi awan, dan teknologi big data untuk efektif mengelola dan menganalisis data set besar untuk migrasi data di organisasi mereka.

Pada akhir pelatihan ini, peserta akan dapat:

• Memahami konsep dan komponen dasar dari berbagai arsitektur data.
• Mendapatkan pemahaman menyeluruh tentang prinsip-prinsip tata kelola data dan pentingnya dalam lingkungan peraturan.
• Mengimplementasikan dan mengelola kerangka kerja tata kelola data seperti Dama dan Togaf.
• Memanfaatkan platform awan untuk penyimpanan, pengolahan, dan manajemen data yang efisien.

Pelatihan ini dibimbing oleh instruktur dalam bentuk pelatihan online langsung atau pelatihan langsung tatap muka ditujukan untuk data engineers tingkat menengah yang ingin mempelajari cara menggunakan Azure Data Lake Storage Gen2 untuk solusi analisis data yang efektif.

Di akhir pelatihan ini, peserta akan mampu:

• Memahami arsitektur dan fitur utama Azure Data Lake Storage Gen2.
• Memoptimalkan penyimpanan data dan akses untuk biaya dan kinerja.
• Mengintegrasikan Azure Data Lake Storage Gen2 dengan layanan Azure lainnya untuk analisis dan pemrosesan data.
• Mengembangkan solusi menggunakan API Azure Data Lake Storage Gen2.
• Menyelidiki masalah umum dan mengoptimalkan strategi penyimpanan.

Pelatihan langsung yang dipimpin instruktur di Indonesia (online atau di lokasi) ditujukan untuk pengembang yang ingin menggunakan dan mengintegrasikan Spark, Hadoop, dan Python untuk memproses, menganalisis, dan mengubah kumpulan data yang besar dan kompleks.

Pada akhir pelatihan ini, peserta akan mampu:

• Siapkan lingkungan yang diperlukan untuk mulai memproses data besar dengan Spark, Hadoop, dan Python.
• Memahami fitur, komponen inti, dan arsitektur Spark dan Hadoop.
• Pelajari cara mengintegrasikan Spark, Hadoop, dan Python untuk pemrosesan data besar.
• Jelajahi alat di ekosistem Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka, dan Flume).
• Bangun sistem rekomendasi pemfilteran kolaboratif yang serupa dengan Netflix, YouTube, Amazon, Spotify, dan Google.
• Gunakan Apache Mahout untuk menskalakan algoritma pembelajaran mesin.

Big Data dan Advanced Analytics adalah penerapan teknik dan alat yang canggih untuk menganalisis dataset besar dan kompleks untuk mendapatkan wawasan yang dapat diambil tindakannya dan membuat keputusan strategis.

Pelatihan langsung ini (pelatihan online langsung atau pelatihan langsung tatap muka) ditujukan untuk profesional data tingkat lanjut yang ingin memanfaatkan metode analisis terdepan dan teknologi big data untuk analisis prediktif, preskriptif, dan real-time.

Di akhir pelatihan ini, peserta akan dapat:

• Mendesain dan mengimplementasikan pipa pengolahan data besar untuk data terstruktur dan tidak terstruktur.
• Menerapkan teknik machine learning dan deep learning tingkat lanjut ke dataset besar.
• Memanfaatkan kerangka kerja komputasi terdistribusi untuk analisis real-time dan streaming data.
• Mengintegrasikan analisis big data ke dalam sistem intelijen bisnis dan pengambilan keputusan.

Format Pelatihan

• Diskusi dan perkuliahan interaktif.
• Banyak latihan dan praktik.
• Implementasi langsung dalam lingkungan lab langsung.

Opsi Kustomisasi Pelatihan

• Untuk meminta pelatihan kustom untuk kursus ini, silakan hubungi kami untuk mengatur.

Pelatihan ini dipandu instruktur (online atau tatap muka) ditujukan kepada profesional IT tingkat menengah yang ingin memiliki pemahaman komprehensif tentang IBM DataStage dari perspektif administrasi dan pengembangan, memungkinkan mereka mengelola dan menggunakan alat ini secara efektif di tempat kerja masing-masing.

Pada akhir pelatihan ini, peserta akan dapat:

• Memahami konsep inti DataStage.
• Belajar cara menginstal, mengonfigurasi, dan mengelola lingkungan DataStage dengan efektif.
• Terhubung ke berbagai sumber data dan mengekstrak data secara efisien dari database, file datar, dan sumber eksternal.
• Mengimplementasikan teknik pemuatan data yang efektif.

Ini adalah pelatihan langsung (online atau tatap muka) yang dipimpin instruktur untuk administrator sistem tingkat pemula hingga menengah yang ingin mengimplementasikan, memelihara, dan mengoptimalkan klaster Spark.

Pada akhir pelatihan ini, peserta akan mampu untuk:

• Menginstal dan mengkonfigurasi Apache Spark di berbagai lingkungan.
• Mengelola sumber daya klaster dan memantau aplikasi Spark.
• Mengoptimalkan kinerja klaster Spark.
• Menerapkan langkah-langkah keamanan dan memastikan ketersediaan tinggi.
• Mengidentifikasi dan memecahkan masalah umum Spark.

Para peserta yang menyelesaikan pelatihan langsung dengan instruktur di Indonesia, akan mendapatkan pemahaman praktis dan realistis tentang Big Data beserta teknologi, metodologi, dan alat-alat terkaitnya.

Peserta akan memiliki kesempatan untuk menerapkan pengetahuan ini melalui latihan praktik. Interaksi grup dan umpan balik instruktur merupakan komponen penting dari kelas ini.

Materi kursus dimulai dengan pengenalan konsep dasar Big Data, kemudian berlanjut ke bahasa pemrograman dan metodologi yang digunakan untuk melakukan Data Analysis. Terakhir, kita membahas alat-alat dan infrastruktur yang memungkinkan penyimpanan Big Data, pengolahan terdistribusi, dan skalabilitas.

Dalam pelatihan langsung yang dipimpin instruktur di Indonesia ini, peserta akan mempelajari cara menggunakan Python dan Spark bersama-sama untuk menganalisis data besar saat mereka mengerjakan latihan langsung.

Pada akhir pelatihan ini, peserta akan mampu:

• Pelajari cara menggunakan Spark dengan Python untuk menganalisis Big Data.
• Kerjakan latihan yang meniru kasus dunia nyata.
• Gunakan alat dan teknik yang berbeda untuk analisis data besar menggunakan PySpark.

Pelatihan ini yang dikembangkan oleh instruktur secara langsung (online atau langsung tatap muka) ditujukan kepada pengembang perangkat lunak, manajer, dan analis bisnis yang ingin menggunakan sistem big data untuk menyimpan dan mengambil data besar dalam jumlah besar.

Setelah menyelesaikan pelatihan ini, peserta akan mampu untuk:

• Menjalankan kueri terhadap jumlah besar data dengan efisien.
• Mengerti bagaimana sistem Big Data menyimpan dan mengambil data
• Menggunakan sistem big data terbaru yang tersedia
• Menata data dari sistem data ke dalam sistem laporan
• Belajar menulis kueri SQL dalam:
  • MySQL
  • Postgres
  • Hive Query Language (HiveQL/HQL)
  • Redshift 

Format Kursus

• Ceramah dan diskusi interaktif.
• Banyak latihan dan praktek.
• Implementasi praktis dalam lingkungan laboratorium langsung.

Opsi Penyesuaian Kursus

• Untuk meminta pelatihan khusus untuk kursus ini, silakan hubungi kami untuk mengatur.

Audience:

Kursus ini ditujukan untuk spesialis IT yang mencari solusi untuk menyimpan dan memproses kumpulan data besar dalam lingkungan sistem terdistribusi.

Goal:

Pengetahuan mendalam tentang administrasi kluster Hadoop.

Kemajuan teknologi dan peningkatan jumlah informasi sedang mengubah cara bisnis dilakukan di berbagai industri, termasuk pemerintahan. Tingkat pembuatan data dan arsip digital pemerintah semakin meningkat karena pertumbuhan cepat dari perangkat dan aplikasi mobile, sensor pintar dan perangkat, solusi komputasi cloud, dan portal yang menghadap ke masyarakat. Seiring informasi digital bertambah dan menjadi lebih kompleks, manajemen informasi, pemrosesan, penyimpanan, keamanan, dan disposisi juga semakin rumit. Alat-alat baru untuk penangkapan, pencarian, penemuan, dan analisis membantu organisasi memperoleh wawasan dari data tidak terstruktur mereka. Pasar pemerintah sedang berada pada titik kritis, menyadari bahwa informasi merupakan aset strategis, dan pemerintah perlu melindungi, memanfaatkan, dan menganalisis baik data terstruktur maupun tidak terstruktur untuk lebih baik melayani dan memenuhi kebutuhan misi. Ketika pemimpin pemerintah berusaha mengembangkan organisasi yang didorong oleh data agar berhasil mencapai misi, mereka sedang menyiapkan dasar untuk menghubungkan ketergantungan di antara peristiwa, orang, proses, dan informasi.

Solusi pemerintah berharga akan dibuat dari gabungan teknologi yang paling disruptif:

• Perangkat mobile dan aplikasi
• Layanan cloud
• Teknologi bisnis sosial dan jaringan
• Big Data dan analitik

Big Data adalah salah satu solusi industri yang cerdas dan memungkinkan pemerintah membuat keputusan yang lebih baik dengan mengambil tindakan berdasarkan pola yang terungkap melalui analisis data dalam jumlah besar — terkait maupun tidak, terstruktur maupun tidak terstruktur.

Namun, untuk mencapai prestasi ini membutuhkan lebih dari sekadar mengumpulkan kuantitas data yang sangat besar. “Mengerti volume Big Data ini memerlukan alat dan teknologi terdepan yang dapat menganalisis dan mengekstrak pengetahuan berguna dari aliran informasi yang luas dan beragam,” kata Tom Kalil dan Fen Zhao dari Kantor Kebijakan Ilmu dan Teknologi Gedung Putih dalam sebuah posting di Blog OSTP.

Gedung Putih mengambil langkah untuk membantu agensi menemukan teknologi ini ketika mereka mendirikan Inisiatif Penelitian dan Pengembangan Big Data Nasional pada tahun 2012. Inisiatif tersebut mencakup lebih dari $200 juta untuk memanfaatkan ledakan Big Data dan alat yang diperlukan untuk menganalisisnya.

Tantangan yang dihadirkan oleh Big Data hampir setara dengan janjinya. Menyimpan data secara efisien adalah salah satu tantangan tersebut. Sebagai biasa, anggaran terbatas, sehingga agensi harus meminimalkan harga per-megabyte penyimpanan dan menjaga data tetap mudah diakses agar pengguna dapat mendapatkannya kapan mereka mau dan bagaimana mereka butuhkan. Membuat cadangan data dalam jumlah besar meningkatkan tantangan.

Menganalisis data secara efektif adalah tantangan utama lainnya. Banyak agensi menggunakan alat komersial yang memungkinkan mereka menyaring gunung-gunung data, menemukan tren yang dapat membantu mereka beroperasi lebih efisien. (Studi baru-baru ini oleh MeriTalk menemukan bahwa eksekutif IT federal berpikir Big Data dapat membantu agensi menghemat lebih dari $500 miliar sambil juga memenuhi objektif misi.).

Alat Big Data yang dikembangkan secara kustom juga memungkinkan agensi untuk menangani kebutuhan menganalisis data mereka. Misalnya, Grup Analitik Data Komputasi Laboratorium Oak Ridge National telah membuat sistem analitik data Piranha-nya tersedia bagi agensi lain. Sistem tersebut telah membantu peneliti medis menemukan tautan yang dapat memperingatkan dokter tentang aneurisma aorta sebelum terjadi. Itu juga digunakan untuk tugas-tugas yang lebih sederhana, seperti menyaring resume untuk menghubungkan kandidat pekerjaan dengan manajer perekrutan.

Hari 1 - memberikan gambaran tinggi tentang bidang Big Data yang penting. Modul ini dibagi menjadi serangkaian bagian, masing-masing dilengkapi dengan latihan praktis.

Hari 2 - menjelajahi berbagai topik yang berkaitan dengan praktik dan alat analisis untuk lingkungan Big Data. Modul ini tidak mendalami detail implementasi atau pemrograman, melainkan tetap pada tingkat konseptual, dengan fokus pada topik yang memungkinkan peserta untuk memahami fungsi dan fitur analisis umum yang ditawarkan oleh solusi Big Data.

Hari 3 - memberikan gambaran tentang bidang Big Data yang penting yang berkaitan dengan arsitektur platform solusi Big Data. Modul ini membahas mekanisme Big Data yang diperlukan untuk pengembangan platform solusi Big Data dan opsi arsitektur untuk mengumpulkan platform pemrosesan data. Scenario umum juga disajikan untuk memberikan pemahaman dasar tentang cara umum platform solusi Big Data digunakan.

Hari 4 - membangun dari Hari 3 dengan menjelajahi topik lanjutan yang berkaitan dengan arsitektur platform solusi Big Data. Secara khusus, berbagai lapisan arsitektur yang membentuk platform solusi Big Data diperkenalkan dan dibahas, termasuk sumber data, masuk data, penyimpanan data, pemrosesan data, dan keamanan.

Hari 5 - mencakup berbagai latihan dan masalah yang dirancang untuk menguji kemampuan peserta dalam menerapkan pengetahuan tentang topik yang dibahas di Hari 3 dan 4.

Big data analytics melibatkan proses pemeriksaan jumlah data besar dan beragam untuk mengungkap korelasi, pola terpendam, dan wawasan lainnya yang berguna.

Industri kesehatan memiliki jumlah data medis dan klinis yang rumit dan heterogen yang sangat besar. Menggunakan analisis big data pada data kesehatan menawarkan potensi besar dalam mendapatkan wawasan untuk meningkatkan pelayanan kesehatan. Namun, kekuatan besar dari dataset ini memunculkan tantangan besar dalam analisis dan aplikasi praktis dalam lingkungan klinis.

Dalam pelatihan online langsung ini, peserta akan belajar melakukan analisis big data dalam kesehatan sambil melewati serangkaian latihan praktis langsung.

Di akhir pelatihan ini, peserta akan dapat:

• Memasang dan mengkonfigurasi alat analisis big data seperti Hadoop MapReduce dan Spark
• Memahami karakteristik data medis
• Menerapkan teknik big data untuk mengatasi data medis
• Mempelajari sistem dan algoritma big data dalam konteks aplikasi kesehatan

Target Peserta

• Pengembang
• Ilmuwan Data

Format Kursus

• Bagian kuliah, bagian diskusi, latihan dan banyak praktik langsung.

Catatan

• Untuk meminta pelatihan kustom untuk kursus ini, silakan hubungi kami untuk mengatur.

Dalam pelatihan langsung yang dipandu instruktur di Indonesia ini, peserta akan mempelajari pola pikir untuk mendekati Big Data teknologi, menilai dampaknya terhadap proses dan kebijakan yang ada, dan menerapkan teknologi ini untuk tujuan mengidentifikasi aktivitas kriminal dan mencegah kejahatan. Studi kasus dari organisasi penegak hukum di seluruh dunia akan diperiksa untuk mendapatkan wawasan tentang pendekatan adopsi, tantangan, dan hasil mereka.

Pada akhir pelatihan ini, peserta akan dapat:

• Gabungkan teknologi Big Data dengan proses pengumpulan data tradisional untuk menyusun cerita selama investigasi.
• Terapkan solusi penyimpanan dan pemrosesan data besar industri untuk analisis data.
• Siapkan proposal untuk penerapan alat dan proses yang paling memadai untuk memungkinkan pendekatan berbasis data terhadap investigasi kriminal.

Big Data adalah istilah yang merujuk pada solusi yang ditujukan untuk penyimpanan dan pengolahan data set besar. Dikembangkan oleh Google awalnya, solusi Big Data ini telah berevolusi dan menginspirasi proyek-proyek lain yang serupa, banyak di antaranya tersedia sebagai open-source. R adalah bahasa pemrograman yang populer di industri keuangan.

Ketika teknologi penyimpanan tradisional tidak dapat menangani jumlah data yang perlu disimpan, ada ratusan alternatif. Kursus ini mencoba memandu peserta mengenai alternatif untuk menyimpan dan menganalisis Big Data serta kelebihan dan kekurangannya.

Kursus ini sebagian besar berfokus pada diskusi dan presentasi solusi, meskipun latihan praktis tersedia sesuai permintaan.

Kursus ini adalah bagian dari kumpulkan keterampilan Data Scientist (Domain: Data dan Teknologi).

Sesion pelatihan kelas duduk ini akan menjelajahi Big Data. Peserta akan memiliki contoh berdasarkan komputer dan latihan kasus untuk dilakukan dengan alat big data yang relevan.

Penonton

Jika Anda mencoba membuat arti dari data yang Anda miliki atau ingin menganalisis data tidak terstruktur yang tersedia di jaringan (seperti Twitter, LinkedIn, dll), kursus ini untuk Anda.

Kursus ini sebagian besar ditujukan untuk pembuat keputusan dan orang-orang yang perlu memutuskan data apa yang layak dikumpulkan dan data apa yang layak dianalisis.

Kursus ini tidak ditujukan untuk orang-orang yang mengonfigurasi solusi, meskipun mereka akan mendapatkan manfaat dari gambaran besar.

Mode Pengiriman

Selama kursus, peserta akan diajak dengan contoh-contoh teknologi yang sebagian besar bersumber terbuka.

Materi singkat akan diikuti oleh presentasi dan latihan sederhana oleh peserta.

Isi dan Perangkat Lunak yang Digunakan

Semua perangkat lunak yang digunakan diperbarui setiap kali kursus dijalankan, sehingga kita memeriksa versi terbaru yang mungkin.

Kursus ini mencakup proses dari mendapatkan, memformat, memproses dan menganalisis data, hingga menjelaskan cara mengotomatisasi proses pembuatan keputusan dengan machine learning.

Big data adalah data set yang sangat besar dan rumit sehingga perangkat lunak aplikasi pemrosesan data tradisional tidak memadai untuk mengatasi mereka. Tantangan big data meliputi penangkapan data, penyimpanan data, analisis data, pencarian, pembagian, transfer, visualisasi, penelitian, pembaruan dan privasi informasi.

Apache Hadoop adalah kerangka kerja paling populer untuk memproses Big Data di klaster server. Dalam kursus tiga (opsional empat) hari ini, peserta akan belajar tentang manfaat bisnis dan kasus penggunaan untuk Hadoop dan ekosistemnya, bagaimana merencanakan penempatan dan pertumbuhan klaster, cara menginstal, memelihara, memantau, menangani masalah, dan mengoptimalkan Hadoop. Mereka juga akan berlatih memuat data besar ke klaster, menjadi familiar dengan berbagai distribusi Hadoop, serta berlatih menginstal dan mengelola alat ekosistem Hadoop. Kursus ini berakhir dengan diskusi tentang keamanan klaster menggunakan Kerberos.

“…Materi tersebut sangat baik disiapkan dan ditutup secara menyeluruh. Lab-nya sangat membantu dan terorganisir dengan baik”— Andrew Nguyen, Principal Integration DW Engineer, Microsoft Online Advertising

Audience

Administrator Hadoop

Format

Pengajaran dan laboratorium praktik, keseimbangan sekitar 60% pengajaran, 40% lab.

Apache Hadoop adalah kerangka kerja paling populer untuk memproses Big Data di klaster server. Kursus ini akan memperkenalkan pengembang ke berbagai komponen (HDFS, MapReduce, Pig, Hive dan HBase) dalam ekosistem Hadoop.

Apache Hadoop adalah salah satu kerangka kerja paling populer untuk memproses Big Data pada klaster server. Kursus ini mendalami manajemen data di HDFS, Pig lanjutan, Hive, dan HBase. Teknik pemrograman lanjutan ini akan bermanfaat bagi pengembang Hadoop yang berpengalaman.

Audience: pengembang

Durasi: tiga hari

Format: ceramah (50%) dan praktikum terstruktur (50%).

Target Pengguna:

Kursus ini dirancang untuk mempermudah teknologi big data/hadoop dan menunjukkan bahwa teknologi tersebut tidak sulit dipahami.

Pelatihan langsung ini di Indonesia (online atau di lokasi) ditujukan bagi administrator sistem yang ingin belajar cara mengatur, mendeploy dan mengelola klaster Hadoop dalam organisasi mereka.

Setelah selesai pelatihan ini, peserta akan dapat:

• Menginstal dan mengkonfigurasi Apache Hadoop.
• Mengerti empat komponen utama dalam ekosistem Hadoop: HDFS, MapReduce, YARN, dan Hadoop Common.
• Menggunakan Sistem File Terdistribusi (HDFS) Hadoop untuk menyelebar klaster hingga ratusan atau ribuan node.
• Mengatur HDFS sebagai mesin penyimpanan untuk pemasangan Spark di lokasi.
• Mengatur Spark untuk mengakses solusi penyimpanan alternatif seperti Amazon S3 dan sistem basis data NoSQL seperti Redis, Elasticsearch, Couchbase, Aerospike, dll.
• Melakukan tugas administratif seperti provisi, pengelolaan, pemantauan dan penyediaan keamanan klaster Apache Hadoop.

Kursus ini memperkenalkan HBase – sebuah toko NoSQL di atas Hadoop. Kursus ini ditujukan untuk pengembang yang akan menggunakan HBase untuk mengembangkan aplikasi, dan administrator yang akan mengelola klaster HBase.

Kami akan membimbing seorang pengembang melalui arsitektur HBase dan pemodelan data serta pengembangan aplikasi di HBase. Kursus ini juga akan mendiskusikan penggunaan MapReduce dengan HBase, dan beberapa topik administratif terkait optimisasi kinerja. Kursus ini sangat praktis dengan banyak latihan laboratorium.

Durasi : 3 hari

Audience : Pengembang & Administrator

Dalam pelatihan langsung ini di Indonesia (tatap muka atau jarak jauh), peserta akan mempelajari cara mengatur dan mengintegrasikan kerangka kerja Stream Processing yang berbeda dengan sistem penyimpanan data besar yang ada dan aplikasi perangkat lunak terkait serta mikrolayanan.

Pada akhir pelatihan ini, peserta akan mampu:

• Menginstal dan mengonfigurasi kerangka kerja Stream Processing yang berbeda, seperti Spark Streaming dan Kafka Streaming.
• Memahami dan memilih kerangka kerja yang paling sesuai untuk pekerjaan tersebut.
• Mengolah data secara kontinu, simultan, dan satu per satu catatan.
• Mengintegrasikan solusi Stream Processing dengan database, gudang data, danau data yang ada, dll.
• Mengintegrasikan perpustakaan pengolahan aliran yang paling sesuai dengan aplikasi enterprise dan mikrolayanan.

Pelatihan ini, yang dibimbing oleh instruktur secara langsung (online atau tatap muka), ditujukan untuk orang-orang teknis yang ingin mempelajari cara menerapkan strategi pembelajaran mesin sambil memaksimalkan penggunaan data besar.

Pada akhir pelatihan ini, peserta akan:

• Memahami evolusi dan tren pembelajaran mesin.
• Mengetahui bagaimana pembelajaran mesin digunakan di berbagai industri.
• Menyenangkan diri dengan alat, keterampilan, dan layanan yang tersedia untuk menerapkan pembelajaran mesin dalam sebuah organisasi.
• Memahami bagaimana pembelajaran mesin dapat digunakan untuk meningkatkan penambangan dan analisis data.
• Mempelajari apa itu data middle backend dan bagaimana digunakan oleh bisnis.
• Memahami peran yang dimainkan oleh big data dan aplikasi cerdas di berbagai industri.

Apache NiFi adalah platform open-source berbasis aliran data yang digunakan untuk integrasi dan pemrosesan peristiwa. Platform ini memungkinkan routing, transformasi, dan mediasi sistem otomatis secara real-time antar sistem yang berbeda, dengan UI berbasis web dan kontrol detail.

Pelatihan langsung yang dipandu instruktur (tatap muka atau online) ini ditujukan untuk administrator dan insinyur tingkat menengah yang ingin mengimplementasikan, mengelola, mengamankan, dan mengoptimalkan aliran data NiFi di lingkungan produksi.

Setelah pelatihan ini, peserta akan dapat:

• Menginstal, mengonfigurasi, dan memelihara klaster Apache NiFi.
• Mendesain dan mengelola aliran data dari berbagai sumber dan tujuan.
• Implementasikan otomatisasi aliran, routing, dan logika transformasi.
• Mengoptimalkan kinerja, memantau operasi, dan menyelesaikan masalah.

Format Kursus

• Kuliah interaktif dengan diskusi arsitektur dunia nyata.
• Laboratorium praktis: membangun, mengeksekusi, dan mengelola aliran data.
• Eksperimen berbasis skenario di lingkungan live-lab.

Pilihan Penyesuaian Kursus

• Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk mengatur.

Dalam pelatihan langsung yang dipandu instruktur di Indonesia ini, peserta akan mempelajari dasar-dasar pemrograman berbasis aliran saat mereka mengembangkan sejumlah ekstensi demo, komponen, dan prosesor menggunakan Apache NiFi.

Pada akhir pelatihan ini, peserta akan dapat:

• Memahami arsitektur NiFi dan konsep aliran data.
• Mengembangkan ekstensi menggunakan NiFi dan API pihak ketiga.
• Mengembangkan prosesor Apache Nifi mereka sendiri.
• Menyerap dan memproses data secara real-time dari berbagai format file dan sumber data yang berbeda dan tidak umum.

Python adalah bahasa pemrograman tingkat tinggi yang terkenal dengan sintaksnya yang jelas dan keterbacaan kode. Spark adalah mesin pengolahan data yang digunakan dalam pengecekan, analisis, dan transformasi big data. PySpark memungkinkan pengguna untuk mengintegrasikan Spark dengan Python.

Target Audience: Profesional tingkat menengah di industri perbankan yang familiar dengan Python dan Spark, berkeinginan untuk mendalami keterampilan mereka dalam pengolahan big data dan pembelajaran mesin.

Pelatihan ini yang dikombinasikan dengan instruktur, baik pelatihan online langsung atau pelatihan langsung tatap muka, ditujukan untuk para ilmuwan data yang ingin menggunakan SMACK stack untuk membangun platform pengolahan data untuk solusi big data.

Di akhir pelatihan ini, peserta akan mampu:

• Menerapkan arsitektur pipeline data untuk mengolah big data.
• Mengembangkan infrastruktur cluster dengan Apache Mesos dan Docker.
• Menganalisis data dengan Spark dan Scala.
• Mengelola data tidak terstruktur dengan Apache Cassandra.

Pelatihan ini, yang dipimpin instruktur secara langsung di Indonesia (online atau tatap muka), ditujukan untuk para insinyur yang ingin mengatur dan mendepatkan sistem Apache Spark untuk memproses jumlah data yang sangat besar.

Di akhir pelatihan ini, peserta akan mampu:

• Menginstal dan mengkonfigurasi Apache Spark.
• Membaca dan memproses serta menganalisis data dalam jumlah sangat besar dengan cepat.
• Memahami perbedaan antara Apache Spark dan Hadoop MapReduce serta ketika menggunakan yang mana.
• Mengintegrasikan Apache Spark dengan alat-alat pemrosesan otomatis lainnya.

Kurva pembelajaran Apache Spark meningkat perlahan pada awalnya, memerlukan banyak usaha untuk mendapatkan return pertama. Kursus ini bertujuan untuk melompat melalui bagian pertama yang sulit. Setelah mengikuti kursus ini, peserta akan memahami dasar-dasar Apache Spark, mereka akan dapat membedakan RDD dari DataFrame dengan jelas, mereka akan mempelajari Python dan Scala API, mereka akan memahami eksekutor dan tugas, dll. Selain itu, mengikuti praktik terbaik, kursus ini sangat memfokuskan pada deploymen cloud, Databricks dan AWS. Mahasiswa juga akan memahami perbedaan antara AWS EMR dan AWS Glue, salah satu layanan Spark terbaru dari AWS.

PESERTA:

Data Engineer, DevOps, Data Scientist

TUJUAN:

Kursus ini akan memperkenalkan Apache Spark. Mahasiswa akan mempelajari bagaimana Spark memasuki ekosistem Big Data, dan bagaimana menggunakan Spark untuk analisis data. Kursus ini mencakup Spark shell untuk analisis data interaktif, internasional Spark, API Spark, Spark SQL, Spark streaming, dan machine learning dan graphX.

AUDIENS:

Pengembang / Analis Data

Pelatihan langsung yang dipimpin instruktur di Indonesia (online atau di tempat) ini ditujukan untuk ilmuwan data dan pengembang yang ingin menggunakan Spark NLP, dibangun di atas Apache Spark, untuk mengembangkan, menerapkan, dan meningkatkan skala model dan jalur pemrosesan teks bahasa alami.

Pada akhir pelatihan ini, peserta akan dapat:

• Siapkan lingkungan pengembangan yang diperlukan untuk mulai membangun jalur NLP dengan Spark NLP.
• Memahami fitur, arsitektur, dan manfaat penggunaan Spark NLP.
• Gunakan model terlatih yang tersedia di Spark NLP untuk mengimplementasikan pemrosesan teks.
• Pelajari cara membangun, melatih, dan menskalakan Spark NLP model untuk proyek tingkat produksi.
• Terapkan klasifikasi, inferensi, dan analisis sentimen pada kasus penggunaan dunia nyata (data klinis, wawasan perilaku pelanggan, dll.).

Apache Spark SQL merupakan modul Spark untuk bekerja dengan data terstruktur dan tidak terstruktur. Spark SQL memberikan informasi tentang struktur data serta perhitungan yang dilakukan. Informasi ini dapat digunakan untuk melakukan optimasi. Dua penggunaan umum untuk Spark SQL adalah:
- untuk menjalankan kueri SQL.
- untuk membaca data dari instalasi Hive yang ada.

Dalam pelatihan langsung (tatap muka atau remote) ini yang dibimbing oleh instruktur, peserta akan belajar cara menganalisis berbagai jenis set data menggunakan Spark SQL.

Di akhir pelatihan ini, peserta akan mampu:

• Menginstal dan mengkonfigurasi Spark SQL.
• Melakukan analisis data menggunakan Spark SQL.
• Menanyakan set data dalam berbagai format.
• Memvisualisasikan data dan hasil kueri.

Format Kursus

• Perkuliahan interaktif dan diskusi.
• Banyak latihan dan praktik.
• Implementasi langsung di lingkungan lab langsung.

Opsi Pengkustoman Kursus

• Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk mengatur.

Pelatihan ini, yang dipimpin instruktur secara langsung dalam mode Indonesia (online atau tatap muka), ditujukan untuk orang teknis yang ingin mengimplementasikan Talend Open Studio for Big Data untuk memudahkan proses membaca dan memproses Big Data.

Di akhir pelatihan ini, peserta akan mampu untuk:

• Menginstal dan mengkonfigurasi Talend Open Studio for Big Data.
• Terkoneksi dengan sistem Big Data seperti Cloudera, HortonWorks, MapR, Amazon EMR dan Apache.
• Memahami dan mengatur komponen dan konektor Big Data Open Studio.
• Mengkonfigurasi parameter untuk secara otomatis menghasilkan kode MapReduce.
• Menggunakan antarmuka drag-and-drop Open Studio untuk menjalankan pekerjaan Hadoop.
• Memprototipe pipa Big Data.
• Mengotomatisasi proyek integrasi Big Data.