Kerangka Materi
Sesi 1: Pengenalan ke Hadoop
- Sejarah dan konsep Hadoop
- Ekosistem
- Distribusi
- Arsitektur tingkat tinggi
- Mitos tentang Hadoop
- Tantangan pada Hadoop
- Perangkat keras / perangkat lunak
- lab : pandangan pertama tentang Hadoop
Sesi 2: HDFS
- Desain dan arsitektur
- Konsep (scaling horizontal, replikasi, lokalisasi data, kesadaran rak)
- Daemons : Namenode, Secondary namenode, Data node
- Komunikasi / detak jantung
- Integritas data
- Lewat bacaan / penulisan
- Namenode High Availability (HA), Federasi
- lab : Berinteraksi dengan HDFS
Sesi 3: Map Reduce
- Konsep dan arsitektur
- Daemons (MRV1) : jobtracker / tasktracker
- Fase : driver, mapper, shuffle/sort, reducer
- Map Reduce Versi 1 dan Versi 2 (YARN)
- Rahasia Map Reduce
- Pengenalan ke program Java Map Reduce
- lab : Menjalankan contoh program MapReduce
Sesi 4: Pig
- pig vs java map reduce
- Tata letak pekerjaan pig
- Bahasa pig latin
- ETL dengan Pig
- Transformasi dan gabungan
- Fungsi pengguna yang ditentukan (UDF)
- lab : menulis skrip Pig untuk menganalisis data
Sesi 5: Hive
- Arsitektur dan desain
- Tipe data
- dukungan SQL dalam Hive
- Membuat tabel Hive dan melakukan kueri
- Pemartisan
- Gabungan
- Proses teks
- lab : berbagai lab tentang memproses data dengan Hive
Sesi 6: HBase
- Konsep dan arsitektur
- HBase vs RDBMS vs Cassandra
- API HBase Java
- Data time series di HBase
- Deklarasi skema
- lab : Berinteraksi dengan HBase menggunakan shell; pemrograman dalam API HBase Java ; Latihan desain skema
Persyaratan
- familiar dengan bahasa pemrograman Java (sebagian besar latihan pemrograman dalam Java)
- nyaman di lingkungan Linux (dapat menjelajahi baris perintah Linux, mengedit file menggunakan vi / nano)
Lingkungan Laboratorium
Tidak Perlu Instalasi: Tidak diperlukan untuk menginstal perangkat lunak Hadoop di komputer mahasiswa! Disediakan klaster Hadoop yang berfungsi bagi mahasiswa.
Mahasiswa memerlukan:
- klien SSH (Linux dan Mac sudah memiliki klien SSH, untuk Windows disarankan Putty)
- browser untuk mengakses klaster, disarankan Firefox
Testimoni (5)
The live examples
Ahmet Bolat - Accenture Industrial SS
Kursus - Python, Spark, and Hadoop for Big Data
During the exercises, James explained me every step whereever I was getting stuck in more detail. I was completely new to NIFI. He explained the actual purpose of NIFI, even the basics such as open source. He covered every concept of Nifi starting from Beginner Level to Developer Level.
Firdous Hashim Ali - MOD A BLOCK
Kursus - Apache NiFi for Administrators
Trainer's preparation & organization, and quality of materials provided on github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Kursus - Impala for Business Intelligence
That I had it in the first place.
Peter Scales - CACI Ltd
Kursus - Apache NiFi for Developers
practical things of doing, also theory was served good by Ajay