Course Outline
Bagian 1: Pendahuluan Hadoop
- Hadoop sejarah, konsep
- ekosistem
- distribusi
- arsitektur tingkat tinggi
- Hadoop mitos
- Hadoop tantangan
- perangkat keras / perangkat lunak
- lab : pertama kali melihat Hadoop
Bagian 2: HDFS
- Desain dan arsitektur
- Konsep (skala horizontal, replikasi, lokasi data, kesadaran rak)
- Daemon : Namenode, Secondary namenode, Data node
- Komunikasi / detak jantung
- Integritas data
- Jalur baca / tulis
- Namenode High Availability (HA), Federasi
- labs : Berinteraksi dengan HDFS
Bagian 3 : Peta Mengurangi
- konsep dan arsitektur
- daemon (MRV1) : pelacak pekerjaan / pelacak tugas
- fase : driver, mapper, shuffle/sort, reducer
- Peta Mengurangi Versi 1 dan Versi 2 (YARN)
- Internal dari Map Reduce
- Pengantar program Java Map Reduce
- lab : Menjalankan contoh program MapReduce
Bagian 4 : Babi
- pig vs java peta pengurangan
- alur kerja babi
- babi bahasa latin
- ETL dengan Pig
- Transformasi & Gabungan
- Fungsi yang ditentukan pengguna (UDF)
- lab : menulis skrip Pig untuk menganalisis data
Bagian 5: Hive
- arsitektur dan desain
- tipe data
- SQL dukungan di Hive
- Membuat tabel Hive dan melakukan query
- partisi
- bergabung
- pengolahan teks
- lab : berbagai lab tentang pemrosesan data dengan Hive
Bagian 6: HBase
- Konsep dan arsitektur
- HBase vs RDBMS vs Cassandra
- HBase Java API
- Data seri waktu di HBase
- desain skema
- labs : Berinteraksi dengan HBase menggunakan shell; pemrograman dalam HBase Java API ; latihan desain skema
Requirements
- nyaman dengan bahasa pemrograman Java (sebagian besar latihan pemrograman menggunakan java)
- nyaman di lingkungan Linux (dapat menavigasi baris perintah Linux, mengedit file menggunakan vi / nano)
Lingkungan laboratorium
Nol Instalasi : Tidak diperlukan untuk menginstal perangkat lunak Hadoop di mesin siswa! Sebuah klaster Hadoop yang berfungsi akan disediakan bagi siswa.
Siswa akan membutuhkan hal-hal berikut ini
- sebuah SSH client (Linux dan Mac sudah memiliki ssh clients, untuk Windows Putty dianjurkan)
- sebuah browser untuk mengakses klaster, Firefox dianjurkan
Testimonials (5)
The live examples
Ahmet Bolat - Accenture Industrial SS
Course - Python, Spark, and Hadoop for Big Data
During the exercises, James explained me every step whereever I was getting stuck in more detail. I was completely new to NIFI. He explained the actual purpose of NIFI, even the basics such as open source. He covered every concept of Nifi starting from Beginner Level to Developer Level.
Firdous Hashim Ali - MOD A BLOCK
Course - Apache NiFi for Administrators
Trainer's preparation & organization, and quality of materials provided on github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Course - Impala for Business Intelligence
That I had it in the first place.
Peter Scales - CACI Ltd
Course - Apache NiFi for Developers
practical things of doing, also theory was served good by Ajay