Kerangka Materi
Bagian 1: Pengenalan ke Hadoop
- Riwayat, konsep Hadoop
- ekosistem
- distribusi
- arsitektur tingkat tinggi
- mitos Hadoop
- tantangan Hadoop
- perang keras / lunak
- praktikum : pandangan pertama tentang Hadoop
Bagian 2: HDFS
- Desain dan arsitektur
- konsep (skalabilitas horizontal, replikasi, lokalisasi data, kesadaran rak)
- Daemons : Namenode, Secondary namenode, Data node
- Komunikasi / detak jantung
- integritas data
- jalan baca / tulis
- Namenode High Availability (HA), Federasi
- praktikum : Berinteraksi dengan HDFS
Bagian 3: Map Reduce
- Konsep dan arsitektur
- Daemons (MRV1) : jobtracker / tasktracker
- Fase : pengemudi, mapper, shuffle/sort, reducer
- Map Reduce Versi 1 dan Versi 2 (YARN)
- Internals of Map Reduce
- Pengenalan ke program Java Map Reduce
- praktikum : Menjalankan program MapReduce contoh
Bagian 4: Pig
- pig vs java map reduce
- alur pekerjaan pig
- bahasa pig latin
- ETL dengan Pig
- Transformasi & Join
- Fungsi yang Didefinisikan Pengguna (UDF)
- praktikum : menulis skrip Pig untuk menganalisis data
Bagian 5: Hive
- arsitektur dan desain
- tipe data
- Dukungan SQL di Hive
- Membuat tabel Hive dan kueri
- partisi
- join
- pemrosesan teks
- praktikum : berbagai praktikum tentang pemrosesan data dengan Hive
Bagian 6: HBase
- Konsep dan arsitektur
- HBase vs RDBMS vs Cassandra
- API Java HBase
- Data series waktu di HBase
- desain skema
- praktikum : Berinteraksi dengan HBase menggunakan shell; pemrograman dalam API Java HBase; latihan desain skema
Persyaratan
- nyaman dengan bahasa pemrograman Java (sebagian besar latihan pemrograman berada dalam Java)
- nyaman di lingkungan Linux (dapat menavigasi perintah baris perintah Linux, mengedit file menggunakan vi / nano)
Lingkungan Laboratorium
Zero Install : Tidak perlu memasang perangkat lunak Hadoop di mesin siswa! Sebuah klaster Hadoop yang berfungsi akan disediakan untuk siswa.
Siswa akan memerlukan hal-hal berikut
- klien SSH (Linux dan Mac sudah memiliki klien ssh, untuk Windows Putty direkomendasikan)
- peramban untuk mengakses klaster, Firefox direkomendasikan
Testimoni (5)
Contoh-contoh langsung
Ahmet Bolat - Accenture Industrial SS
Kursus - Python, Spark, and Hadoop for Big Data
Diterjemahkan Mesin
Selama latihan, James menjelaskan kepada saya setiap langkah dengan lebih detail kapan pun saya tersendat. Saya benar-benar baru mengenal NIFI. Dia menjelaskan tujuan sebenarnya dari NIFI, bahkan dasar-dasar seperti open source. Dia menutupi setiap konsep Nifi mulai dari Tingkat Pemula hingga Tingkat Pengembang.
Firdous Hashim Ali - MOD A BLOCK
Kursus - Apache NiFi for Administrators
Diterjemahkan Mesin
Bahwa saya memiliki itu sejak awal.
Peter Scales - CACI Ltd
Kursus - Apache NiFi for Developers
Diterjemahkan Mesin
hal-hal praktis yang dilakukan, serta teori juga disampaikan dengan baik oleh Ajay
Dominik Mazur - Capgemini Polska Sp. z o.o.
Kursus - Hadoop Administration on MapR
Diterjemahkan Mesin
VM yang saya sukai sangat Instruktur sangat berpengetahuan tentang topik tersebut serta topik lainnya, dia sangat baik dan ramah Saya suka fasilitas di Dubai.
Safar Alqahtani - Elm Information Security
Kursus - Big Data Analytics in Health
Diterjemahkan Mesin