Kerangka Materi

1: HDFS (17%)

  • Deskripsikan fungsi dari Daemon HDFS
  • Deskripsikan operasi normal dari sebuah klaster Apache Hadoop, baik dalam penyimpanan data maupun pengolahan data.
  • Identifikasi fitur-fitur saat ini dari sistem komputasi yang memotivasi sebuah sistem seperti Apache Hadoop.
  • Kelasifikasikan tujuan utama dalam desain HDFS
  • Diberikan skenario, identifikasi penggunaan kasus yang tepat untuk Federasi HDFS
  • Identifikasi komponen dan daemon dari klaster HDFS HA-Quorum
  • Analisis peran keamanan HDFS (Kerberos)
  • Tentukan pilihan serialisasi data terbaik untuk skenario tertentu
  • Deskripsikan jalur pembacaan dan penulisan file
  • Identifikasi perintah untuk memanipulasi file di Shell Sistem File Hadoop

2: YARN dan MapReduce versi 2 (MRv2) (17%)

  • Mengerti bagaimana pembaruan klaster dari Hadoop 1 ke Hadoop 2 mempengaruhi pengaturan klaster
  • Mengerti cara mendeploy MapReduce v2 (MRv2 / YARN), termasuk semua daemon YARN
  • Mengerti strategi desain dasar untuk MapReduce versi 2 (MRv2)
  • Tentukan bagaimana YARN mengelola alokasi sumber daya
  • Identifikasi alur kerja pekerjaan MapReduce yang berjalan di YARN
  • Tentukan file apa yang harus diubah dan bagaimana caranya untuk memigrasikan klaster dari versi 1 (MRv1) ke versi 2 (MRv2) yang berjalan di YARN.

3: Perencanaan Klaster Hadoop (16%)

  • Titik utama yang perlu dipertimbangkan dalam memilih hardware dan sistem operasi untuk menjalankan klaster Apache Hadoop.
  • Analisis pilihan dalam memilih OS
  • Mengerti penyetelan kernel dan pertukaran disk
  • Diberikan skenario dan pola beban kerja, identifikasi konfigurasi hardware yang sesuai dengan skenario tersebut
  • Diberikan skenario, tentukan komponen ekosistem apa saja yang diperlukan oleh klaster untuk menjalankan SLA.
  • Penentuan ukuran klaster: Diberikan skenario dan frekuensi eksekusi, identifikasi spesifik dari beban kerja tersebut termasuk CPU, memori, penyimpanan, I/O disk
  • Penentuan Ukuran Disk dan Konfigurasi, termasuk JBOD versus RAID, SANs, virtualisasi, dan kebutuhan ukuran disk dalam klaster
  • Topologi Jaringan: mengerti penggunaan jaringan di Hadoop (untuk HDFS dan MapReduce) dan menetapkan atau mengidentifikasi komponen desain jaringan kunci untuk skenario tertentu

4: Instalasi dan Administrasi Klaster Hadoop (25%)

  • Diberikan skenario, identifikasi bagaimana klaster akan menangani kegagalan disk dan mesin
  • Analisis konfigurasi logging dan format file konfigurasi logging
  • Mengerti dasar-dasar metrik Hadoop dan pemantauan kesehatan klaster
  • Identifikasi fungsi dan tujuan dari alat yang tersedia untuk memantau klaster
  • Dapat menginstal semua komponen ekosistem dalam CDH 5, termasuk (tetapi tidak terbatas pada): Impala, Flume, Oozie, Hue, Manager, Sqoop, Hive, dan Pig
  • Identifikasi fungsi dan tujuan dari alat yang tersedia untuk mengelola sistem file Apache Hadoop

5: Sumber Daya Management (10%)

  • Mengerti tujuan desain umum dari setiap jadwal Hadoop
  • Diberikan skenario, tentukan bagaimana Jadwal FIFO mengalokasikan sumber daya klaster
  • Diberikan skenario, tentukan bagaimana Jadwal Fair mengalokasikan sumber daya klaster di YARN
  • Diberikan skenario, tentukan bagaimana Jadwal Kapasitas mengalokasikan sumber daya klaster

6: Pemantauan dan Logging (15%)

  • Mengerti fungsi dan fitur dari kemampuan pengumpulan metrik Hadoop
  • Analisis Web UI NameNode dan JobTracker
  • Mengerti bagaimana memantau daemon klaster
  • Identifikasi dan pantau penggunaan CPU di node master
  • Deskripsikan bagaimana memantau tukar dan alokasi memori pada semua node
  • Identifikasi bagaimana melihat dan mengelola file log Hadoop
  • Interpretasikan file log

Persyaratan

  • Keterampilan administrasi dasar Linux
  • Keterampilan pemrograman dasar
 35 Jam

Jumlah Peserta


Biaya per Peserta

Testimoni (3)

Kursus Mendatang

Kategori Terkait