Hubungi Kami

Kerangka Materi

Konsep dan Metrik Performa

  • Latensi, throughput, konsumsi daya, serta pemanfaatan sumber daya
  • Hambatan pada tingkat sistem vs model
  • Analisis performa untuk proses inferensi maupun pelatihan

Analisis Performa pada Huawei Ascend

  • Pemanfaatan CANN Profiler serta MindInsight.
  • Diagnostik kernel dan operator.
  • Teknik offload dan pemetaan memori.

Analisis Performa pada GPU Biren

  • Fungsi pemantauan performa dalam SDK Biren.
  • Optimisasi melalui penggabungan kernel, penyelarasan memori, serta manajemen antrian eksekusi.
  • Pemantauan konsumsi daya dan suhu yang terkait dengan beban kerja.

Analisis Performa pada Cambricon MLU

  • Alat analisis performa BANGPy serta Neuware.
  • Pemantauan aktifitas pada tingkat kernel dan penafsiran log sistem.
  • Integrasi profiler MLU dengan kerangka kerja implementasi model.

Strategi Optimisasi Tingkat Grafik dan Model

  • Teknik pruning grafik serta pendekatan kuantisasi data.
  • Penggabungan operator serta penyusunan ulang struktur komputasi secara efektif.
  • Penetapan ukuran input standar dan penyelarasan batch proses.

Optimisasi Memori dan Kernel

  • Pengaturan tata letak memori yang lebih efisien serta optimalisasi penggunaannya kembali.
  • Manajemen buffer secara dinamis di berbagai chipset.
  • Teknik tuning kernel khas untuk tiap platform.

Praktik Terbaik Antar Platform

  • Portabilitas performa: strategi abstraksi antar-platform.
  • Pembuatan alur tuning standar yang dapat digunakan di lingkungan multi-chip.
  • Contoh konkret: Menyesuaikan model deteksi objek agar mampu berjalan baik di Ascend, Biren, maupun MLU.

Penutup dan Langkah Selanjutnya

Persyaratan

  • Pengalaman menangani proses pelatihan atau implementasi model AI
  • Pemahaman mengenai prinsip komputasi GPU/MLU serta strategi optimisasi model
  • Familiaritas dasar terhadap alat dan metrik pengukuran performa

Target Peserta

  • Insinyur optimisasi performa
  • Tim infrastruktur machine learning
  • Arsitek sistem AI
 21 Jam

Jumlah Peserta


Harga per Peserta

Kursus Mendatang

Kategori Terkait