Course Outline

Konsep dan Metrik Kinerja

  • Lantai, throughput, penggunaan daya, utilitas sumber daya
  • Tambatan pada tingkat sistem vs model
  • Profil untuk inferensi vs pelatihan

Profiling di Huawei Ascend

  • Menggunakan CANN Profiler dan MindInsight
  • Diganosa kernel dan operator
  • Pola offload dan pemetaan memori

Profil di Biren GPU

  • Cara mengecek kinerja Biren SDK
  • Fusi kernel, penyelarasan memori, dan antrian eksekusi
  • Profil yang memperhatikan daya dan suhu

Profiling di Cambricon MLU

  • Alat kinerja BANGPy dan Neuware
  • Keterlihatan tingkat kernel dan interpretasi log
  • Integrasi profilir MLU dengan kerangka penerapan

Optimisasi Tingkat Grafik dan Model

  • Stra tegi pemotongan grafik dan kuantifikasi
  • Fusi operator dan restrukturisasi grafik komputasi
  • Standarisasi ukuran input dan penyetelan batch

Optimisasi Memori dan Kernel

  • Mengoptimalkan susunan memori dan penggunaan kembali
  • Pengelolaan buffer yang efisien di antara chipset
  • Teknik penyetelan tingkat kernel per platform

Praktik Terbaik lintas Platform

  • Portabilitas performa: strategi abstraksi
  • Membangun pipa penyetelan bersama untuk lingkungan multipel chipset
  • Contoh: menyesuaikan model deteksi objek di antara Ascend, Biren, dan MLU

Ringkasan dan Langkah Berikutnya

Requirements

  • Pengalaman bekerja dengan pipa AI model training atau deployment
  • Pemahaman tentang prinsip komputasi GPU/MLU dan optimisasi model
  • Ketahui dasar-dasar alat profil kinerja dan metriknya

Audience

  • Engineer performa
  • Tim infrastruktur machine learning
  • Architect sistem AI
 21 Hours

Number of participants


Price per participant

Upcoming Courses (Minimal 5 peserta)

Related Categories