Terima kasih telah mengirimkan pertanyaan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Terima kasih telah mengirimkan pemesanan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Kerangka Materi
Konsep dan Metrik Kinerja
- Latensi, throughput, penggunaan daya, pemanfaatan sumber daya
- Hambatan tingkat sistem vs tingkat model
- Profiling untuk inferensi vs pelatihan
Profiling di Huawei Ascend
- Menggunakan CANN Profiler dan MindInsight
- Diagnosa kernel dan operator
- Polongan offload dan pemetaan memori
Profiling di Biren GPU
- Fitur pemantauan kinerja Biren SDK
- Fusi kernel, penyetelan memori, dan antrean eksekusi
- Profiling yang memperhitungkan daya dan suhu
Profiling di Cambricon MLU
- Alat kinerja BANGPy dan Neuware
- Keterlihatan tingkat kernel dan interpretasi log
- Integrasi profiler MLU dengan framework deployment
Optimasi Tingkat Graph dan Model
- Strategi pemangkasan (pruning) dan kuantisasi graph
- Fusi operator dan restrukturisasi graph komputasi
- Standarisasi ukuran input dan penyetelan batch
Optimasi Memori dan Kernel
- Optimasi tata letak dan penggunaan ulang memori
- Manajemen buffer yang efisien di berbagai chipset
- Teknik penyetelan tingkat kernel per platform
Praktik Terbaik Lintasan Platform
- Portabilitas kinerja: strategi abstraksi
- Membangun pipeline penyetelan bersama untuk lingkungan multi-chip
- Contoh: penyetelan model deteksi objek di Ascend, Biren, dan MLU
Ringkasan dan Langkah Selanjutnya
Persyaratan
- Pengalaman bekerja dengan pipeline pelatihan atau deployment model AI
- Pemahaman prinsip komputasi GPU/MLU dan optimasi model
- Kecakapan dasar dengan alat dan metrik profiling kinerja
Audiens
- Insinyur kinerja
- Tim infrastruktur pembelajaran mesin (machine learning)
- Arsitek sistem AI
21 Jam
