Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
Perkenalan
- Tinjauan umum tantangan penskalaan pembelajaran mendalam
- Ikhtisar DeepSpeed dan fitur-fiturnya
- DeepSpeed vs. pustaka pembelajaran mendalam terdistribusi lainnya
Memulai
- Menyiapkan lingkungan pengembangan
- Menginstal PyTorch dan DeepSpeed
- Mengonfigurasi DeepSpeed untuk pelatihan terdistribusi
Fitur Optimasi DeepSpeed
- Alur pelatihan DeepSpeed
- ZeRO (optimasi memori)
- Titik pemeriksaan aktivasi
- Titik pemeriksaan gradien
- Paralelisme pipa
Skala Model dengan DeepSpeed
- Penskalaan dasar menggunakan DeepSpeed
- Teknik penskalaan tingkat lanjut
- Pertimbangan kinerja dan praktik terbaik
- Teknik debugging dan pemecahan masalah
Topik DeepSpeed Lanjutan
- Teknik optimasi lanjutan
- Menggunakan DeepSpeed dengan pelatihan presisi campuran
- DeepSpeed pada perangkat keras yang berbeda (misalnya GPU, TPU)
- DeepSpeed dengan beberapa node pelatihan
Mengintegrasikan DeepSpeed dengan PyTorch
- Mengintegrasikan DeepSpeed dengan alur kerja PyTorch
- Menggunakan DeepSpeed dengan PyTorch Lightning
Penyelesaian Masalah
- Men-debug masalah umum DeepSpeed
- Pemantauan dan pencatatan
Ringkasan dan Langkah Berikutnya
- Rekap konsep dan fitur utama
- Praktik terbaik untuk menggunakan DeepSpeed dalam produksi
- Sumber daya lebih lanjut untuk mempelajari lebih lanjut tentang DeepSpeed
Requirements
- Pengetahuan menengah tentang prinsip-prinsip pembelajaran mendalam
- Pengalaman dengan PyTorch atau framework deep learning serupa
- Keakraban dengan pemrograman Python
Hadirin
- Ilmuwan data
- Insinyur pembelajaran mesin
- Pengembang
21 Hours
Testimonials (2)
Organization, adhering to the proposed agenda, the trainer's vast knowledge in this subject
Ali Kattan - TWPI
Course - Natural Language Processing with TensorFlow
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.