Kerangka Materi
Perkenalan
- Tinjauan umum tantangan penskalaan pembelajaran mendalam
- Ikhtisar DeepSpeed dan fitur-fiturnya
- DeepSpeed vs. pustaka pembelajaran mendalam terdistribusi lainnya
Memulai
- Menyiapkan lingkungan pengembangan
- Menginstal PyTorch dan DeepSpeed
- Mengonfigurasi DeepSpeed untuk pelatihan terdistribusi
Fitur Optimasi DeepSpeed
- Alur pelatihan DeepSpeed
- ZeRO (optimasi memori)
- Titik pemeriksaan aktivasi
- Titik pemeriksaan gradien
- Paralelisme pipa
Skala Model dengan DeepSpeed
- Penskalaan dasar menggunakan DeepSpeed
- Teknik penskalaan tingkat lanjut
- Pertimbangan kinerja dan praktik terbaik
- Teknik debugging dan pemecahan masalah
Topik DeepSpeed Lanjutan
- Teknik optimasi lanjutan
- Menggunakan DeepSpeed dengan pelatihan presisi campuran
- DeepSpeed pada perangkat keras yang berbeda (misalnya GPU, TPU)
- DeepSpeed dengan beberapa node pelatihan
Mengintegrasikan DeepSpeed dengan PyTorch
- Mengintegrasikan DeepSpeed dengan alur kerja PyTorch
- Menggunakan DeepSpeed dengan PyTorch Lightning
Penyelesaian Masalah
- Men-debug masalah umum DeepSpeed
- Pemantauan dan pencatatan
Ringkasan dan Langkah Berikutnya
- Rekap konsep dan fitur utama
- Praktik terbaik untuk menggunakan DeepSpeed dalam produksi
- Sumber daya lebih lanjut untuk mempelajari lebih lanjut tentang DeepSpeed
Persyaratan
- Pengetahuan menengah tentang prinsip-prinsip pembelajaran mendalam
- Pengalaman dengan PyTorch atau framework deep learning serupa
- Keakraban dengan pemrograman Python
Hadirin
- Ilmuwan data
- Insinyur pembelajaran mesin
- Pengembang
Testimoni (3)
Saya sangat menyukai bagian akhir di mana kita menghabiskan waktu untuk bermain dengan CHAT GPT. Ruangan tidak disiapkan dengan baik untuk ini—sebaiknya menggunakan beberapa meja kecil agar kita bisa berkumpul dalam kelompok-kelompok kecil dan melakukan brainstorming, daripada satu meja besar.
Nola - Laramie County Community College
Kursus - Artificial Intelligence (AI) Overview
Diterjemahkan Mesin
Bekerja berdasarkan prinsip-prinsip dasar secara fokus, dan beralih ke penerapan studi kasus pada hari yang sama
Maggie Webb - Department of Jobs, Regions, and Precincts
Kursus - Artificial Neural Networks, Machine Learning, Deep Thinking
Diterjemahkan Mesin
Saya merasa kami melalui informasi yang sangat relevan dengan kecepatan yang baik (misalnya, tidak ada bahan pengisi).
Maggie Webb - Department of Jobs, Regions, and Precincts
Kursus - Introduction to the use of neural networks
Diterjemahkan Mesin