Kerangka Materi
Persiapan Model Pembelajaran Mesin untuk Penyebaran
- Pengemasan model dengan Docker
- Ekspor model dari TensorFlow dan PyTorch
- Pertimbangan versi dan penyimpanan
Pelayanan Model di Kubernetes
- Gambaran umum server inferensi
- Penyebaran TensorFlow Serving dan TorchServe
- Pengaturan endpoint model
Teknik Optimasi Inferensi
- Strategi pembuatan batch
- Penanganan permintaan berbasis paralel
- Penyetelan laten dan throughput
Autoscaling Beban Kerja ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Penyediaan dan Pengelolaan Sumber Daya GPU
- Konfigurasi node GPU
- Gambaran umum plugin perangkat NVIDIA
- Permintaan dan batas sumber daya untuk beban kerja ML
Strategi Rollout dan Rilis Model
- Penyebaran blue/green
- Pola rollout canary
- Pengujian A/B untuk evaluasi model
Pemantauan dan Observabilitas ML dalam Produksi
- Metrik untuk beban kerja inferensi
- Praktik logging dan tracing
- Dasbor dan peringatan
Pertimbangan Keamanan dan Ketersediaan Tinggi
- Menjamin keamanan endpoint model
- Kebijakan jaringan dan kontrol akses
- Memastikan ketersediaan tinggi
Ringkasan dan Langkah Selanjutnya
Persyaratan
- Pemahaman tentang alur kerja aplikasi kontainerisasi
- Pengalaman dengan model pembelajaran mesin berbasis Python
- Kenalan dengan dasar-dasar Kubernetes
Audience
- Insinyur ML
- Insinyur DevOps
- Tim insinyering platform
Testimoni (5)
Interaktivitas, tidak hanya membaca slide sepanjang hari
Emilien Bavay - IRIS SA
Kursus - Kubernetes Advanced
Diterjemahkan Mesin
dia sabar dan memahami bahwa kami tertinggal
Albertina - REGNOLOGY ROMANIA S.R.L.
Kursus - Deploying Kubernetes Applications with Helm
Diterjemahkan Mesin
Pelatihan tersebut lebih praktis
Siphokazi Biyana - Vodacom SA
Kursus - Kubernetes on AWS
Diterjemahkan Mesin
Belajar tentang Kubernetes.
Felix Bautista - SGS GULF LIMITED ROHQ
Kursus - Kubernetes on Azure (AKS)
Diterjemahkan Mesin
Ini memberikan dasar yang baik untuk Docker dan Kubernetes.
Stephen Dowdeswell - Global Knowledge Networks UK
Kursus - Docker (introducing Kubernetes)
Diterjemahkan Mesin