Kerangka Materi
Persiapan Model Pembelajaran Mesin untuk Penyebaran
- Pengemasan model dengan Docker
- Ekspor model dari TensorFlow dan PyTorch
- Pertimbangan versi dan penyimpanan
Pelayanan Model di Kubernetes
- Gambaran umum server inferensi
- Penyebaran TensorFlow Serving dan TorchServe
- Pengaturan endpoint model
Teknik Optimasi Inferensi
- Strategi pembuatan batch
- Penanganan permintaan berbasis paralel
- Penyetelan laten dan throughput
Autoscaling Beban Kerja ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Penyediaan dan Pengelolaan Sumber Daya GPU
- Konfigurasi node GPU
- Gambaran umum plugin perangkat NVIDIA
- Permintaan dan batas sumber daya untuk beban kerja ML
Strategi Rollout dan Rilis Model
- Penyebaran blue/green
- Pola rollout canary
- Pengujian A/B untuk evaluasi model
Pemantauan dan Observabilitas ML dalam Produksi
- Metrik untuk beban kerja inferensi
- Praktik logging dan tracing
- Dasbor dan peringatan
Pertimbangan Keamanan dan Ketersediaan Tinggi
- Menjamin keamanan endpoint model
- Kebijakan jaringan dan kontrol akses
- Memastikan ketersediaan tinggi
Ringkasan dan Langkah Selanjutnya
Persyaratan
- Pemahaman tentang alur kerja aplikasi kontainerisasi
- Pengalaman dengan model pembelajaran mesin berbasis Python
- Kenalan dengan dasar-dasar Kubernetes
Audience
- Insinyur ML
- Insinyur DevOps
- Tim insinyering platform
Testimoni (3)
Tentang mikroservis dan cara merawat Kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Kursus - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Diterjemahkan Mesin
Bagaimana instruktur menyampaikan pengetahuan dengan efektif
Vu Thoai Le - Reply Polska sp. z o. o.
Kursus - Certified Kubernetes Administrator (CKA) - exam preparation
Diterjemahkan Mesin
Pengetahuan dan kesabaran dari instruktur untuk menjawab pertanyaan kami.
Calin Avram - REGNOLOGY ROMANIA S.R.L.
Kursus - Deploying Kubernetes Applications with Helm
Diterjemahkan Mesin