Kerangka Materi
Menyiapkan Model Machine Learning untuk Penerapan
- Pengemasan model dengan Docker
- Ekspor model dari TensorFlow dan PyTorch
- Pertimbangan versioning dan penyimpanan
Penyajian Model di Kubernetes
- Ringkasan server inferensi
- Penerapan TensorFlow Serving dan TorchServe
- Penyiapan endpoint model
Teknik Optimasi Inferensi
- Strategi pengelompokan (batching)
- Pemrosesan permintaan bersamaan
- Penyetelan latensi dan throughput
Autoscaling Beban Kerja ML
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Pem provisioning GPU dan Manajemen Sumber Daya
- Konfigurasi node GPU
- Ringkasan plugin perangkat NVIDIA
- Permintaan dan batas sumber daya untuk beban kerja ML
Strategi Peluncuran dan Rilis Model
- Penerapan blue/green
- Pola peluncuran canary
- Pengujian A/B untuk evaluasi model
Pemantauan dan Observabilitas ML di Produksi
- Metriks untuk beban kerja inferensi
- Praktik logging dan tracing
- Dasbor dan peringatan
Pertimbangan Keamanan dan Keandalan
- Keamanan endpoint model
- Kebijakan jaringan dan kontrol akses
- Pastikan ketersediaan tinggi (high availability)
Ringkasan dan Langkah Selanjutnya
Persyaratan
- Pemahaman tentang alur kerja aplikasi yang dikontainerkan
- Pengalaman dengan model machine learning berbasis Python
- Pengetahuan tentang dasar-dasar Kubernetes
Audiens
- Insinyur ML
- Insinyur DevOps
- Tim teknik platform
Testimoni (4)
pemahaman dasar tentang container/Kubernetes dan cara mereka berinteraksi fitur-fitur platform OpenShift
Eric Scholze - NOW IT GmbH
Kursus - Introduction to Containers, Kubernetes & OpenShift
Diterjemahkan Mesin
Tentang mikroservis dan cara merawat Kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Kursus - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Diterjemahkan Mesin
Bagaimana instruktur menyampaikan pengetahuan dengan efektif
Vu Thoai Le - Reply Polska sp. z o. o.
Kursus - Certified Kubernetes Administrator (CKA) - exam preparation
Diterjemahkan Mesin
Pengetahuan dan pertukaran dengan Augustin
Laurent - L'Office national des vacances annuelles (ONVA)
Kursus - Docker and Kubernetes
Diterjemahkan Mesin