Kerangka Materi

Pendahuluan Mistral pada Skala Besar

  • Pengenalan Mistral Medium 3
  • Perbandingan performa vs. biaya
  • Perhitungan untuk skala enterprise

Polanya Pelaksanaan LLM

  • Topologi pelayanan dan pilihan desain
  • Pelaksanaan on-premises vs. cloud
  • Strategi hybrid dan multi-cloud

Teknik Optimisasi Inference

  • Strategi batching untuk throughput tinggi
  • Metode kuantisasi untuk pengurangan biaya
  • Pemakaian accelerator dan GPU

Skalabilitas dan Keandalan

  • Menskala cluster Kubernetes untuk inference
  • Pengaturan beban dan routing lalu lintas
  • Ketahanan kesalahan dan redundansi

Kerangka Kerja Cost Engineering

  • Mengukur efisiensi biaya inference
  • Memilih ukuran komputasi dan sumber daya memori
  • Monitoring dan peringatan untuk optimisasi

Keamanan dan Komplian di Produksi

  • Mengamankan pelaksanaan dan APIs
  • Perhitungan pengelolaan data
  • Peraturan dalam cost engineering

Kasus Studi dan Prinsip Terbaik

  • Arsitektur referensi untuk Mistral pada skala besar
  • Pendapat dari pelaksanaan enterprise
  • Tren masa depan dalam inference LLM yang efisien

Ringkasan dan Langkah Selanjutnya

Persyaratan

  • Pemahaman yang kuat tentang pelaksanaan model pembelajaran mesin
  • Pengalaman dengan infrastruktur cloud dan sistem terdistribusi
  • Kenalan dengan strategi penunjangan kinerja dan optimasi biaya

Audience

  • Insinyur infrastruktur
  • Arsitek cloud
  • Kepala MLOps
 14 Jam

Jumlah Peserta


Biaya per Peserta

Kursus Mendatang

Kategori Terkait