Hubungi Kami

Kerangka Materi

Pengantar Penskalaan Ollama

  • Arsitektur Ollama serta aspek-aspek yang perlu dipertimbangkan saat penskalaan
  • Hambatan umum dalam lingkungan dengan banyak pengguna sekaligus
  • Praktik terbaik guna menyiapkan infrastruktur secara tepat

Alokasi Sumber Daya dan Optimisasi GPU

  • Strategi penggunaan CPU/GPU dengan efisiensi tinggi
  • Pertimbangan memori serta bandwidth jaringan
  • Batas-batas sumber daya pada tingkat kontainer

Penerapan dengan Kontainer dan Kubernetes

  • Membuat kontainer Ollama menggunakan Docker
  • Mengoperasikan Ollama dalam kluster Kubernetes
  • Penyeimbang beban serta mekanisme identifikasi layanan

Autoscaling dan Teknik Pemrosesan Batch

  • Merancang kebijakan autoscaling untuk Ollama
  • Pendekatan pemrosesan batch guna meningkatkan kapasitas sistem
  • Keseimbangan antara latensi dan volume permintaan yang diproses

Optimisasi Latensi

  • Menganalisis kinerja proses inferensi
  • Teknik caching serta persiapan model sebelum digunakan
  • Cara mengurangi kelebihan operasi I/O dan komunikasi data

Pemantauan dan Visibilitas Sistem

  • Integrasi Prometheus sebagai alat pengukuran performa
  • Membuat panel visual menggunakan Grafana
  • Pengaturan sistem peringatan dan penanganan insiden pada infrastruktur Ollama

Manajemen Biaya serta Strategi Penskalaan Berkelanjutan

  • Pendistribusian GPU dengan mempertimbangkan faktor biaya
  • Pertimbangan memilih antara penyebaran di cloud atau on-premise
  • Metode pengembangan skala pelayanan yang ramah lingkungan dan hemat biaya

Penutup dan Langkah Selanjutnya

Persyaratan

  • Pengalaman dalam administrasi sistem Linux
  • Pemahaman mengenai konsep kontainerisasi dan orchestration
  • Pengetahuan dasar tentang penyebaran model pembelajaran mesin

Target Peserta

  • Insinyur DevOps
  • Tim infrastruktur pembelajaran mesin
  • Insinyur keandalan sistem
 21 Jam

Jumlah Peserta


Harga per Peserta

Kursus Mendatang

Kategori Terkait