Kursus Pelatihan Model Keputusan Self-Hosting: Pelayan, Kuantisasi, Latensi, dan Operasi

Opsi Deployment

• Kompromi antara API terhosting dan self-hosted
• Pola on-premises, edge, dan air-gapped
• Model tunggal versus portofolio model
• Perbandingan biaya per keputusan

Pengukuran Hardware dan Kapasitas

• Jejak memori berdasarkan jumlah parameter
• Hanya CPU versus akselerasi GPU
• Perencanaan konkurensi dan throughput
• Kesediaan ruang untuk pertumbuhan panjang tugas

Stack Pelayan

• Opsi vLLM dan SGLang
• Esekusi llama.cpp dan GGUF
• Ollama untuk pengembangan lokal
• Memilih berdasarkan bentuk beban kerja keputusan

Kuantisasi Tanpa Kehilangan Kalibrasi

• Format presisi dan penghematan memori
• Mengukur kehilangan kualitas dan kalibrasi
• Varian per-tensor dan yang sadar pentingnya
• Pengujian penerimaan setelah kuantisasi

Rekayasa Latensi

• Latensi median versus ekor
• Pertumbuhan latensi dengan panjang konteks
• Warm start dan caching model
• Batching beberapa pertanyaan keputusan

Lingkungan Edge dan Terbatas

• Model keputusan kecil pada CPU
• Deployment Apple Silicon dan tertanam
• Operasi offline dan strategi pembaruan
• Distribusi bobot air-gapped

Containerisasi dan Skalabilitas

• Desain image untuk pelayan model
• Manajemen volume dan cache
• Skala horizontal dan routing
• Batas sumber daya dan berbagi GPU

Observabilitas

• Metriks permintaan, latensi, dan kesalahan
• Pemantauan distribusi kepercayaan
• Penjejakan hasil keputusan dan eskalasi
• Alerting pada penyimpangan kalibrasi

Versifikasi dan Peluncuran

• Versifikasi model dan adapter
• Deployment bayangan dan canary
• File model yang dikunci untuk audit
• Prosedur rollback

Keamanan dan Multi-Tenancy

• Autentikasi dan pembatasan laju
• Isoiasi tenant untuk prompt dan log
• Isoiasi jaringan dan kontrol egress
• Pencatatan audit keputusan