Terima kasih telah mengirimkan pertanyaan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Terima kasih telah mengirimkan pemesanan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Durasi 14 jam
Kerangka Materi
Kedaulatan AI dan Deploy LLM Lokal
- Risiko LLM cloud: retensi data, pelatihan pada input, yurisdiksi asing.
- Arsitektur Ollama: server model, registri, dan API kompatibel OpenAI.
- Perbandingan dengan vLLM, llama.cpp, dan Text Generation Inference.
- Lisensi model: ketentuan Llama, Mistral, Qwen, dan Gemma.
Instalasi dan Pemasangan Perangkat Keras
- Memasang Ollama di Linux dengan dukungan CUDA dan ROCm.
- Pemulihan ke hanya-CPU dan optimasi AVX/AVX2.
- Deploy Docker dan pemetaan volume persisten.
- Pengaturan multi-GPU dan strategi alokasi VRAM.
Manajemen Model
- Menarik model dari registri Ollama: ollama pull llama3.
- Impor model GGUF dari HuggingFace dan TheBloke.
- Tingkat kuantisasi: tradeoff Q4_K_M, Q5_K_M, Q8_0.
- Penggantian model dan batas muat model konkuren.
Modelfile Kustom
- Menulis sintaks Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Penyetelan temperature, top_p, dan repeat_penalty.
- Rekayasa prompt sistem untuk perilaku spesifik peran.
- Membuat dan menerbitkan model kustom ke registri lokal.
Integrasi API
- Endpoint /v1/chat/completions kompatibel OpenAI.
- Respons streaming dan mode JSON.
- Integrasi dengan LangChain, LlamaIndex, dan aplikasi kustom.
- Autentikasi dan pembatasan laju dengan reverse proxy.
Optimasi Kinerja
- Penetapan ukuran konteks window dan manajemen KV cache.
- Inferensi batch dan penanganan permintaan paralel.
- Alokasi thread CPU dan kesadaran NUMA.
- Memantau utilisasi GPU dan tekanan memori.
Keamanan dan Kepatuhan
- Isolasi jaringan untuk endpoint penyajian model.
- Perpindahan filter input dan pipeline moderasi output.
- Pencatatan audit (audit logging) prompt dan penyelesaian (completions).
- Provenans model dan verifikasi hash.
Persyaratan
- Administrasi Linux dan container tingkat menengah.
- Pemahaman tentang machine learning dan model transformer pada tingkat tinggi.
- Kenalan dengan API REST dan JSON.
Audiens
- Insinyur AI dan pengembang yang mengganti API LLM cloud.
- Organisasi dengan sensitivitas data yang mencegah penggunaan model cloud.
- Tim pemerintah dan pertahanan yang membutuhkan model bahasa yang terisolasi (air-gapped).
