Hubungi Kami

Kerangka Materi

Pengenalan EXO dan Klaster AI Lokal

  • Ringkasan kerangka kerja EXO dan ekosistem exo-explore
  • Membandingkan inferensi cloud terpusat vs inferensi lokal terdistribusi
  • Arsitektur: penemuan perangkat libp2p, backend MLX, dasbor, dan lapisan API
  • Persyaratan perangkat keras: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, penyimpanan bersama

Menginstal EXO di macOS

  • Menyiapkan Xcode, Metal ToolChain, dan prasyarat macOS
  • Menginstal uv, Node.js, dan toolchain Rust nightly
  • Menginstal fork macmon yang disematkan untuk pemantauan Apple Silicon
  • Mengkloning repositori dan membangun dasbor dengan npm
  • Menjalankan EXO dari sumber dan memverifikasi dasbor localhost:52415

Menginstal EXO di Linux

  • Menginstal dependensi melalui apt atau Homebrew di Linux
  • Mengonfigurasi uv, Node.js 18+, dan Rust nightly
  • Membangun dasbor dan menjalankan EXO dalam mode CPU-only
  • Tata letak direktori: path XDG Base Directory untuk konfigurasi, data, cache, dan log

Penemuan Perangkat Otomatis dan Pembentukan Klaster

  • Memahami auto-discovery berbasis libp2p di seluruh jaringan lokal
  • Mengonfigurasi namespace kustom dengan EXO_LIBP2P_NAMESPACE untuk isolasi klaster
  • Memverifikasi keanggotaan node di tampilan klaster dasbor
  • Menangani kegagalan penemuan dan masalah segmentasi jaringan

Mengaktifkan RDMA over Thunderbolt 5

  • Arsitektur RDMA dan klaim pengurangan latensi sebesar 99 persen
  • Mengaktifkan RDMA di mode Recovery macOS dengan rdma_ctl
  • Persyaratan kabel dan batasan topologi port pada Mac Studio
  • Menyamakan versi macOS di seluruh node klaster
  • Pemecahan masalah penemuan RDMA dan konfigurasi DHCP

Melakukan Deploy Model Frontier

  • Menggunakan dasbor untuk memuat dan membagi model DeepSeek v3.1, Qwen3-235B, dan keluarga Llama
  • Pratinjau penempatan instance dengan endpoint API /instance/previews
  • Membuat instance model dengan pembagian pipeline atau tensor-parallel
  • Mengonfigurasi kartu model kustom dari HuggingFace hub

Pemantauan dan Pemecahan Masalah

  • Membaca log EXO dan memahami penelusuran terdistribusi
  • Menginterpretasikan kesehatan klaster di tampilan klaster dasbor
  • Mendiagnosis kegagalan node pekerja dan perilaku koneksi ulang
  • Menggunakan EXO_TRACING_ENABLED untuk analisis hambatan kinerja

Pemeliharaan dan Pembaruan Klaster

  • Memperbarui biner EXO dan prosedur pembangunan ulang dasbor
  • Memigrasi cache model dan mengelola model yang diunduh sebelumnya melalui NFS
  • Menghapus node dengan hati-hati dan menyeimbangkan ulang beban kerja

Persyaratan

  • Pemahaman tentang dasar-dasar jaringan (IP, subnetting, firewall)
  • Pengalaman dengan administrasi baris perintah macOS atau Linux
  • Kenyamanan dengan manajemen paket Python (pip/uv) dan tooling Node.js

Audience

  • Administrator sistem
  • Insinyur DevOps
  • Arsitek infrastruktur AI yang bertanggung jawab atas deploy LLM on-premise
 21 Jam

Jumlah Peserta


Harga per Peserta

Kursus Mendatang

Kategori Terkait