Kursus Pelatihan EXO: Proses Penyebaran Klaster AI Lokal End-to-End

Pendahuluan Mengenai EXO serta Klaster AI Lokal

• Gambaran umum mengenai kerangka kerja EXO beserta ekosistem exo-explore yang terkait.
• Perbandingan antara proses inferensi yang dilakukan secara terpusat di awan dan penyebaran lokal yang terdistribusi.
• Struktur arsitekturnya: mekanisme pendeteksian perangkat menggunakan libp2p, backend MLX, serta komponen dasbor maupun antarmuka API.
• Persyaratan perangkat keras: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, serta media penyimpanan bersama.

Menginstal EXO pada macOS

• Penyiapan Xcode, Metal ToolChain, serta prasyarat lainnya di sistem operasi macOS.
• Pemasangan alat uv, Node.js, dan toolchain Rust versi terbaru.
• Menginstal forking macmon yang sudah dimodifikasi untuk pemantauan kondisi Apple Silicon secara akurat.
• Kloning repositori serta pembangunan dasbor menggunakan perintah npm.
• Menjalankan EXO dari kode sumber dan memverifikasi operasionalitasnya lewat alamat localhost:52415.

Menginstal EXO pada Linux

• Pemasangan komponen pendukung dengan apt atau Homebrew.
• Konfigurasi uv, Node.js versi 18+, dan Rust nightly secara terpisah.
• Penyusunan elemen dasbor serta eksekusi EXO dalam modus CPU saja.
• Struktur direktori: penggunaan path XDG Base Directory untuk menyimpan konfigurasi, data, cache, dan log operasional.

Pendeteksian Perangkat Otomatis serta Pembentukan Klaster

• Mekanisme pendeteksian otomatis antar perangkat dalam jaringan lokal yang diatur melalui libp2p.
• Penentuan namespace khusus dengan variabel EXO_LIBP2P_NAMESPACE demi mengisolasi klaster masing-masing pengguna.
• Pemastian keberadaan setiap node dalam tampilan dasbor klaster tersebut.
• Cara menangani kondisi gagalnya proses pendeteksian dan permasalahan segmentasi jaringan.

Aktivasi Fitur RDMA Lewat Thunderbolt 5

• Uraian mengenai arsitektur RDMA serta klaim pengurangan latensi hingga 99 persen.
• Pengaktifan fitur RDMA dalam mode pemulihan macOS melalui perintah rdma_ctl.
• Kebutuhan kabel dan batasan penataan port pada Mac Studio yang harus dipenuhi.
• Penerapan versi sama dari sistem operasi macOS di seluruh node klaster.
• Cara mengatasi kesulitan dalam proses deteksi RDMA maupun pengaturan DHCP secara akurat.

Penyebaran Model Canggih ke Dalam Klaster

• Pemanfaatan elemen antarmuka dasbor guna memuat serta mengalokasikan model DeepSeek v3.1, Qwen3-235B, dan varian Llama secara merata di berbagai node.
• Proses visualisasi lokasi penyimpanan masing-masing instansi lewat endpoint API /instance/previews.
• Pembuatan instansi model baru menggunakan konfigurasi pipeline atau pengaturan pembagian tensor secara paralel.
• Penyesuaian data profil model melalui platform HuggingFace hub yang tersedia.

Pemantauan serta Analisis Gangguan Operasional

• Pengamatan terhadap catatan aktivitas EXO sekaligus pemahaman mengenai teknik tracing terdistribusi.
• Interpretasi tanda-tanda kesehatan klaster yang tampil pada komponen visual dasbor tersebut.
• Analisis penyebab mengapa node tertentu tidak berfungsi dan bagaimana cara menyambungkannya kembali secara otomatis.
• Pemanfaatan variabel EXO_TRACING_ENABLED guna mencari titik-titik hambat dalam efisiensi kinerja klaster secara terperinci.

Pemeliharaan Klaster serta Pembaruan Komponen

• Langkah-langkah mengganti versi binari EXO dan menyusun ulang elemen dasbor secara berkala.
• Cara mentransfer data cache model lama maupun manajemen terhadap model yang telah diunduh lewat NFS.
• Teknik mengeluarkan node tertentu dari struktur klaster tanpa gangguan beserta pendistribusian ulang beban kerja secara adil.