Kursus Pelatihan Model Bahasa Besar (LLM) dan Pembelajaran Penguatan (RL)

Pengantar Model Bahasa Besar (LLMs)

• Gambaran umum mengenai LLMs
• Definisi dan pentingnya LLMs
• Aplikasi LLMs dalam bidang kecerdasan buatan masa kini

Arsitektur Transformer

• Apa itu transformer dan bagaimana cara kerjanya?
• Komponen utama serta ciri khasnya
• Pengkodean embedding dan posisi
• Mekanisme attention multi-kepala
• Jaringan saraf feed-forward
• Normalisasi serta sambungan residual

Model Transformer

• Mekanisme self-attention
• Arsitektur encoder-decoder
• Pengkodean posisi dalam model
• BERT (Bidirectional Encoder Representations from Transformers)
• GPT (Generative Pretrained Transformer)

Optimisasi Performa dan Potensi Kendala

• Panjang konteks teks yang dapat diproses
• Mamba serta model berbasis ruang keadaan
• Teknologi flash attention
• Transformer bersifat langka (sparse transformers)
• Vision transformer
• Pentingnya kuantisasi data

Cara Memperbaiki Performa Transformer

• Teknik pembangkitan teks berbasis pengambilan informasi
• Penggunaan gabungan beberapa model sekaligus
• Metode tree of thoughts dalam pemrosesan data

Penyetelan Ulang (Fine-Tuning)

• Prinsip dasar metode low-rank adaptation
• Cara melakukan penyetelan ulang menggunakan QLora

Hukum Skala dan Optimalisasi dalam LLMs

• Pentingnya hukum skala bagi pengembangan LLMs
• Skalabilitas data dan ukuran model
• Optimalisasi dari segi komputasi
• Metode peningkatan efisiensi parameter model

Proses Optimalisasi

• Hubungan antara ukuran model, volume data, kapasitas komputasi, dan kebutuhan inferensi
• Cara meningkatkan performa serta efisiensi LLMs
• Praktik terbaik dan alat bantu untuk pelatihan maupun penyetelan ulang LLMs

Proses Pelatihan dan Penyetelan Ulang LLMs

• Tahapan serta tantangan dalam pelatihan LLMs dari awal
• Pengumpulan serta pengelolaan data training
• Kebutuhan data skala besar, kapasitas CPU, dan memori
• Permasalahan yang muncul dalam proses optimisasi
• Peta jalan berbagai model LLM open-source saat ini

Pokok-Pokok Pembelajaran Penguatan (RL)

• Pengantar mengenai Pembelajaran Penguatan
• Proses pembelajaran melalui pemberian imbalan positif
• Definisi dan konsep inti dalam RL
• Proses Keputusan Markov (Markov Decision Process/MDP)
• Pemrograman dinamis
• Metode Monte Carlo
• Teknik Temporal Difference Learning

Pembelajaran Penguatan Tingkat Lanjut

• Jaringan Q-Deep (Deep Q-Networks/DQN)
• Algoritma Proximal Policy Optimization (PPO)
• Unsur-unsur krusial dalam Pembelajaran Penguatan

Integrasi LLMs dan Pembelajaran Penguatan

• Cara menggabungkan LLMs dengan teknik RL
• Penggunaan RL dalam pengembangan LLMs
• Pembelajaran Penguatan berdasarkan Umpan Balik Manusia (RLHF)
• Alternatif lain untuk pendekatan RLHF

Studi Kasus serta Aplikasi Nyata

• Aplikasi dunia nyata dari LLMs dan RL
• Cerita sukses serta tantangan yang dihadapi pengguna

Tema-Tema Tingkat Lanjut

• Teknik-teknik canggih dalam optimisasi model
• Metode optimalisasi mutakhir
• Penelitian dan perkembangan terkini di bidang ini

Kesimpulan serta Langkah Selanjutnya