Kursus Pelatihan Pengantar Model Bahasa Besar (LLM)

Pendahuluan

• Apa itu Model Bahasa Besar (LLM)?
• Perbandingan LLM dengan model NLP konvensional
• Gambaran umum mengenai fitur dan arsitektur LLM
• Tantangan serta keterbatasan LLM

Memahami LLM

• Proses siklus hidup suatu model LLM
• Cara kerja LLM secara menyeluruh
• Komponen utama dalam suatu model LLM: encoder, decoder, mekanisme attention, embeddings, dan lainnya.

Langkah Awal Penggunaan LLM

• Mengatur lingkungan pengembangan yang tepat
• Menginstal alat bantu pengembangan LLM seperti Google Colab atau Hugging Face

Bekerja dengan LLM

• Menjelajahi berbagai pilihan model LLM yang tersedia
• Cara membuat serta memanfaatkan model LLM sendiri
• Cara melakukan pelatihan ulang (fine-tuning) pada LLM menggunakan dataset khusus.

Merangkum Teks

• Pemahaman mengenai tugas merangkum teks serta penerapannya dalam dunia nyata
• Cara memanfaatkan LLM untuk merangkum teks secara ekstrakrif maupun abstrakrif.
• Cara mengevaluasi kualitas rangkuman yang dihasilkan dengan metrik seperti ROUGE, BLEU, dan sejenisnya.

Menjawab Pertanyaan

• Pemahaman mengenai tugas menjawab pertanyaan serta manfaatnya dalam praktik nyata
• Cara memanfaatkan LLM untuk menjawab pertanyaan di ruang domain terbuka maupun tertutup.
• Metode mengevaluasi keakuratan jawaban menggunakan metrik seperti F1, EM, dan lainnya.

Menghasilkan Teks Baru

• Pemahaman mengenai tugas menghasilkan teks serta aplikasinya dalam dunia nyata.
• Cara memanfaatkan LLM untuk menghasilkan teks, baik secara kondisional maupun tanpa syarat.
• Metode pengendalian gaya, nuansa bahasa, serta isi dari teks yang dihasilkan melalui parameter seperti temperature, top-k, top-p, dan lainnya.

Mengintegrasikan LLM dengan Kerangka Kerja atau Platform Lain

• Penerapan LLM dalam kerangka PyTorch maupun TensorFlow.
• Cara memadukan LLM dengan alat pengembangan Flask atau Streamlit.
• Integrasi LLM ke dalam platform Google Cloud serta AWS.

Mengatasi Masalah Teknis

• Pemahaman mengenai kesalahan dan bug umum yang sering muncul pada LLM.
• Pemanfaatan TensorBoard untuk memantau serta menggambarkan proses pelatihan model.
• Penggunaan PyTorch Lightning dalam penyederhanaan kode pelatihan sekaligus peningkatan kinerja sistem.
• Cara menggunakan Hugging Face Datasets untuk pemuatan dan pengolahan data yang diperlukan.

Penutup serta Langkah Selanjutnya