Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs Training Course
Parameter-Efficient Fine-Tuning (PEFT) is a collection of techniques that enable efficient adaptation of large language models (LLMs) by modifying only a small subset of parameters.
This instructor-led, live training (online or onsite) is aimed at intermediate-level data scientists and AI engineers who wish to fine-tune large language models more affordably and efficiently using methods like LoRA, Adapter Tuning, and Prefix Tuning.
By the end of this training, participants will be able to:
- Understand the theory behind parameter-efficient fine-tuning approaches.
- Implement LoRA, Adapter Tuning, and Prefix Tuning using Hugging Face PEFT.
- Compare performance and cost trade-offs of PEFT methods vs. full fine-tuning.
- Deploy and scale fine-tuned LLMs with reduced compute and storage requirements.
Format of the Course
- Interactive lecture and discussion.
- Lots of exercises and practice.
- Hands-on implementation in a live-lab environment.
Course Customization Options
- To request a customized training for this course, please contact us to arrange.
Course Outline
Introduction to Parameter-Efficient Fine-Tuning (PEFT)
- Motivation and limitations of full fine-tuning
- Overview of PEFT: goals and benefits
- Applications and use cases in industry
LoRA (Low-Rank Adaptation)
- Concept and intuition behind LoRA
- Implementing LoRA using Hugging Face and PyTorch
- Hands-on: Fine-tuning a model with LoRA
Adapter Tuning
- How adapter modules work
- Integration with transformer-based models
- Hands-on: Applying Adapter Tuning to a transformer model
Prefix Tuning
- Using soft prompts for fine-tuning
- Strengths and limitations compared to LoRA and adapters
- Hands-on: Prefix Tuning on an LLM task
Evaluating and Comparing PEFT Methods
- Metrics for evaluating performance and efficiency
- Trade-offs in training speed, memory usage, and accuracy
- Benchmarking experiments and result interpretation
Deploying Fine-Tuned Models
- Saving and loading fine-tuned models
- Deployment considerations for PEFT-based models
- Integrating into applications and pipelines
Best Practices and Extensions
- Combining PEFT with quantization and distillation
- Use in low-resource and multilingual settings
- Future directions and active research areas
Summary and Next Steps
Requirements
- An understanding of machine learning fundamentals
- Experience working with large language models (LLMs)
- Familiarity with Python and PyTorch
Audience
- Data scientists
- AI engineers
Open Training Courses require 5+ participants.
Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs Training Course - Booking
Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs Training Course - Enquiry
Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs - Consultancy Enquiry
Consultancy Enquiry
Upcoming Courses (Minimal 5 peserta)
Related Courses
Advanced Techniques in Transfer Learning
14 HoursPelatihan langsung yang dipandu instruktur di Indonesia (online atau di tempat) ini ditujukan untuk profesional pembelajaran mesin tingkat lanjut yang ingin menguasai teknik pembelajaran transfer mutakhir dan menerapkannya pada masalah dunia nyata yang kompleks.
Pada akhir pelatihan ini, peserta akan dapat:
- Memahami konsep dan metodologi lanjutan dalam pembelajaran transfer.
- Menerapkan teknik adaptasi spesifik domain untuk model yang telah dilatih sebelumnya.
- Terapkan pembelajaran berkelanjutan untuk mengelola tugas dan kumpulan data yang terus berkembang.
- Kuasai penyempurnaan multitugas untuk meningkatkan kinerja model di seluruh tugas.
AI Automation with n8n and LangChain
14 HoursPelatihan langsung yang dipimpin instruktur di Indonesia (online atau di lokasi) ditujukan untuk pengembang dan profesional TI dari semua tingkat keahlian yang ingin mengotomatiskan tugas dan proses menggunakan AI tanpa menulis kode ekstensif.
Pada akhir pelatihan ini, peserta akan mampu:
- Rancang dan implementasikan alur kerja yang kompleks menggunakan antarmuka pemrograman visual n8n.
- Integrasikan kemampuan AI ke dalam alur kerja menggunakan LangChain.
- Bangun chatbot khusus dan asisten virtual untuk berbagai kasus penggunaan.
- Lakukan analisis dan pemrosesan data tingkat lanjut dengan agen AI.
Automating Workflows with LangChain and APIs
14 HoursPelatihan langsung yang dipandu instruktur di Indonesia (online atau di tempat) ini ditujukan untuk analis bisnis dan insinyur otomasi tingkat pemula yang ingin memahami cara menggunakan LangChain dan API untuk mengotomatiskan tugas dan alur kerja yang berulang.
Pada akhir pelatihan ini, peserta akan dapat:
- Memahami dasar-dasar integrasi API dengan LangChain.
- Otomatisasi alur kerja berulang menggunakan LangChain dan Python.
- Manfaatkan LangChain untuk menghubungkan berbagai API untuk proses bisnis yang efisien.
- Buat dan otomatisasi alur kerja khusus menggunakan API dan kemampuan otomatisasi LangChain.
Building Conversational Agents with LangChain
14 HoursPelatihan langsung yang dipimpin instruktur di Indonesia (online atau di tempat) ini ditujukan untuk profesional tingkat menengah yang ingin memperdalam pemahaman mereka tentang agen percakapan dan menerapkan LangChain pada kasus penggunaan dunia nyata.
Pada akhir pelatihan ini, peserta akan dapat:
- Memahami dasar-dasar LangChain dan penerapannya dalam membangun agen percakapan.
- Mengembangkan dan menyebarkan agen percakapan menggunakan LangChain.
- Integrasikan agen percakapan dengan API dan layanan eksternal.
- Terapkan teknik Natural Language Processing (NLP) untuk meningkatkan kinerja agen percakapan.
Building Private AI Workflows with Ollama
14 HoursPelatihan langsung yang dipimpin instruktur di Indonesia (online atau di tempat) ini ditujukan untuk profesional tingkat lanjut yang ingin menerapkan alur kerja berbasis AI yang aman dan efisien menggunakan Ollama.
Pada akhir pelatihan ini, peserta akan dapat:
- Terapkan dan konfigurasikan Ollama untuk pemrosesan AI pribadi.
- Integrasikan model AI ke dalam alur kerja perusahaan yang aman.
- Optimalkan kinerja AI sambil menjaga privasi data.
- Otomatisasi proses bisnis dengan kemampuan AI di tempat.
- Memastikan kepatuhan terhadap kebijakan keamanan dan tata kelola perusahaan.
Deploying Fine-Tuned Models in Production
21 HoursPelatihan langsung yang dipandu instruktur di Indonesia (online atau di tempat) ini ditujukan untuk profesional tingkat lanjut yang ingin menerapkan model yang disetel dengan baik secara andal dan efisien.
Pada akhir pelatihan ini, peserta akan dapat:
- Memahami tantangan dalam menerapkan model yang disesuaikan ke dalam produksi.
- Kontainerisasi dan terapkan model menggunakan alat seperti Docker dan Kubernetes.
- Terapkan pemantauan dan pencatatan untuk model yang diterapkan.
- Optimalkan model untuk latensi dan skalabilitas dalam skenario dunia nyata.
Deploying and Optimizing LLMs with Ollama
14 HoursPelatihan langsung yang dipimpin instruktur di Indonesia (online atau di tempat) ini ditujukan untuk profesional tingkat menengah yang ingin menerapkan, mengoptimalkan, dan mengintegrasikan LLM menggunakan Ollama.
Pada akhir pelatihan ini, peserta akan dapat:
- Siapkan dan terapkan LLM menggunakan Ollama.
- Optimalkan model AI untuk kinerja dan efisiensi.
- Memanfaatkan akselerasi GPU untuk meningkatkan kecepatan inferensi.
- Integrasikan Ollama ke dalam alur kerja dan aplikasi.
- Pantau dan pertahankan kinerja model AI dari waktu ke waktu.
Ethical Considerations in AI Development with LangChain
21 HoursPelatihan langsung yang dipimpin instruktur di Indonesia (online atau di tempat) ini ditujukan untuk peneliti AI tingkat lanjut dan pembuat kebijakan yang ingin mengeksplorasi implikasi etis dari pengembangan AI dan mempelajari cara menerapkan pedoman etika saat membangun solusi AI dengan LangChain.
Pada akhir pelatihan ini, peserta akan dapat:
- Identifikasi masalah etika utama dalam pengembangan AI dengan LangChain.
- Memahami dampak AI pada masyarakat dan proses pengambilan keputusan.
- Mengembangkan strategi untuk membangun sistem AI yang adil dan transparan.
- Terapkan pedoman AI yang etis ke dalam proyek berbasis LangChain.
Enhancing User Experience with LangChain in Web Apps
14 HoursPelatihan langsung yang dipandu instruktur di Indonesia (online atau di tempat) ini ditujukan untuk pengembang web dan desainer UX tingkat menengah yang ingin memanfaatkan LangChain untuk membuat aplikasi web yang intuitif dan ramah pengguna.
Pada akhir pelatihan ini, peserta akan dapat:
- Memahami konsep dasar LangChain dan perannya dalam meningkatkan pengalaman pengguna web.
- Terapkan LangChain di aplikasi web untuk membuat antarmuka yang dinamis dan responsif.
- Integrasikan API ke dalam aplikasi web untuk meningkatkan interaktivitas dan keterlibatan pengguna.
- Optimalkan pengalaman pengguna menggunakan fitur kustomisasi lanjutan LangChain.
- Menganalisis data perilaku pengguna untuk menyempurnakan kinerja dan pengalaman aplikasi web.
Fine-Tuning and Customizing AI Models on Ollama
14 HoursPelatihan langsung yang dipimpin instruktur di Indonesia (online atau di tempat) ini ditujukan untuk profesional tingkat lanjut yang ingin menyempurnakan dan menyesuaikan model AI di Ollama untuk peningkatan kinerja dan aplikasi khusus domain.
Pada akhir pelatihan ini, peserta akan dapat:
- Siapkan lingkungan yang efisien untuk menyempurnakan model AI pada Ollama.
- Menyiapkan kumpulan data untuk penyempurnaan yang diawasi dan pembelajaran penguatan.
- Optimalkan model AI untuk kinerja, akurasi, dan efisiensi.
- Terapkan model yang disesuaikan dalam lingkungan produksi.
- Mengevaluasi perbaikan model dan memastikan ketahanan.
LangChain: Building AI-Powered Applications
14 HoursPelatihan langsung yang dipimpin instruktur di Indonesia (online atau di lokasi) ditujukan untuk pengembang tingkat menengah dan insinyur perangkat lunak yang ingin membangun aplikasi bertenaga AI menggunakan kerangka LangChain.
Pada akhir pelatihan ini, peserta akan mampu:
- Memahami dasar-dasar LangChain dan komponennya.
- Integrasikan LangChain dengan model bahasa besar (LLM) seperti GPT-4.
- Bangun aplikasi AI modular menggunakan LangChain.
- Memecahkan masalah umum dalam aplikasi LangChain.
Integrating LangChain with Cloud Services
14 HoursPelatihan langsung yang dipandu instruktur di Indonesia (online atau di tempat) ini ditujukan untuk insinyur data tingkat lanjut dan DevOps profesional yang ingin memanfaatkan kemampuan LangChain dengan mengintegrasikannya dengan berbagai layanan cloud.
Pada akhir pelatihan ini, peserta akan dapat:
- Integrasikan LangChain dengan platform cloud utama seperti AWS, Azure, dan Google Cloud.
- Memanfaatkan API dan layanan berbasis cloud untuk meningkatkan aplikasi bertenaga LangChain.
- Skalakan dan terapkan agen percakapan ke cloud untuk interaksi waktu nyata.
- Terapkan praktik terbaik pemantauan dan keamanan di lingkungan cloud.
LangChain for Data Analysis and Visualization
14 HoursPelatihan langsung yang dipimpin instruktur di Indonesia (online atau di tempat) ini ditujukan untuk profesional data tingkat menengah yang ingin menggunakan LangChain untuk meningkatkan kemampuan analisis dan visualisasi data mereka.
Pada akhir pelatihan ini, peserta akan dapat:
- Otomatisasi pengambilan dan pembersihan data menggunakan LangChain.
- Melakukan analisis data lanjutan menggunakan Python dan LangChain.
- Buat visualisasi dengan Matplotlib dan pustaka Python lain yang terintegrasi dengan LangChain.
- Memanfaatkan LangChain untuk menghasilkan wawasan bahasa alami dari analisis data.
LangChain Fundamentals
14 HoursPelatihan langsung yang dipimpin instruktur di Indonesia (online atau di lokasi) ditujukan untuk pengembang dan insinyur perangkat lunak tingkat pemula hingga menengah yang ingin mempelajari konsep inti dan arsitektur LangChain dan memperoleh keterampilan praktis untuk membangun AI- aplikasi bertenaga.
Pada akhir pelatihan ini, peserta akan mampu:
- Pahami prinsip dasar LangChain.
- Siapkan dan konfigurasikan lingkungan LangChain.
- Pahami arsitektur dan bagaimana LangChain berinteraksi dengan model bahasa besar (LLM).
- Kembangkan aplikasi sederhana menggunakan LangChain.
Getting Started with Ollama: Running Local AI Models
7 HoursPelatihan langsung yang dipimpin instruktur di Indonesia (online atau di tempat) ini ditujukan untuk profesional tingkat pemula yang ingin menginstal, mengonfigurasi, dan menggunakan Ollama untuk menjalankan model AI di mesin lokal mereka.
Pada akhir pelatihan ini, peserta akan dapat:
- Memahami dasar-dasar Ollama dan kemampuannya.
- Siapkan Ollama untuk menjalankan model AI lokal.
- Menyebarkan dan berinteraksi dengan LLM menggunakan Ollama.
- Optimalkan kinerja dan penggunaan sumber daya untuk beban kerja AI.
- Jelajahi kasus penggunaan untuk penerapan AI lokal di berbagai industri.