Kerangka Materi
Bagian 1 - Konsep Deep Learning dan DNN
Pengenalan AI, Machine Learning & Deep Learning
- Sejarah, konsep dasar, dan aplikasi umum kecerdasan buatan di luar fantasi yang dibawa oleh bidang ini
- Kecepatan Kolektif: Agregasi pengetahuan yang dibagikan oleh banyak agen virtual
- Algoritma Genetika: untuk berevolusi populasi agen virtual melalui seleksi
- Mesin Pembelajaran Umum: definisi.
- Jenis tugas: pembelajaran supervised, pembelajaran unsupervised, pembelajaran reinforcement
- Jenis tindakan: klasifikasi, regresi, klasterisasi, estimasi densitas, reduksi dimensi
- Contoh algoritma Machine Learning: Regresi Linear, Naive Bayes, Random Tree
- Machine learning VS Deep Learning: masalah di mana Machine Learning masih menjadi state of the art saat ini (Random Forests & XGBoosts)
Konsep Dasar Jaringan Saraf (Aplikasi: multi-layer perceptron)
- Pengingat basis matematika.
- Definisi jaringan neuron: arsitektur klasik, aktivasi, dan
- Pembobotan aktivasi sebelumnya, kedalaman jaringan
- Definisi pembelajaran jaringan neuron: fungsi biaya, back-propagation, Stochastic gradient descent, maksimum likelihood.
- Pemodelan jaringan saraf: pemodelan data input dan output sesuai jenis masalah (regresi, klasifikasi ...). Kutukan dimensionalitas.
- Perbedaan antara data multi-fitur dan sinyal. Pemilihan fungsi biaya sesuai data.
- Aproksimasi fungsi oleh jaringan neuron: presentasi dan contoh
- Aproksimasi distribusi oleh jaringan neuron: presentasi dan contoh
- Augmentasi Data: cara menyeimbangkan dataset
- Generalisasi hasil dari jaringan neuron.
- Inisialisasi dan regularisasi jaringan saraf: regularisasi L1 / L2, Batch Normalization
- Algoritma optimasi dan konvergensi
Alat ML / DL Standar
Presentasi sederhana tentang kelebihan, kekurangan, posisi dalam ekosistem, dan penggunaan direncanakan.
- Alat manajemen data: Apache Spark, Alat Apache Hadoop
- Machine Learning: Numpy, Scipy, Sci-kit
- Framework DL tingkat tinggi: PyTorch, Keras, Lasagne
- Framework DL tingkat rendah: Theano, Torch, Caffe, Tensorflow
Jaringan Saraf Konvolusional (CNN).
- Presentasi CNN: prinsip fundamental dan aplikasi
- Operasi dasar CNN: lapisan konvolusional, penggunaan kernel,
- Padding & stride, pembuatan peta fitur, lapisan pooling. Ekstensi 1D, 2D, dan 3D.
- Presentasi berbagai arsitektur CNN yang membawa state of the art dalam klasifikasi
- Citra: LeNet, Jaringan VGG, Network in Network, Inception, Resnet. Presentasi Inovasi yang dibawa oleh setiap arsitektur dan aplikasi global mereka (Konvolusi 1x1 atau koneksi residual)
- Penggunaan model perhatian.
- Aplikasi untuk kasus klasifikasi umum (teks atau citra)
- CNN untuk generasi: super-resolusi, segmentasi pixel-to-pixel. Presentasi dari
- Strategi utama untuk meningkatkan peta fitur untuk generasi citra.
Jaringan Saraf Berulang (RNN).
- Presentasi RNN: prinsip fundamental dan aplikasi.
- Operasi dasar RNN: aktivasi tersembunyi, back propagation melalui waktu, versi Terbuka.
- Evolusi menuju Gated Recurrent Units (GRUs) dan LSTM (Long Short Term Memory).
- Presentasi berbagai status dan evolusi yang dibawa oleh arsitektur ini
- Masalah konvergensi dan gradien yang menghilang
- Arsitektur klasik: Prediksi deret temporal, klasifikasi ...
- Arsitektur tipe RNN Encoder Decoder. Penggunaan model perhatian.
- Aplikasi NLP: encoding kata / karakter, terjemahan.
- Aplikasi Video: prediksi gambar berikutnya yang dihasilkan dari sekuens video.
Model Generatif: Variational AutoEncoder (VAE) dan Generative Adversarial Networks (GAN).
- Presentasi model generatif, hubungan dengan CNN
- Auto-encoder: reduksi dimensi dan generasi terbatas
- Variational Auto-encoder: model generatif dan aproksimasi distribusi dari yang diberikan. Definisi dan penggunaan ruang laten. Trik reparameterisasi. Aplikasi dan Batas yang diamati
- Generative Adversarial Networks: Fundamental.
- Arsitektur Jaringan Dual (Generator dan diskriminator) dengan pembelajaran berselang-selang, fungsi biaya yang tersedia.
- Konvergensi GAN dan kesulitan yang ditemui.
- Peningkatan konvergensi: Wasserstein GAN, Began. Jarak Perpindahan Bumi.
- Aplikasi untuk generasi citra atau foto, generasi teks, super-resolusi.
Deep Reinforcement Learning.
- Presentasi reinforcement learning: kontrol agen dalam lingkungan yang didefinisikan
- Dengan status dan tindakan yang mungkin
- Penggunaan jaringan saraf untuk memaproksimasi fungsi status
- Deep Q Learning: replay pengalaman, dan aplikasi untuk kontrol permainan video.
- Optimasi kebijakan pembelajaran. On-policy && off-policy. Arsitektur Actor critic. A3C.
- Aplikasi: kontrol satu permainan video atau sistem digital.
Bagian 2 - Theano untuk Deep Learning
Dasar-dasar Theano
- Pengantar
- Instalasi dan Konfigurasi
Fungsi Theano
- input, output, update, givens
Pelatihan dan Optimasi jaringan saraf menggunakan Theano
- Pemodelan Jaringan Saraf
- Regresi Logistik
- Lapisan Tersembunyi
- Melatih jaringan
- Menghitung dan Klasifikasi
- Optimasi
- Log Loss
Menguji model
Bagian 3 - DNN menggunakan TensorFlow
Dasar-dasar TensorFlow
- Pembuatan, Inisialisasi, Penyimpanan, dan Pemulihan variabel TensorFlow
- Pemberian makan, Membaca dan Pra-muat Data TensorFlow
- Cara menggunakan infrastruktur TensorFlow untuk melatih model berskala
- Visualisasi dan Evaluasi model dengan TensorBoard
Mekanika TensorFlow
- Menyiapkan Data
- Mengunduh
- Input dan Placeholder
-
Membangun Grafik
- Inferensi
- Kerugian
- Pelatihan
-
Melatih Model
- Grafik
- Sesi
- Loop Pelatihan
-
Mengevaluasi Model
- Membangun Grafik Evaluasi
- Output Evaluasi
Perceptron
- Fungsi aktivasi
- Algoritma pembelajaran perceptron
- Klasifikasi biner dengan perceptron
- Klasifikasi dokumen dengan perceptron
- Keterbatasan perceptron
Dari Perceptron ke Support Vector Machines
- Kernel dan trik kernel
- Klasifikasi margin maksimum dan vektor dukungan
Jaringan Saraf Buatan
- Batas keputusan nonlinier
- Jaringan saraf buatan feedforward dan feedback
- Multilayer perceptrons
- Meminimalkan fungsi biaya
- Propagasi maju
- Propagasi mundur
- Meningkatkan cara jaringan saraf belajar
Jaringan Saraf Konvolusional
- Tujuan
- Arsitektur Model
- Prinsip
- Organisasi Kode
- Menjalankan dan Melatih Model
- Mengevaluasi Model
Pengenalan Dasar untuk modul di bawah ini (Pengenalan Singkat akan disediakan berdasarkan ketersediaan waktu):
TensorFlow - Penggunaan Lanjutan
- Threading dan Antrean
- TensorFlow Terdistribusi
- Menulis Dokumentasi dan Berbagi Model Anda
- Menyesuaikan Pembaca Data
- Manipulasi File Model TensorFlow
Serving TensorFlow
- Pengantar
- Tutorial Serving Dasar
- Tutorial Serving Lanjutan
- Tutorial Serving Model Inception
Persyaratan
Latar belakang dalam fisika, matematika, dan pemrograman. Keterlibatan dalam aktivitas pengolahan citra.
Peserta harus memiliki pemahaman sebelumnya tentang konsep machine learning, dan harus pernah bekerja dengan pemrograman dan pustaka Python.
Testimoni (2)
Pelatihan ini terorganisir dengan baik dan direncanakan secara rapi, sehingga saya keluar dari pelatihan ini dengan pengetahuan yang sistematis dan gambaran yang baik tentang topik-topik yang kita bahas.
Magdalena - Samsung Electronics Polska Sp. z o.o.
Kursus - Deep Learning with TensorFlow 2
Diterjemahkan Mesin
Saya sangat menyukai bagian akhir di mana kita menghabiskan waktu untuk bermain dengan CHAT GPT. Ruangan tidak disiapkan dengan baik untuk ini—sebaiknya menggunakan beberapa meja kecil agar kita bisa berkumpul dalam kelompok-kelompok kecil dan melakukan brainstorming, daripada satu meja besar.
Nola - Laramie County Community College
Kursus - Artificial Intelligence (AI) Overview
Diterjemahkan Mesin
