Kursus Pelatihan Memahami Jaringan Saraf Dalam

Bagian 1 – Konsep Pembelajaran Mendalam dan DNN

Pengenalan AI, Machine Learning & Deep Learning

• Sejarah, konsep dasar, dan aplikasi umum kecerdasan buatan jauh dari fantasi yang dibawa oleh domain ini
• Kecerdasan Kolaboratif: agregasi pengetahuan yang dibagikan oleh banyak agen virtual
• Algoritma genetik: untuk mengembangkan populasi agen virtual melalui seleksi
• Pembelajaran Mesin Umum: definisi.
• Jenis tugas: pembelajaran terpandu, pembelajaran tanpa pengawasan, pembelajaran penguatan
• Jenis tindakan: klasifikasi, regresi, klastering, estimasi kepadatan, reduksi dimensi
• Contoh algoritma Pembelajaran Mesin: Regresi Linier, Naive Bayes, Random Tree
• Pembelajaran Mesin VS Deep Learning: masalah pada mana Pembelajaran Mesin tetap menjadi standar (Random Forests & XGBoosts)

Konsep Dasar Jaringan Saraf (Aplikasi: perceptron berlapis)

• Pengingat dasar matematika.
• Definisi jaringan saraf: arsitektur klasik, aktivasi dan
• Pembobotan aktivasi sebelumnya, kedalaman jaringan
• Definisi pembelajaran jaringan saraf: fungsi biaya, back-propagation, Stochastic gradient descent, maximum likelihood.
• Pemodelan jaringan saraf: pemodelan data masukan dan keluaran sesuai Jenis masalah (regresi, klasifikasi...). Kutukan dimensi.
• Perbedaan antara Data berfitur ganda dan sinyal. Pilihan fungsi biaya sesuai data.
• Aproksimasi fungsi oleh jaringan saraf: presentasi dan contoh
• Aproksimasi distribusi oleh jaringan saraf: presentasi dan contoh
• Peningkatan data: cara menyeimbangkan kumpulan data
• Generalisasi hasil jaringan saraf.
• Inisialisasi dan regularisasi jaringan saraf: L1 / L2 regularisasi, Batch Normalization
• Algoritma optimasi dan konvergensi

Alat ML / DL Standar

Penyajian sederhana dengan kelebihan, kekurangan, posisi dalam ekosistem dan penggunaannya direncanakan.

• Alat manajemen data: Apache Spark, Apache Hadoop Alat
• Pembelajaran Mesin: Numpy, Scipy, Sci-kit
• Kerangka kerja DL tingkat tinggi: PyTorch, Keras, Lasagne
• Kerangka kerja DL tingkat rendah: Theano, Torch, Caffe, Tensorflow

Jaringan Saraf Konvolusional (CNN).

• Penyajian CNNs: prinsip dasar dan aplikasi
• Operasi dasar CNN: lapisan konvolusional, penggunaan kernel,
• Padding & stride, pembangunan peta fitur, lapisan pooling. Ekstensi 1D, 2D dan 3D.
• Penyajian arsitektur CNN yang membawa standar dalam klasifikasi
• Gambar: LeNet, VGG Networks, Network in Network, Inception, Resnet. Penyajian Inovasi yang dibawa oleh setiap arsitektur dan aplikasi lebih globalnya (Convolution 1x1 atau koneksi residual)
• Penggunaan model perhatian.
• Aplikasi pada kasus klasifikasi umum (teks atau gambar)
• CNN untuk generasi: super-resolusi, segmentasi pixel-ke-pixel. Penyajian
• Strategi utama untuk meningkatkan peta fitur dalam pembuatan gambar.

Jaringan Saraf Rekursif (RNN).

• Penyajian RNN: prinsip dasar dan aplikasi.
• Operasi dasar RNN: aktivasi tersembunyi, back propagation through time, Versi terbuka.
• Evolusi menuju Gated Recurrent Units (GRUs) dan LSTM (Long Short Term Memory).
• Penyajian berbagai keadaan dan evolusi yang dibawa oleh arsitektur ini
• Masalah konvergensi dan gradien hilang
• Arsitektur klasik: prediksi deret waktu, klasifikasi...
• Arsitektur RNN Encoder Decoder. Penggunaan model perhatian.
• Aplikasi NLP: penyandian kata / karakter, terjemahan.
• Aplikasi Video: prediksi gambar berikutnya dari urutan video yang dihasilkan.

Model generatif: Variational AutoEncoder (VAE) dan Generative Adversarial Networks (GAN).

• Penyajian model generatif, kaitannya dengan CNNs
• Auto-encoder: reduksi dimensi dan pembuatan terbatas
• Variational Auto-encoder: model generatif dan aproksimasi distribusi yang diberikan. Definisi dan penggunaan ruang laten. Trik reparameterisasi. Aplikasi dan Batasan yang diamati
• Generative Adversarial Networks: Dasar-dasarnya.
• Arsitektur Jaringan Dual (Generator dan discriminator) dengan pembelajaran bergantian, fungsi biaya yang tersedia.
• Konvergensi GAN dan kesulitan yang dihadapi.
• Penyempurnaan konvergensi: Wasserstein GAN, Began. Jarak Pemindahan Tanah.
• Aplikasi untuk pembuatan gambar atau foto, generasi teks, super-resolusi.

Pembelajaran Reinforcement Mendalam.

• Penyajian pembelajaran reinforcement: kontrol agen dalam lingkungan yang terdefinisi
• Dengan keadaan dan tindakan yang mungkin
• Penggunaan jaringan saraf untuk mengaproksimasi fungsi keadaan
• Deep Q Learning: pengulangan pengalaman, dan aplikasinya pada kontrol video game.
• Optimisasi kebijakan pembelajaran. On-policy && off-policy. Arsitektur aktor-kritik. A3C.
• Aplikasi: kontrol video game tunggal atau sistem digital.

Bagian 2 – Theano untuk Pembelajaran Mendalam

Dasar-dasar Theano

• Pengenalan
• Instalasi dan Konfigurasi

TheanoFunctions

• input, output, update, givens

Pelatihan dan Optimasi Jaringan Saraf menggunakan Theano

• Pemodelan Jaringan Saraf
• Regresi Logistik
• Lapisan Tersembunyi
• Pelatihan jaringan
• Komputasi dan Klasifikasi
• Optimisasi
• Log Loss

Pengujian model

Bagian 3 – DNN menggunakan TensorFlow

Dasar-dasar TensorFlow

• Pembuatan, Inisialisasi, Penyimpanan, dan Pengembalian Variabel TensorFlow
• Pemakanan, Pembacaan, dan Prapemuatan Data TensorFlow
• Cara menggunakan infrastruktur TensorFlow untuk melatih model skala besar
• Visualisasi dan Evaluasi model dengan TensorBoard

Mekanika TensorFlow

• Persiapan Data
• Unduh
• Input dan Placeholder
• Bangun GrafikS
  • Inferensi
  • Loss
  • Pelatihan
• Latih Model
  • Grafik
  • Sesi
  • Loop Pelatihan
• Evaluasi Model
  • Bangun Grafik Eval
  • Output Eval

Perseptron

• Fungsi aktivasi
• Algoritma pembelajaran perceptron
• Klasifikasi biner dengan perceptron
• Klasifikasi dokumen dengan perceptron
• Batasan perceptron

Dari Perseptron ke Support Vector Machines

• Kernel dan trik kernel
• Klasifikasi margin maksimum dan vektor dukungan

Jaringan Saraf Buatan

• Batas keputusan nonlinear
• Jaringan saraf buatan feedforward dan feedback
• Perseptron berlapis
• Minimisasi fungsi biaya
• Propagasi maju
• Propagasi mundur
• Penyempurnaan cara jaringan saraf belajar

Jaringan Saraf Konvolusional

• Tujuan
• Arsitektur Model
• Prinsip
• Organisasi Kode
• Meluncurkan dan Melatih Model
• Mengevaluasi Model

Pengenalan Dasar yang Diberikan untuk Modul Berikut (Pengenalan Singkat Disediakan Berdasarkan Ketersediaan Waktu):

Tensorflow - Penggunaan Lanjutan

• Benang dan Antrian
• TensorFlow Terdistribusi
• Menulis Dokumentasi dan Berbagi Model Anda
• Penyesuaian Pembaca Data
• Memanipulasi File Model TensorFlow

TensorFlow Serving

• Pengenalan
• Tutorial Pelayanan Dasar
• Tutorial Pelayanan Lanjutan
• Tutorial Pelayanan Model Inception