Kursus Pelatihan Web Scraping dengan Python
Web Scraping adalah teknik untuk mengekstrak data dari sebuah situs web lalu menyimpannya ke file lokal atau database.
Pelatihan langsung (online atau onsite) ini ditujukan bagi para pengembang yang ingin menggunakan Python untuk mengotomatiskan proses crawling banyak situs web guna mengekstrak data untuk pemrosesan dan analisis.
Di akhir pelatihan ini, peserta akan dapat:
- Menginstal dan mengonfigurasi Python dan semua paket yang relevan.
- Mengambil dan mengurai data yang disimpan di banyak situs web.
- Memahami cara kerja situs web dan bagaimana HTML mereka terstruktur.
- Membuat spider untuk melakukan crawling web dalam skala besar.
- Menggunakan Selenium untuk melakukan crawling halaman web yang digerakkan oleh AJAX.
Format Kursus
- Ceramah dan diskusi interaktif.
- Banyak latihan dan praktik.
- Implementasi langsung di lingkungan lab langsung.
Opsi Kustomisasi Kursus
- Kursus ini mengasumsikan pengetahuan tentang pemrograman.
- Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk mengatur.
Kerangka Materi
Pengantar
Mengatur Lingkungan Pengembangan
Python Praktikum: Struktur Data, Kondisional, Penanganan File, dll.
Python Paket untuk Web Scraping: Scrapy dan BeautifulSoup
Bagaimana Sebuah Situs Web Berfungsi
Bagaimana HTML Terstruktur
Membuat Permintaan Web
Mengekstrak Data dari Halaman HTML
Bekerja dengan XPath dan CSS
Memfilter Data Menggunakan Regular Expressions
Membuat Penelusur Web
Menelusuri Halaman AJAX dan JavaScript dengan Selenium.
Praktik Terbaik Web Scraping
Pemecahan Masalah
Ringkasan dan Kesimpulan
Persyaratan
- Programming pengalaman, sebaiknya di Python. Jika peserta memiliki pengalaman pemrograman dalam bahasa selain Python, pelatihan dapat diperluas untuk mencakup latihan Python yang lebih pengantar.
Peserta
- Pengembang
Kursus Pelatihan Terbuka membutuhkan minimal 5 peserta.
Kursus Pelatihan Web Scraping dengan Python - Booking
Kursus Pelatihan Web Scraping dengan Python - Enquiry
Web Scraping dengan Python - Permintaan Konsultasi
Permintaan Konsultasi
Testimoni (1)
Many different examples and topics has been covered, from basic investigation to login management and dynamic page management.
Daniele Tagliaferro - Creditsafe Italia Srl
Kursus - Web Scraping with Python
Kursus Mendatang
Kursus Terkait
BDD dengan Python dan Behave
7 JamPelatihan langsung yang dipandu oleh instruktur ini dimulai dengan diskusi tentang BDD dan bagaimana kerangka kerja Behave dapat digunakan untuk melakukan pengujian BDD untuk aplikasi web. Peserta diberikan banyak kesempatan untuk berinteraksi dengan instruktur dan rekan-rekan mereka saat menerapkan konsep dan taktik yang dipelajari dalam lingkungan lab berbasis praktik langsung ini.
Di akhir pelatihan ini, peserta akan memiliki pemahaman yang kuat tentang BDD dan Behave, serta praktik yang diperlukan untuk menerapkan teknik dan alat ini dalam skenario pengujian dunia nyata.
Scaling Data Analysis with Python and Dask
14 JamPelatihan langsung oleh instruktur di Indonesia (online atau di tempat) ini ditujukan kepada ilmuwan data dan insinyur perangkat lunak yang ingin menggunakan Dask dengan ekosistem Python untuk membangun, meng skalakan, dan menganalisis dataset besar.
Setelah pelatihan ini selesai, peserta akan dapat:
- Mengatur lingkungan untuk memulai pengolahan data besar dengan Dask dan Python.
- Mengexploitasi fitur, perpustakaan, alat, dan API yang tersedia dalam Dask.
- Memahami bagaimana Dask mempercepat komputasi paralel di Python.
- Mempelajari cara meng skalakan ekosistem Python (Numpy, SciPy, dan Pandas) menggunakan Dask.
- Memaksimalkan lingkungan Dask untuk mempertahankan kinerja tinggi dalam menangani dataset besar.
Analisis Data dengan Python, Pandas dan Numpy
14 JamPembangunan Full Stack FARM (FastAPI, React, dan MongoDB)
14 JamPelatihan ini yang dipimpin instruktur, langsung (online atau tatap muka) ini ditujukan untuk pengembang yang ingin menggunakan stack FARM (FastAPI, React, dan MongoDB) untuk membangun aplikasi web dinamis, berkinerja tinggi, dan dapat diskalakan.
Di akhir pelatihan ini, peserta akan mampu untuk:
- Menyusun lingkungan pengembangan yang diperlukan yang mengintegrasikan FastAPI, React, dan MongoDB.
- Memahami konsep kunci, fitur, dan manfaat stack FARM.
- Mempelajari cara membangun REST API dengan FastAPI.
- Mempelajari cara merancang aplikasi interaktif dengan React.
- Mengembangkan, menguji, dan mengimplementasikan aplikasi (front end dan back end) menggunakan stack FARM.
Membangun APIs dengan Python dan FastAPI
14 JamPelatihan langsung yang dipandu oleh instruktur ini, di Indonesia (online atau onsite), ditujukan untuk para pengembang yang ingin menggunakan FastAPI dengan Python untuk membangun, menguji, dan menerapkan RESTful API dengan lebih mudah dan cepat.
Di akhir pelatihan ini, peserta akan dapat:
- Menyiapkan lingkungan pengembangan yang diperlukan untuk mengembangkan API dengan Python dan FastAPI.
- Membuat API lebih cepat dan mudah menggunakan pustaka FastAPI.
- Mempelajari cara membuat model data dan skema berdasarkan Pydantic dan OpenAPI.
- Menghubungkan API ke database menggunakan SQLAlchemy.
- Menerapkan keamanan dan autentikasi di API menggunakan alat FastAPI.
- Membuat image container dan menerapkan web API ke server cloud.
Machine Learning dengan Python – 2 Hari
14 JamTujuan dari kursus ini adalah untuk memberikan keterampilan dasar dalam menerapkan Machine Learning metode dalam praktek. Melalui penggunaan bahasa pemrograman Python dan berbagai perpustakaan, dan berdasarkan banyak contoh praktis, kursus ini mengajarkan bagaimana menggunakan blok bangunan yang paling penting Machine Learning, bagaimana membuat keputusan pemodelan data, menafsirkan output algoritma dan validasi hasil.
Tujuan kami adalah untuk memberi Anda keterampilan untuk memahami dan menggunakan alat-alat yang paling mendasar dari Machine Learning kotak alat dengan aman dan menghindari kegagalan umum dari Data Science aplikasi.
Pelatihan Machine Learning dengan Python – 4 Hari
28 JamTujuan dari kursus ini adalah untuk memberikan kemampuan umum dalam menerapkan metode Machine Learning secara praktis. Melalui penggunaan bahasa pemrograman Python dan berbagai perpustakaannya, serta berdasarkan banyak contoh praktis, kursus ini mengajarkan bagaimana menggunakan blok bangunan terpenting dari Machine Learning, membuat keputusan dalam pemodelan data, menafsirkan hasil algoritma, dan memvalidasi hasil.
Tujuan kami adalah memberikan keterampilan kepada Anda untuk memahami dan menggunakan alat-alat paling dasar dari kotak peralatan Machine Learning dengan percaya diri serta menghindari jebakan-jebakan umum dalam aplikasi Data Science.
Mempercepat Alur Kerja Python Pandas dengan Modin
14 JamPelatihan langsung yang dipimpin instruktur di Indonesia (online atau di tempat) ini ditujukan untuk ilmuwan data dan pengembang yang ingin menggunakan Modin untuk membangun dan menerapkan komputasi paralel dengan Pandas untuk analisis data yang lebih cepat.
Pada akhir pelatihan ini, peserta akan dapat:
- Siapkan lingkungan yang diperlukan untuk mulai mengembangkan Pandas alur kerja berskala dengan Modin.
- Memahami fitur, arsitektur, dan keuntungan Modin.
- Ketahui perbedaan antara Modin, Dask, dan Ray.
- Lakukan operasi Pandas lebih cepat dengan Modin.
- Terapkan seluruh API dan fungsi Pandas.
Python untuk Pengenalan Bahasa Alam (NLG)
21 JamDalam pelatihan bertutor langsung ini di Indonesia, peserta akan belajar menggunakan Python untuk menghasilkan teks bahasa alami berkualitas tinggi dengan membangun sistem NLG sendiri dari awal. Studi kasus juga akan dianalisis dan konsep-konsep yang relevan akan diterapkan pada proyek laboratorium langsung untuk menghasilkan konten.
Selesai pelatihan ini, peserta akan dapat:
- Menggunakan NLG untuk secara otomatis menghasilkan konten untuk berbagai industri, mulai dari jurnalistik, real estat, hingga laporan cuaca dan olahraga.
- Memilih dan menyusun konten sumber, merencanakan kalimat, dan mempersiapkan sistem untuk penghasilan konten asli secara otomatis.
- Mengerti pipa NLG dan menerapkan teknik yang tepat pada setiap tahapan.
- Mengerti arsitektur dari suatu sistem Natural Language Generation (NLG).
- Implementasi algoritma dan model paling sesuai untuk analisis dan pengejajaran.
- Mendapatkan data dari sumber data publik serta database yang dirawat untuk digunakan sebagai bahan teks yang dihasilkan.
- Menggantikan proses penulisan manual dan melelahkan dengan penciptaan konten otomatis oleh komputer.
Pemeriksaan Unit dengan Python
21 JamDalam pelatihan ini yang dipimpin instruktur secara langsung di Indonesia, peserta akan mempelajari cara menggunakan PyTest untuk menulis uji coba yang singkat, dapat dipertahankan, elegan, ekspresif dan dapat dibaca.
Pada akhir pelatihan ini, peserta akan mampu untuk:
- Menulis uji coba yang dapat dibaca dan dipertahankan tanpa memerlukan kode boilerplate.
- Menggunakan model fixture untuk menulis uji coba yang kecil.
- Menskalakan uji coba hingga pengujian fungsi yang kompleks untuk aplikasi, paket, dan perpustakaan.
- Memahami dan menerapkan fitur PyTest seperti hooks, assert rewriting dan plug-ins.
- Mengurangi waktu uji coba dengan menjalankan uji coba secara bersamaan dan di beberapa proses.
- Menjalankan uji coba di lingkungan integrasi kontinu bersama dengan utilitas lain seperti tox, mock, coverage, unittest, doctest dan Selenium.
- Menggunakan Python untuk menguji aplikasi non-Python.
Advanced Machine Learning dengan Python
21 JamDalam pelatihan langsung yang dipandu instruktur di Indonesia ini, peserta akan mempelajari teknik pembelajaran mesin yang paling relevan dan mutakhir di Python saat mereka membangun serangkaian aplikasi demo yang melibatkan gambar, musik, teks, dan data keuangan.
Pada akhir pelatihan ini, peserta akan dapat:
- Menerapkan algoritma dan teknik pembelajaran mesin untuk memecahkan masalah yang rumit.
- Terapkan pembelajaran mendalam dan pembelajaran semi-terawasi pada aplikasi yang melibatkan gambar, musik, teks, dan data keuangan.
- Dorong algoritma Python ke potensi maksimalnya.
- Gunakan pustaka dan paket seperti NumPy dan Theano.
Python: Mengautomasikan Hal-hal Mematikan
14 JamPelatihan langsung yang dipandu oleh instruktur ini, di Indonesia, didasarkan pada buku populer, "Automate the Boring Stuff with Python", oleh Al Sweigart. Ditujukan untuk pemula dan mencakup konsep pemrograman Python penting melalui latihan dan diskusi langsung yang praktis. Fokusnya adalah mempelajari cara menulis kode untuk secara dramatis meningkatkan produktivitas kantor.
Pada akhir pelatihan ini, peserta akan mengetahui cara memprogram dalam Python dan menerapkan keterampilan baru ini untuk:
- Mengotomatiskan tugas dengan menulis program Python sederhana.
- Menulis program yang dapat melakukan pengenalan pola teks dengan "regular expressions".
- Membuat dan memperbarui spreadsheet Excel secara terprogram.
- Mem-parsing PDF dan dokumen Word.
- Merayapi situs web dan mengambil informasi dari sumber online.
- Menulis program yang mengirimkan notifikasi email.
- Menggunakan alat debugging Python untuk menyelesaikan bug dengan cepat.
- Mengontrol mouse dan keyboard secara terprogram untuk mengklik dan mengetik untuk Anda.
Pelatihan Python Lanjutan - 4 Hari
28 JamPelatihan online langsung atau tatap muka di Indonesia ini, yang dipandu oleh instruktur, ditujukan bagi pengembang yang ingin mempelajari teknik pemrograman Python lanjutan, termasuk cara mengaplikasikan bahasa yang fleksibel ini untuk menyelesaikan masalah di bidang seperti aplikasi terdistribusi, analisis dan visualisasi data, pengembangan UI, dan scripting perawatan.
Kursus Pengenalan Python Programming - 4 hari
28 JamKursus ini dirancang bagi mereka yang ingin mempelajari bahasa pemrograman Python. Penekanannya adalah pada bahasa Python, pustaka inti, serta pemilihan pustaka terbaik dan paling berguna yang dikembangkan oleh komunitas Python. Python mendorong bisnis dan digunakan oleh para ilmuwan di seluruh dunia – ini adalah salah satu bahasa pemrograman paling populer.
Kursus ini dapat disampaikan menggunakan versi Python 3.x terbaru dengan latihan praktis yang memanfaatkan kekuatan penuhnya. Kursus ini dapat disampaikan pada sistem operasi apa pun (semua varian UNIX, termasuk Linux dan Mac OS X, serta Microsoft Windows).
Latihan praktis menyusun sekitar 70% dari waktu kursus, dan sekitar 30% adalah demonstrasi dan presentasi. Diskusi dan pertanyaan dapat diajukan sepanjang kursus.
Catatan: pelatihan dapat disesuaikan dengan kebutuhan spesifik atas permintaan sebelumnya sebelum tanggal kursus yang diusulkan.
Automasi Pengujian dengan Selenium dan Python
14 JamDalam pelatihan yang dipandu instruktur ini di Indonesia, peserta menggabungkan kekuatan dari Python dengan Selenium untuk memperototomatisasi pengujian aplikasi web contoh. Dengan menggabungkan teori dan praktik dalam lingkungan laboratorium langsung, peserta akan mendapatkan pengetahuan dan latihan yang diperlukan untuk memperototomatisasi proyek pengujian web mereka sendiri menggunakan Python dan Selenium.