Web Scraping with Python Training Course
Web Scraping adalah teknik untuk mengekstrak data dari sebuah situs web lalu menyimpannya ke file lokal atau database.
Pelatihan langsung (online atau onsite) ini ditujukan bagi para pengembang yang ingin menggunakan Python untuk mengotomatiskan proses crawling banyak situs web guna mengekstrak data untuk pemrosesan dan analisis.
Di akhir pelatihan ini, peserta akan dapat:
- Menginstal dan mengonfigurasi Python dan semua paket yang relevan.
- Mengambil dan mengurai data yang disimpan di banyak situs web.
- Memahami cara kerja situs web dan bagaimana HTML mereka terstruktur.
- Membuat spider untuk melakukan crawling web dalam skala besar.
- Menggunakan Selenium untuk melakukan crawling halaman web yang digerakkan oleh AJAX.
Format Kursus
- Ceramah dan diskusi interaktif.
- Banyak latihan dan praktik.
- Implementasi langsung di lingkungan lab langsung.
Opsi Kustomisasi Kursus
- Kursus ini mengasumsikan pengetahuan tentang pemrograman.
- Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk mengatur.
Course Outline
Pengantar
Mengatur Lingkungan Pengembangan
Python Praktikum: Struktur Data, Kondisional, Penanganan File, dll.
Python Paket untuk Web Scraping: Scrapy dan BeautifulSoup
Bagaimana Sebuah Situs Web Berfungsi
Bagaimana HTML Terstruktur
Membuat Permintaan Web
Mengekstrak Data dari Halaman HTML
Bekerja dengan XPath dan CSS
Memfilter Data Menggunakan Regular Expressions
Membuat Penelusur Web
Menelusuri Halaman AJAX dan JavaScript dengan Selenium.
Praktik Terbaik Web Scraping
Pemecahan Masalah
Ringkasan dan Kesimpulan
Requirements
- Programming pengalaman, sebaiknya di Python. Jika peserta memiliki pengalaman pemrograman dalam bahasa selain Python, pelatihan dapat diperluas untuk mencakup latihan Python yang lebih pengantar.
Peserta
- Pengembang
Open Training Courses require 5+ participants.
Web Scraping with Python Training Course - Booking
Web Scraping with Python Training Course - Enquiry
Web Scraping with Python - Consultancy Enquiry
Consultancy Enquiry
Testimonials (1)
Many different examples and topics has been covered, from basic investigation to login management and dynamic page management.
Daniele Tagliaferro - Creditsafe Italia Srl
Course - Web Scraping with Python
Upcoming Courses (Minimal 5 peserta)
Related Courses
BDD with Python and Behave
7 HoursPelatihan langsung yang dipandu oleh instruktur ini dimulai dengan diskusi tentang BDD dan bagaimana kerangka kerja Behave dapat digunakan untuk melakukan pengujian BDD untuk aplikasi web. Peserta diberikan banyak kesempatan untuk berinteraksi dengan instruktur dan rekan-rekan mereka saat menerapkan konsep dan taktik yang dipelajari dalam lingkungan lab berbasis praktik langsung ini.
Di akhir pelatihan ini, peserta akan memiliki pemahaman yang kuat tentang BDD dan Behave, serta praktik yang diperlukan untuk menerapkan teknik dan alat ini dalam skenario pengujian dunia nyata.
Scaling Data Analysis with Python and Dask
14 HoursPelatihan langsung oleh instruktur di Indonesia (online atau di tempat) ini ditujukan kepada ilmuwan data dan insinyur perangkat lunak yang ingin menggunakan Dask dengan ekosistem Python untuk membangun, meng skalakan, dan menganalisis dataset besar.
Setelah pelatihan ini selesai, peserta akan dapat:
- Mengatur lingkungan untuk memulai pengolahan data besar dengan Dask dan Python.
- Mengexploitasi fitur, perpustakaan, alat, dan API yang tersedia dalam Dask.
- Memahami bagaimana Dask mempercepat komputasi paralel di Python.
- Mempelajari cara meng skalakan ekosistem Python (Numpy, SciPy, dan Pandas) menggunakan Dask.
- Memaksimalkan lingkungan Dask untuk mempertahankan kinerja tinggi dalam menangani dataset besar.
Data Analysis with Python, Pandas and Numpy
14 HoursThis instructor-led, live training in Indonesia (online or onsite) is aimed at intermediate-level Python developers and data analysts who wish to enhance their skills in data analysis and manipulation using Pandas and NumPy.
By the end of this training, participants will be able to:
- Set up a development environment that includes Python, Pandas, and NumPy.
- Create a data analysis application using Pandas and NumPy.
- Perform advanced data wrangling, sorting, and filtering operations.
- Conduct aggregate operations and analyze time series data.
- Visualize data using Matplotlib and other visualization libraries.
- Debug and optimize their data analysis code.
FARM (FastAPI, React, and MongoDB) Full Stack Development
14 HoursThis instructor-led, live training in (online or onsite) is aimed at developers who wish to use the FARM (FastAPI, React, and MongoDB) stack to build dynamic, high-performance, and scalable web applications.
By the end of this training, participants will be able to:
- Set up the necessary development environment that integrates FastAPI, React, and MongoDB.
- Understand the key concepts, features, and benefits of the FARM stack.
- Learn how to build REST APIs with FastAPI.
- Learn how to design interactive applications with React.
- Develop, test, and deploy applications (front end and back end) using the FARM stack.
Developing APIs with Python and FastAPI
14 HoursPelatihan langsung yang dipandu oleh instruktur ini, di Indonesia (online atau onsite), ditujukan untuk para pengembang yang ingin menggunakan FastAPI dengan Python untuk membangun, menguji, dan menerapkan RESTful API dengan lebih mudah dan cepat.
Di akhir pelatihan ini, peserta akan dapat:
- Menyiapkan lingkungan pengembangan yang diperlukan untuk mengembangkan API dengan Python dan FastAPI.
- Membuat API lebih cepat dan mudah menggunakan pustaka FastAPI.
- Mempelajari cara membuat model data dan skema berdasarkan Pydantic dan OpenAPI.
- Menghubungkan API ke database menggunakan SQLAlchemy.
- Menerapkan keamanan dan autentikasi di API menggunakan alat FastAPI.
- Membuat image container dan menerapkan web API ke server cloud.
Machine Learning with Python – 2 Days
14 HoursTujuan dari kursus ini adalah untuk memberikan keterampilan dasar dalam menerapkan Machine Learning metode dalam praktek. Melalui penggunaan bahasa pemrograman Python dan berbagai perpustakaan, dan berdasarkan banyak contoh praktis, kursus ini mengajarkan bagaimana menggunakan blok bangunan yang paling penting Machine Learning, bagaimana membuat keputusan pemodelan data, menafsirkan output algoritma dan validasi hasil.
Tujuan kami adalah untuk memberi Anda keterampilan untuk memahami dan menggunakan alat-alat yang paling mendasar dari Machine Learning kotak alat dengan aman dan menghindari kegagalan umum dari Data Science aplikasi.
Machine Learning with Python – 4 Days
28 HoursTujuan dari kursus ini adalah untuk memberikan kemampuan umum dalam menerapkan metode Machine Learning secara praktis. Melalui penggunaan bahasa pemrograman Python dan berbagai perpustakaannya, serta berdasarkan banyak contoh praktis, kursus ini mengajarkan bagaimana menggunakan blok bangunan terpenting dari Machine Learning, membuat keputusan dalam pemodelan data, menafsirkan hasil algoritma, dan memvalidasi hasil.
Tujuan kami adalah memberikan keterampilan kepada Anda untuk memahami dan menggunakan alat-alat paling dasar dari kotak peralatan Machine Learning dengan percaya diri serta menghindari jebakan-jebakan umum dalam aplikasi Data Science.
Accelerating Python Pandas Workflows with Modin
14 HoursPelatihan langsung yang dipimpin instruktur di Indonesia (online atau di tempat) ini ditujukan untuk ilmuwan data dan pengembang yang ingin menggunakan Modin untuk membangun dan menerapkan komputasi paralel dengan Pandas untuk analisis data yang lebih cepat.
Pada akhir pelatihan ini, peserta akan dapat:
- Siapkan lingkungan yang diperlukan untuk mulai mengembangkan Pandas alur kerja berskala dengan Modin.
- Memahami fitur, arsitektur, dan keuntungan Modin.
- Ketahui perbedaan antara Modin, Dask, dan Ray.
- Lakukan operasi Pandas lebih cepat dengan Modin.
- Terapkan seluruh API dan fungsi Pandas.
Python for Natural Language Generation (NLG)
21 HoursDalam pelatihan bertutor langsung ini di Indonesia, peserta akan belajar menggunakan Python untuk menghasilkan teks bahasa alami berkualitas tinggi dengan membangun sistem NLG sendiri dari awal. Studi kasus juga akan dianalisis dan konsep-konsep yang relevan akan diterapkan pada proyek laboratorium langsung untuk menghasilkan konten.
Selesai pelatihan ini, peserta akan dapat:
- Menggunakan NLG untuk secara otomatis menghasilkan konten untuk berbagai industri, mulai dari jurnalistik, real estat, hingga laporan cuaca dan olahraga.
- Memilih dan menyusun konten sumber, merencanakan kalimat, dan mempersiapkan sistem untuk penghasilan konten asli secara otomatis.
- Mengerti pipa NLG dan menerapkan teknik yang tepat pada setiap tahapan.
- Mengerti arsitektur dari suatu sistem Natural Language Generation (NLG).
- Implementasi algoritma dan model paling sesuai untuk analisis dan pengejajaran.
- Mendapatkan data dari sumber data publik serta database yang dirawat untuk digunakan sebagai bahan teks yang dihasilkan.
- Menggantikan proses penulisan manual dan melelahkan dengan penciptaan konten otomatis oleh komputer.
Unit Testing with Python
21 HoursIn this instructor-led, live training in Indonesia, participants will learn how to use PyTest to write short, maintainable tests that are elegant, expressive and readable.
By the end of this training, participants will be able to:
- Write readable and maintainable tests without the need for boilerplate code.
- Use the fixture model to write small tests.
- Scale tests up to complex functional testing for applications, packages, and libraries.
- Understand and apply PyTest features such as hooks, assert rewriting and plug-ins.
- Reduce test times by running tests in parallel and across multiple processors.
- Run tests in a continuous integration environment, together with other utilities such as tox, mock, coverage, unittest, doctest and Selenium.
- Use Python to test non-Python applications.
Advanced Machine Learning with Python
21 HoursDalam pelatihan langsung yang dipandu instruktur di Indonesia ini, peserta akan mempelajari teknik pembelajaran mesin yang paling relevan dan mutakhir di Python saat mereka membangun serangkaian aplikasi demo yang melibatkan gambar, musik, teks, dan data keuangan.
Pada akhir pelatihan ini, peserta akan dapat:
- Menerapkan algoritma dan teknik pembelajaran mesin untuk memecahkan masalah yang rumit.
- Terapkan pembelajaran mendalam dan pembelajaran semi-terawasi pada aplikasi yang melibatkan gambar, musik, teks, dan data keuangan.
- Dorong algoritma Python ke potensi maksimalnya.
- Gunakan pustaka dan paket seperti NumPy dan Theano.
Python: Automate the Boring Stuff
14 HoursPelatihan langsung yang dipandu oleh instruktur ini, di Indonesia, didasarkan pada buku populer, "Automate the Boring Stuff with Python", oleh Al Sweigart. Ditujukan untuk pemula dan mencakup konsep pemrograman Python penting melalui latihan dan diskusi langsung yang praktis. Fokusnya adalah mempelajari cara menulis kode untuk secara dramatis meningkatkan produktivitas kantor.
Pada akhir pelatihan ini, peserta akan mengetahui cara memprogram dalam Python dan menerapkan keterampilan baru ini untuk:
- Mengotomatiskan tugas dengan menulis program Python sederhana.
- Menulis program yang dapat melakukan pengenalan pola teks dengan "regular expressions".
- Membuat dan memperbarui spreadsheet Excel secara terprogram.
- Mem-parsing PDF dan dokumen Word.
- Merayapi situs web dan mengambil informasi dari sumber online.
- Menulis program yang mengirimkan notifikasi email.
- Menggunakan alat debugging Python untuk menyelesaikan bug dengan cepat.
- Mengontrol mouse dan keyboard secara terprogram untuk mengklik dan mengetik untuk Anda.
Advanced Python - 4 Days
28 HoursThis instructor-led, live training in Indonesia (online or onsite) is aimed at developers who wish to learn advanced Python programming techniques, including how to apply this versatile language to solve problems in areas such as distributed applications, data analysis and visualization, UI programming and maintenance scripting.
Python Programming - 4 days
28 HoursKursus ini dirancang bagi mereka yang ingin mempelajari bahasa pemrograman Python. Penekanannya adalah pada bahasa Python, pustaka inti, serta pemilihan pustaka terbaik dan paling berguna yang dikembangkan oleh komunitas Python. Python mendorong bisnis dan digunakan oleh para ilmuwan di seluruh dunia – ini adalah salah satu bahasa pemrograman paling populer.
Kursus ini dapat disampaikan menggunakan versi Python 3.x terbaru dengan latihan praktis yang memanfaatkan kekuatan penuhnya. Kursus ini dapat disampaikan pada sistem operasi apa pun (semua varian UNIX, termasuk Linux dan Mac OS X, serta Microsoft Windows).
Latihan praktis menyusun sekitar 70% dari waktu kursus, dan sekitar 30% adalah demonstrasi dan presentasi. Diskusi dan pertanyaan dapat diajukan sepanjang kursus.
Catatan: pelatihan dapat disesuaikan dengan kebutuhan spesifik atas permintaan sebelumnya sebelum tanggal kursus yang diusulkan.
Test Automation with Selenium and Python
14 HoursDalam pelatihan yang dipandu instruktur ini di Indonesia, peserta menggabungkan kekuatan dari Python dengan Selenium untuk memperototomatisasi pengujian aplikasi web contoh. Dengan menggabungkan teori dan praktik dalam lingkungan laboratorium langsung, peserta akan mendapatkan pengetahuan dan latihan yang diperlukan untuk memperototomatisasi proyek pengujian web mereka sendiri menggunakan Python dan Selenium.