Introduction and Data Scraping on Dr Mahamadou KANTE

Data Collection via API

Mon, 01 Jan 0001 00:00:00 +0000

Scraping avec les APIs

Introduction aux APIs

Qu’est-ce qu’une API

Une API (Interface de Programmation d’Applications) est un ensemble de définitions et de protocoles qui permet à différents logiciels de communiquer entre eux. Elle sert d’intermédiaire pour échanger des informations de manière structurée.

Exemple : une API est comme un serveur dans un restaurant. Vous (le client) passez votre commande au serveur (API), qui va la chercher en cuisine (le serveur de données) et vous apporte le plat (les données).

HTTrack

Mon, 01 Jan 0001 00:00:00 +0000

1. HTTrack

Qu’est-ce que HTTrack

HTTrack est un logiciel libre et open-source qui vous permet de télécharger et copier des sites web pour les consulter hors ligne. Il est particulièrement utile pour le scraping de sites web statiques ou semi-dynamiques.

Installation de HTTrack

Pour installer HTTrack :

Téléchargez HTTrack depuis ce lien.

2. Installez le logiciel en suivant les instructions sur votre système d’exploitation (Windows, macOS, Linux).

Utilisation de HTTrack

Une fois installé, voici comment utiliser HTTrack pour copier un site web :

Lobstr

Mon, 01 Jan 0001 00:00:00 +0000

Lobstr

Lobstr est un outil en ligne qui facilite l’extraction de données comme Octoparse sans nécessiter de compétences en programmation. Il est particulièrement utile pour les chercheurs, les analystes et toute personne souhaitant collecter des tweets sur des sujets spécifiques, des hashtags ou des comptes utilisateurs. En effet, même en mode gratuit, Lobstr nous permet d’extraire des données de X, bien que de manière limitée, évidemment !

Description de Lobstr

1. Facilité d’utilisation

Interface intuitive : Lobstr propose une interface conviviale qui permet de configurer des requêtes de recherche Twitter sans effort.
Pas de codage requis : aucune compétence en programmation n’est nécessaire pour utiliser cet outil.

2. Collecte de données depuis Twitter

En commençant par les modules de scraping pour X (Twitter), Lobstr propose 3 scrapers pour extraire des données des profils Twitter, des tweets des utilisateurs et même des tendances Twitter et des résultats de recherche d’un hashtag par exemple.

No-Code Tools

Mon, 01 Jan 0001 00:00:00 +0000

No-Code Scraping Tools

In this first section, we explore different graphical tools that let you scrape data without writing a single line of code. These tools are designed to extract information from websites and online platforms.

Tools Presented in This Section

1. HTTrack

Description: HTTrack is a free and open-source tool that lets you copy websites for offline browsing. It is often used to extract the content of web pages.
Use: we look at how to use HTTrack to clone websites and extract specific information without touching a line of code.
Strengths:
- easy to use;
- intuitive graphical interface;
- available in French.

2. Web Scraper (Chrome Extension)

Description: Web Scraper is a browser extension that lets you scrape data directly from web pages through a simple interface.
Use: you will learn how to configure and use Web Scraper to extract structured data such as tables or lists from websites.
Strengths:
- easy to install;
- direct integration with Chrome;
- easy export to CSV or JSON.

3. Octoparse

Description: Octoparse is a no-code data scraping tool that extracts information from websites through a graphical interface. It is well suited to non-technical users and can scrape both static and dynamic data, including content loaded with JavaScript.
Strengths:
- no-code interface;
- support for dynamic websites;
- multilingual interface;
- free plan with basic features;
- easy export to CSV, JSON, and Excel.

4. Lobstr

Description: an online tool that simplifies data extraction, much like Octoparse, without requiring programming skills. It is especially useful for researchers, analysts, and anyone wanting to collect tweets about specific topics, hashtags, or user accounts.
Strengths:
- no-code interface;
- support for dynamic websites;
- free plan with basic features;
- export to CSV, JSON, and Excel.

5. Scrapy-GUI

Description: Scrapy-GUI is a graphical interface for the Scrapy framework, making it possible to scrape data without writing code. It simplifies the creation of spiders and the extraction of data from websites for non-technical users.
Strengths:
- intuitive interface;
- uses the power of Scrapy for more complex sites;
- open source and customizable.

Concepts Covered

Scraping ethics: it is important to respect website terms of use and privacy policies when scraping. We discuss recommended practices and legal limits.
Limits of no-code scraping: although these tools are powerful, they also have limits, especially in terms of flexibility and handling dynamic websites.

For anyone who wants to go further, this space also includes a module on learning programming and discovering programming languages, designed to remain accessible to non-specialists and beginners.

Octoparse

Mon, 01 Jan 0001 00:00:00 +0000

Octoparse

Octoparse est une solution puissante et sans code pour le scraping de données. Il permet de configurer des projets de scraping de manière visuelle, sans avoir à coder. Octoparse est disponible en plusieurs langues, dont le français, et offre des fonctionnalités avancées telles que le scraping de sites dynamiques, la gestion de la pagination, et l’exportation de données au format CSV ou JSON.

Installation et inscription

Étapes d’installation :

Inscription :
- Rendez-vous sur le site Octoparse et créez un compte gratuit.
- L’interface est disponible en français, facilitant la prise en main.

Scrapy-GUI

Mon, 01 Jan 0001 00:00:00 +0000

Scrapy-GUI

Scrapy-GUI est une interface graphique pour le célèbre framework Scrapy, permettant de créer des spiders et de scraper des données sans écrire de code. Il rend l’utilisation de Scrapy accessible aux utilisateurs non techniques via une interface visuelle.

Installation de Scrapy-GUI

Étapes d’installation :

Assurez-vous d’avoir Python installé sur votre machine. Download ici.
Installez Scrapy-GUI via pip en exécutant la commande suivante :

    pip install scrapy-GUI

Une fois installé, lancez l’application avec la commande suivante :

    scrapy-gui 
    ou 
    scrapy_gui.open_browser()

Cela ouvrira l’interface graphique de Scrapy où vous pourrez configurer vos projets de scraping.

Twitter API V2

Mon, 01 Jan 0001 00:00:00 +0000

Collecting Data with the Twitter API V2

In this section, we explore how to use the Twitter API V2 to collect data from Twitter. This includes the full process, from creating a Twitter developer account to setting up a Google Colab environment for running API queries and retrieving data in real time.

Step 1: Create a Twitter Developer Account

To use the Twitter API, you first need a Twitter developer account:

Web Scraper (Chrome Extension)

Mon, 01 Jan 0001 00:00:00 +0000

Web Scraper (Extension Chrome)

Web Scraper est une extension gratuite pour le navigateur Chrome qui vous permet de scraper des données depuis des pages web. Il est idéal pour les utilisateurs sans compétences en programmation qui souhaitent collecter des informations structurées telles que des tableaux, des listes ou des articles.

Introduction à Web Scraper

Qu’est-ce que Web Scraper

Web Scraper est un outil très intuitif permettant de créer des plans de scraping (appelés sitemaps) pour extraire des données de manière automatique. Vous pouvez configurer l’extension pour capturer différents types de données (texte, images, URLs) en fonction de la structure des pages web.