raspagem-de-dados-fatec

raspagem-de-dados-fatec copied to clipboard

Raspagem de dados Web com Python @ FATEC Jundiaí

Minicurso reallizado durante a Semana de Tecnologia 2017 na Fatec Jundiaí

Nós participamos do curso Hackeando Dados Públicos usando Python com o Fernando Masanori, onde aprendemos técnicas muuuito legais e decidimos levar o nosso aprendizado para a Semana de Tecnologia da Fatec. Os exemplos utilizados continuarão disponíveis aqui.

O que é

A raspagem de dados (data scraping) é uma técnica computacional de coleta automatizada de dados. Durante o curso focaremos no web scraping, cuja finalidade consiste em extrair dados que podem ser visualizados em um navegador web.

Pré-requisitos

• Instalação do Python 3

• Instalação das bibliotecas. A partir do terminal de comando execute:

pip install beautifulsoup4 requests numpy scipy matplotlib

:heavy_exclamation_mark: Estas recomendações são necessárias para quem optar por levar o próprio notebook. Pediremos ao Nathan pra deixar os computadores do laboratório já preparados no dia! :confetti_ball:

:small_orange_diamond: Para os scripts que usaremos durante o minicurso, a instalação do beautifulsoup4 é suficiente. numpy, scipy e matplotlib serão utilizadas apenas em exemplos mais avançados que envolvem visualização de dados e não serão abordados durante a apresentação devido ao tempo.

Para garantir que a instalação foi realizada com sucesso, abra o console Python, faça a importação da biblioteca e chame pela classe BeautifulSoup:

>>> from bs4 import BeautifulSoup
>>> BeautifulSoup
<class 'bs4.BeautifulSoup'>

Exemplos de projetos que fazem uso de raspagem de dados:

• Love Mondays
• Operação Serenata de Amor
• SACSP
• TrainWay

Para saber mais:

• Github do Marco Tulio Pires
• Repositório de treinamento do Masanori
• Livro Web Scraping com Python

Nossa equipe:

• Ana Carolina Lopes (@anacls)
• Jennifer Martins (@jeemartins)
• Lidiane Taquehara (@lidimayra)
• Mikaeri Ohana (@miohana)