Какие инструменты или библиотеки ты используешь или знаешь для автоматизации сбора данных с веб-сайтов?

Для автоматизации сбора данных с веб-сайтов на Python часто используют следующие инструменты и библиотеки:

• Requests — для отправки HTTP-запросов и получения HTML-страниц.
• BeautifulSoup — для парсинга и извлечения данных из HTML или XML.
• Scrapy — мощный фреймворк для создания сложных веб-краулеров и парсеров.
• Selenium — для автоматизации браузера, полезен для сайтов с динамическим контентом на JavaScript.

Пример простого скрипта с Requests и BeautifulSoup:

import requests
from bs4 import BeautifulSoup

url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

for item in soup.find_all('h2'):
    print(item.text)

Этот код скачивает страницу и выводит текст всех заголовков h2.