Sobes.tech
Back to questions
Junior — Middle
63

Каким образом можно реализовать автоматизированный сбор информации с веб-страницы с использованием JavaScript?

Answer from AI

sobes.tech AI

Для автоматизированного сбора информации с веб-страницы на JavaScript можно использовать скрипты, которые выполняются в браузере или в средах типа Node.js с библиотеками для парсинга HTML.

Пример в браузере — использование DOM API для извлечения данных:

// Получить все заголовки h2 на странице
const headers = Array.from(document.querySelectorAll('h2')).map(h => h.textContent);
console.log(headers);

Если нужно автоматизировать сбор с внешних сайтов, обычно используют Node.js с библиотеками вроде Puppeteer или Cheerio:

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://example.com');

  // Извлечь заголовки h2
  const headers = await page.$$eval('h2', elements => elements.map(el => el.textContent));
  console.log(headers);

  await browser.close();
})();

Такой подход позволяет автоматически заходить на страницы, ждать загрузки контента и извлекать нужные данные.