Back to questions
Junior — Middle
63
Каким образом можно реализовать автоматизированный сбор информации с веб-страницы с использованием JavaScript?
Answer from AI
sobes.tech AI
Для автоматизированного сбора информации с веб-страницы на JavaScript можно использовать скрипты, которые выполняются в браузере или в средах типа Node.js с библиотеками для парсинга HTML.
Пример в браузере — использование DOM API для извлечения данных:
// Получить все заголовки h2 на странице
const headers = Array.from(document.querySelectorAll('h2')).map(h => h.textContent);
console.log(headers);
Если нужно автоматизировать сбор с внешних сайтов, обычно используют Node.js с библиотеками вроде Puppeteer или Cheerio:
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://example.com');
// Извлечь заголовки h2
const headers = await page.$$eval('h2', elements => elements.map(el => el.textContent));
console.log(headers);
await browser.close();
})();
Такой подход позволяет автоматически заходить на страницы, ждать загрузки контента и извлекать нужные данные.