webentwicklung-frage-antwort-db.com.de

Wie kann ich mit Puppenspielern Bilder auf eine Seite herunterladen?

Ich bin neu im Web Scraping und möchte alle Bilder auf einer Webseite mit Puppenspieler herunterladen:

const puppeteer = require('puppeteer');

let scrape = async () => {
  // Actual Scraping goes Here...

  const browser = await puppeteer.launch({headless: false});
  const page = await browser.newPage();
  await page.goto('https://memeculture69.tumblr.com/');

  //   Right click and save images

};

scrape().then((value) => {
    console.log(value); // Success!
});

Ich habe mir die API‌-Dokumente angesehen, konnte aber nicht herausfinden, wie ich dies erreichen kann. Also danke für deine Hilfe.

9
supermario

Es ist möglich, alle Bilder abzurufen, ohne jede URL einzeln zu besuchen. Sie müssen alle Anforderungen an den Server abhören:

await page.setRequestInterception(true)
await page.on('request', function (request) {
   request.continue()
})
await page.on('response', async function (response) {
   // Filter those responses that are interesting
   const data = await response.buffer()
   // data contains the img information
})
0