Wie man Websites scrapt, ohne gesperrt zu werden

Jedes ernsthafte Web-Schrottprojekt trifft schließlich die gleiche Wand: Ihre Anfragen beginnen, CAPTCHAs, 403 Fehler oder leere Seiten zurückzugeben. Webseiten sind bemerkenswert gut geworden, um automatisierten Verkehr zu erkennen, und das Waffenrennen zwischen Abstreifern und Anti-Bot-Systemen ist intensiver als je zuvor. Ob Sie Preisdaten sammeln, Konkurrenteninhalte überwachen oder Datensätze für KI-Ausbildung erstellen, lernen Webseiten ohne blockiert zu werden ist nicht mehr optional — es ist grundlegend für jede zuverlässige Datenpipeline.

Diese Anleitung deckt die technischen Gründe hinter Blöcken ab, die Erkennungssignale moderne Anti-Bot-Systeme suchen und bewährte Strategien, um Ihre Schaber reibungslos laufen zu lassen. Wir beinhalten Arbeitscode-Beispiele Wohngebiete um zu zeigen, wie diese Konzepte in produktionsbereite Implementierungen übersetzen.

Warum Webseiten Scrapers blockieren

Bevor Sie das Problem lösen, hilft es zu verstehen, was Sie gegen. Websites setzen Anti-Bot-Maßnahmen aus mehreren legitimen Gründen ein:

• Infrastruktur — Aggressive Abstreifung kann Server überwältigen, die Leistung für echte Benutzer abbauen und Hosting-Kosten aufblasen.
• Inhaltsschutz — Publisher, E-Commerce-Websites und Datenanbieter wollen verhindern, dass Wettbewerber ihre Daten im Maßstab kopieren.
• Sicherheit — Automatisierte Verkehrsmuster überlappen sich mit Anmeldestopfen, DDoS-Angriffen und Sicherheitsscannungen.
• Einhaltung der Vorschriften — Websites, die personenbezogene Daten verarbeiten, können den automatisierten Zugriff auf die Einhaltung der Datenschutzbestimmungen beschränken.

Moderne Webseiten verlassen sich auf spezialisierte Anti-Bot-Dienste wie Cloudflare Bot Management, Akamai Bot Manager, PerimeterX und DataDome. Diese Dienste analysieren den Verkehr in Echtzeit mit einer Kombination von Signalen, und sie teilen Intelligenz in ihren Netzwerken - das bedeutet, dass ein Muster, das auf einer Website markiert ist, kann Blöcke über Tausende von anderen auslösen.

Erkennungssignale, die Sie blockieren

Anti-Bot-Systeme verlassen sich selten auf einen einzigen Indikator. Sie bauen ein Risiko-Score aus mehreren Signalen und Block-Anfragen, die eine Schwelle überschreiten. Hier sind die Schlüsseldetektionsvektoren:

IP Adresse Reputation

Das ist das grundlegendste Signal. Datacenter IP-Bereiche sind gut dokumentiert und tragen inhärent höhere Risikopunkte. Wenn Ihre Anfragen von AWS, Google Cloud oder einem bekannten Hosting Provider stammen, werden viele Anti-Bot-Systeme diese sofort herausfordern oder blockieren. Selbst mit Wohn-IPs, senden zu viele Anfragen von einer einzigen Adresse wird es markiert. IP-Reputationsdatenbanken werden in Echtzeit aktualisiert, und eine verbrannte IP kann für Wochen in schwarzer Liste bleiben.

Anfrage Rate und Musteranalyse

Die Menschen bitten nicht 50 Seiten pro Sekunde mit perfekt einheitlichen Intervallen. Anti-Bot-Systeme verfolgen Anforderung Frequenz, Timing-Muster und Navigationsfluss. Das Scraping, das einem perfekt sequentiellen Weg durch paginierte Ergebnisse folgt - mit identischen Verzögerungen zwischen Anfragen - sieht mechanisch aus, auch wenn die Rate konservativ ist.

HTTP Fingerprinting

Jeder HTTP-Client hat einen markanten Fingerabdruck basierend auf der Kombination von Headern, die er sendet: die Reihenfolge der Header, TLS-Handshake-Eigenschaften (JA3/JA4 Fingerabdrücke), HTTP/2-Einstellungen Frames und Header-Werte. A Python requests Bibliothek hat einen völlig anderen Fingerabdruck als Chrome. Anti-Bot-Systeme pflegen Datenbanken bekannter Browser Fingerabdrücke und Flagge alles, was nicht passt.

Browser Fingerprinting und JavaScript Challenges

Erweiterte Anti-Bot-Systeme dienen JavaScript-Herausforderungen, die die Browser-Umgebung inspizieren: Leinwandwiedergabe, WebGL-Funktionen, installierte Schriftarten, Bildschirmauflösung, Zeitzone, Spracheinstellungen und Hunderte anderer Signale. Kopflose Browser wie Puppeteer und Playwright können durch subtile Unterschiede entdeckt werden – fehlende Browser-Plugins, falsche Eigenschaftsdeskriptoren auf Navigator-Objekten oder das Fehlen von erwarteten Rendering-Verhalten.

Verhaltensanalyse

Einige Systeme verfolgen Mausbewegungen, scrollen Muster, und klicken Sie auf Verhalten. Eine Session, die direkt auf datenschwere Seiten navigiert, ohne zuerst die Homepage zu besuchen, oder die nie die Maus bewegt, signalisiert Automatisierung.

Strategien zum Scrape ohne Blockieren

1. Verwenden Sie gebietsbezogene Proxies für die IP-Drehung

Die einzige effektivste Verteidigung gegen IP-basierte Blockierung wird Ihre Anfragen durch Wohngebiete. Wohn-IPs gehören zu echten ISPs und tragen den gleichen Ruf wie normale Haushalts-Internetverbindungen. Anti-Bot-Systeme können Wohnbereiche nicht sperren, ohne legitime Benutzer zu beeinflussen.

Effektive Proxy-Rotation bedeutet, jeder Anfrage oder kleinen Anzahl von Anfragen eine andere IP zuzuordnen. Für sitzungsabhängiges Abkratzen (wo Sie den Login-Zustand beibehalten oder mehrseitige Ströme navigieren müssen), verwenden Sie klebrige Sitzungen, die das gleiche IP für eine definierte Dauer vor dem Drehen halten.

ProxyHat bietet eine automatische Rotation mit konfigurierbarer Sitzungssteuerung. Sie können IPs von spezifische Länder, Staaten oder Städte Zugang zu geo-beschränkten Inhalten bei gleichzeitiger Aufrechterhaltung von Vertrauenspunkten im Wohnbereich.

2. Craft Realistic HTTP Kopf

Default-Header aus Scraping-Bibliotheken sind ein totes Giveaway. Eine Anfrage von Pythons requests Bibliothek sendet User-Agent: python-requests/2.31.0 — die es sofort als automatisiert markiert. Erstellen Sie Header-Profile, die genau zu echten Browsern passen:

• Strom einstellen, komplett User-Agent string passend zu einer echten Browser-Version
• Inklusive Accept, Accept-Language, Accept-Encoding, und Sec-CH-UA Kopf
• Passen Sie den Headerauftrag an den Browser, den Sie impersonieren
• Drehen zwischen mehreren Browser-Profilen, um einen einzigen Fingerabdruck zu vermeiden
• Einschließlich plausibel Referer header (z.B. eine Suchmaschine Ergebnisse Seite)

3. Implementieren Smart Rate Limiting

Gleichmäßige Verzögerungen sind fast so verdächtig wie keine Verzögerungen. Implementieren Sie zufällige Verzögerungen, die einer realistischen Verteilung folgen:

• Basisverzögerung von 2-5 Sekunden zwischen Anfragen
• Hinzufügen zufälliger Jitter von plus oder minus 30-50%
• Längere Pausen einfügen (15-30 Sekunden) alle 20-50 Anfragen
• Verringern Sie Konkurrenz pro Domain — 2-3 parallele Anfragen maximal
• Ergänzen Sie exponentielle Rückmeldung, wenn Sie Ratenbegrenzungssignale (429 Statuscodes) erhalten

4. Sitzungen und Cookies richtig verwalten

Viele Webseiten weisen Tracking-Cookies auf dem ersten Besuch zu und erwarten diese auf nachfolgenden Anfragen. Ein Abstreifer, der niemals Cookies sendet oder auf jeder Anfrage frische Cookies sendet, löst die Anomalie-Erkennung aus. Bewahren Sie einen Cookie-Jack pro Sitzung und tragen Sie Cookies über Anfragen innerhalb einer logischen Browsersitzung.

5. JavaScript-Rendered Content handle

Für Websites, die JavaScript-Ausführung benötigen, verwenden Sie eine echte Browser-Engine durch Playwright oder Puppeteer. Aber das Laufen von kopflosen Browsern ohne Vorsichtsmaßnahmen ist leicht zu erkennen. Zu den wichtigsten Härtungsschritten gehören:

• Verwendung playwright-extra oder puppeteer-extra mit Stealth Plugins
• Setzen Sie eine realistische Ansichtsgröße (nicht die Standardgröße 800x600)
• WebGL aktivieren und konsistente GPU-Rendererstrings injizieren
• Zeitzone und Lokale einstellen, um den geographischen Lage Ihres Proxys zu entsprechen
• Fügen Sie zufällige Mausbewegungen und scrollen Aktionen, bevor Sie Daten extrahieren

6. Respect robots.txt und Implement Backoff

Während robots.txt in allen Gerichtsbarkeiten nicht rechtsverbindlich ist, zeigt der Respekt vor gutem Glauben. Mehr praktisch, Websites, die sehen, dass Sie ignorieren robots.txt sind wahrscheinlich aggressive Blockierung zu implementieren. Wenden Sie sich immer automatisch an, wenn Sie 429 (Too Many Requests) oder 503 (Service Unavailable) Antworten erhalten – dies sind explizite Signale, um zu verlangsamen.

Code Beispiele: Scraping with ProxyHat Residential Proxies

Die folgenden Beispiele zeigen, wie man Wohn-Proxy-Rotation mit realistischen Kopfzeilen konfiguriert. Jedes Beispiel verwendet das ProxyHat SDK für die jeweilige Sprache. Vollständig API-Dokumentation, siehe die ProxyHat Docs.

Python Beispiel

Installieren Sie das SDK: pip install proxyhat (GitHub)

import time
import random
from proxyhat import ProxyHatClient
client = ProxyHatClient(
    api_key="your_api_key",
    country="US",
    session_type="rotating",  # New IP per request
)
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8",
    "Accept-Language": "en-US,en;q=0.9",
    "Accept-Encoding": "gzip, deflate, br",
    "Sec-CH-UA": '"Chromium";v="131", "Not_A Brand";v="24"',
    "Sec-CH-UA-Mobile": "?0",
    "Sec-CH-UA-Platform": '"Windows"',
}
urls = [
    "https://example.com/page/1",
    "https://example.com/page/2",
    "https://example.com/page/3",
]
for url in urls:
    response = client.get(url, headers=headers)
    print(f"{response.status_code} - {url} via {response.proxy_ip}")
    # Randomized delay: 2-5 seconds with jitter
    delay = random.uniform(2.0, 5.0)
    time.sleep(delay)

Node.js Beispiel

Installieren Sie das SDK: npm install @proxyhat/sdk (GitHub)

const { ProxyHatClient } = require("@proxyhat/sdk");
const client = new ProxyHatClient({
  apiKey: "your_api_key",
  country: "US",
  sessionType: "rotating",
});
const headers = {
  "User-Agent":
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36",
  Accept:
    "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8",
  "Accept-Language": "en-US,en;q=0.9",
};
const urls = [
  "https://example.com/page/1",
  "https://example.com/page/2",
  "https://example.com/page/3",
];
async function scrape() {
  for (const url of urls) {
    const response = await client.get(url, { headers });
    console.log(`${response.status} - ${url} via ${response.proxyIp}`);
    // Randomized delay between requests
    const delay = 2000 + Math.random() * 3000;
    await new Promise((r) => setTimeout(r, delay));
  }
}
scrape();

Beispiel

Installieren Sie das SDK: go get github.com/ProxyHatCom/go-sdk (GitHub)

package main
import (
    "fmt"
    "math/rand"
    "time"
    proxyhat "github.com/ProxyHatCom/go-sdk"
)
func main() {
    client := proxyhat.NewClient(&proxyhat.Config{
        APIKey:      "your_api_key",
        Country:     "US",
        SessionType: proxyhat.Rotating,
    })
    headers := map[string]string{
        "User-Agent":      "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36",
        "Accept":          "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
        "Accept-Language": "en-US,en;q=0.9",
    }
    urls := []string{
        "https://example.com/page/1",
        "https://example.com/page/2",
        "https://example.com/page/3",
    }
    for _, url := range urls {
        resp, err := client.Get(url, proxyhat.WithHeaders(headers))
        if err != nil {
            fmt.Printf("Error: %v\n", err)
            continue
        }
        fmt.Printf("%d - %s via %s\n", resp.StatusCode, url, resp.ProxyIP)
        // Randomized delay: 2-5 seconds
        delay := time.Duration(2000+rand.Intn(3000)) * time.Millisecond
        time.Sleep(delay)
    }
}

Sticky Sessions für Multi-Page Flows

Einige Abstreifaufgaben erfordern die Aufrechterhaltung der gleichen IP-Adresse über mehrere Anfragen – zum Beispiel das Navigieren einer paginierten Produktliste, die Aufrechterhaltung einer eingeloggten Sitzung oder das Ausfüllen eines mehrstufigen Formulars. ProxyHat unterstützt klebrige Sitzungen, die die gleiche Wohn-IP für eine konfigurierbare Dauer halten.

# Python: Sticky session example
from proxyhat import ProxyHatClient
client = ProxyHatClient(
    api_key="your_api_key",
    country="DE",
    session_type="sticky",
    session_ttl=300,  # Same IP for 5 minutes
)
# All requests within the session use the same IP
response1 = client.get("https://example.com/login", headers=headers)
response2 = client.post("https://example.com/login", data=credentials, headers=headers)
response3 = client.get("https://example.com/dashboard", headers=headers)
print(f"Session IP: {response1.proxy_ip}")  # Same IP for all three requests

Häufige Fehler, die Trigger blockiert

Selbst erfahrene Entwickler machen diese Fehler. Jeder kann durch Proxybandbreite brennen und IPs werden unnötig markiert:

• Standard-Bibliotheks-Header verwenden — Die python-requests User-Agent String ist auf jeder Blockliste. Setzen Sie immer benutzerdefinierte Kopfzeilen.
• TLS Fingerabdrücke ignorieren - Deine Kopfzeilen könnten "Chrome" sagen, aber dein TLS-Handshake sagt "Python". Bibliotheken wie verwenden curl_cffi oder tls-client die echten Browser TLS Fingerabdrücke.
• Schabern zu schnell beim ersten Start - Fang langsam an. Ramp up Anfrage Preise allmählich über Stunden, nicht Minuten.
• Nicht anmutig handhabende Fehler — Wiederherstellung blockierter Anfragen sofort mit der gleichen Konfiguration verschwendet Bandbreite und bestätigt, dass Sie ein Bot sind. Implementierung von Backoff- und Switch-Proxy-Sitzungen auf Fehlern.
• Wiederverwendung verbrannter IPs — Wenn eine Anfrage eine CAPTCHA oder eine Blockseite zurückgibt, wird diese IP für dieses Ziel beeinträchtigt. Drehen Sie sofort auf eine neue Sitzung.
• ignorieren geographische Konsistenz — Anfragen aus einer US-IP mit Accept-Language: ja und eine Zeitzone Offset von +9 sieht verdächtig aus. Passen Sie Ihre Header und Browser-Einstellungen zu Ihrem Proxy's Standort.
• Erfolgsquoten nicht überwachen — Ohne Ihre Blockrate zu verfolgen, können Sie nicht sagen, ob Ihre Strategie funktioniert. Melden Sie jeden Response-Status und Alarm auf Erfolgsquote Tropfen.

Erweiterte Techniken für High-Value-Ziele

Fingerabdruck Randomization

Für stark geschützte Websites drehen Sie nicht nur IPs, sondern ganze Browser Fingerabdruckprofile. Jede Sitzung sollte eine konsequente Kombination von User-Agent, Bildschirmauflösung, Zeitzone, Sprache und Plattform haben — und diese sollten realistische Kombinationen entsprechen. Ein Windows User-Agent mit einer Linux-Plattform-String ist eine offensichtliche rote Flagge.

Kettensimulation anfordern

Reale Nutzer springen nicht direkt auf Produktseiten. Sie kommen von Suchmaschinen, durchsuchen Kategorie Seiten, und folgen internen Links. Erstellen Sie Ihren Abstreifer, um realistische Navigationspfade zu simulieren: laden Sie die Homepage, folgen Sie Links zu Kategorieseiten und greifen Sie dann auf die Zieldaten zu. Dies erzeugt ein glaubwürdiges Session-Muster.

SERP Scraping Überlegungen

Search Engine Scraping hat einzigartige Herausforderungen, weil Google, Bing und andere besonders aggressive Bot-Erkennung haben. Wohngebiete sind für zuverlässige SERP-Tracking, und Sie sollten Anfragen an mehrere geographische Standorte verteilen, um die Auslösung von Ratengrenzen aus jeder einzelnen Region zu vermeiden.

Wahl des richtigen Proxy-Typs

Nicht jeder Schrottjob erfordert Wohn-Proxies. Die richtige Wahl hängt von den Verteidigungen Ihres Ziels und Ihrem Budget ab. Sehen Sie uns detaillierter Vergleich der Proxytypen für einen tiefen Tauchgang. Hier ist eine schnelle Entscheidungsmatrix:

Für die meisten Abstreifprojekte bieten die rotierenden Wohnproxien die beste Kombination aus Zuverlässigkeit und Wirtschaftlichkeit. Preise für ProxyHat basiert auf dem Bandbreitenverbrauch, so dass Sie nur für eine erfolgreiche Datenübertragung bezahlen.

Schlüsselanhänger

• Wohngebiete sind die Grundlage — Datacenter IPs werden auf den meisten geschützten Seiten sofort gesperrt. Wohn-IPs tragen natürliches Vertrauen.
• Kopfzeilen sind genauso wichtig wie IPs — Ein Wohn-IP mit Standard-Python-Headern wird immer noch gesperrt. Erstellen Sie komplette, realistische Kopfprofile.
• Zufällig für alles — Verzögerungen, Header-Kombinationen, Navigationswege. Vorhersehbare Muster sind nachweisbare Muster.
• Monitor und Anpassung — Verfolgen Sie Ihre Erfolgsquote. Wenn Blöcke erhöhen, untersuchen und anpassen, bevor Sie durch Ihren Proxy-Pool.
• Passen Sie Ihren Fingerabdruck — Jedes Signal sollte eine konsistente Geschichte erzählen: Benutzer-Agent, TLS Fingerabdruck, Zeitzone, Sprache und geographische Lage müssen ausrichten.
• langsam starten, Skala allmählich — Beginnen Sie mit konservativen Ratenlimits und erhöhen Sie erst nach der Bestätigung Ihrer Setuparbeiten zuverlässig.
• Verwenden Sie klebrige Sitzungen für Stateful Flows — Login-Sequenzen und mehrseitige Navigation benötigen IP-Konsistenz. Verwenden Sie klebrige Sitzungen mit entsprechenden TTLs.

Häufig gestellte Fragen

Woher weiß ich, ob mein Abstreifer blockiert wird?

Zu den Common Signs gehören der Empfang von HTTP 403 oder 429 Statuscodes, die auf CAPTCHA-Seiten umgeleitet werden, das Erhalten von leeren Antwortkörpern, in denen Sie HTML-Inhalte erwarten, oder das Empfangen von verschiedenen Inhalten als das, was Sie in einem regelmäßigen Browser sehen. Überwachen Sie Ihre Antwort-Status-Codes und Inhaltslänge – ein plötzlicher Rückgang der durchschnittlichen Antwortgröße zeigt oft Soft-Blöcke an, bei denen die Seite eine Challenge-Seite anstelle des tatsächlichen Inhalts zurückgibt.

Sind Wohn-Proxies genug, um alle Blöcke zu vermeiden?

Residential Proxies beseitigen IP-basierte Blockierung, die die häufigste Erkennungsmethode ist, aber sie sind keine vollständige Lösung auf eigene Faust. Sie brauchen immer noch realistische Header, richtige Ratenbegrenzung und Sitzungsmanagement. Denken Sie an Wohn-Proxies als Grundlage – sie lösen das härteste Problem (IP-Reputation), aber die anderen Schichten Ihres Abstreifstapels müssen auch solide sein. Für die am meisten geschützten Seiten, kombinieren Sie Wohn-Proxies mit Browser Fingerabdruck-Prägung mit Werkzeugen wie curl_cffi oder stehlen-konfiguriert Playwright.

Wie viele Anfragen pro Sekunde kann ich ohne Sperrung senden?

Es gibt keine universelle Antwort, weil es von den Verteidigungen der Ziel-Website abhängt. Als konservativer Ausgangspunkt, begrenzen Sie sich auf 1 Anfrage alle 2-5 Sekunden pro Domain mit rotierenden IPs. Für weniger geschützte Standorte können Sie schrittweise auf 5-10 gleichzeitige Anfragen erhöhen. Für stark geschützte Websites wie Google oder Amazon, bleiben Sie unter 1 Anfrage pro 3 Sekunden auch mit Wohn-Proxies. Steigen Sie immer nach und nach auf und überwachen Sie Ihre Erfolgsquote – wenn es unter 95% fällt, gehen Sie zu schnell.

Was ist der Unterschied zwischen rotierenden und klebrigen Proxy-Sitzungen?

Rotierende Sitzungen vergeben jeder Anfrage eine neue IP-Adresse, die ideal ist, um unabhängige Seiten abzukratzen, in denen kein Staat zwischen Anträgen bestehen muss. Sticky-Sitzungen halten die gleiche IP für eine konfigurierte Dauer (typischerweise 1-30 Minuten), die für Login-Flows, paginierte Navigation oder jeden mehrstufigen Prozess erforderlich ist, in dem der Server Ihre IP verfolgt. Verwenden Sie die rotierenden Sitzungen standardmäßig und schalten Sie auf Sticky nur, wenn Ihr Anwendungsfall speziell Sitzungskontinuität erfordert.

Ist Web-Schrott legal?

Die Rechtmäßigkeit der Webschrotte variiert je nach Zuständigkeit, der Art der erhobenen Daten und der Verwendung. In den Vereinigten Staaten, die 2022 hiQ Labs v. Linked In der Entscheidung festgestellt, dass das Abkratzen öffentlich zugänglicher Daten nicht gegen das Computerbetrugs- und Missbrauchsgesetz verstößt. In der EU gilt die DSGVO unabhängig davon, wie sie erhoben wird, auf personenbezogene Daten. In der Regel: Die Verschrottung öffentlich zugänglicher, nicht personenbezogener Daten zu legitimen Geschäftszwecken wird weitgehend akzeptiert. Überprüfen Sie immer die Nutzungsbedingungen einer Website, respektieren robots.txt als Höflichkeit und konsultieren Sie Rechtsberatung für Ihren speziellen Anwendungsfall.