Was verursacht Proxy-Sperren und wie man sie vermeidet

Warum werden Proxies verboten?

Ein Proxyverbot tritt auf, wenn eine Zielwebsite den Verkehr von einer bestimmten IP-Adresse oder einem bestimmten Adressbereich blockiert. Die Website hat - durch verschiedene Signale - festgestellt, dass der von dieser IP kommende Verkehr automatisiert, missbräuchlich oder sonst unerwünscht ist, und es weigert sich, weitere Anfragen von ihm zu bedienen.

Warum Verbote passieren, ist der erste Schritt, sie zu verhindern. Ob Sie Webseiten abkratzen, Überwachung der Preise oder Verfolgung SERPs, die Erkennungssignale zu kennen und sie zu mildern, wird Ihre Erfolgsquoten drastisch verbessern.

Häufige Ban-Trigger

1. Übermäßiges Antragsvolumen

Das wichtigste Detektionssignal ist die Anforderungsrate. Wenn ein einzelnes IP 100 Anfragen pro Sekunde an die gleiche Website sendet, ist es eindeutig kein menschliches Surfen. Die meisten Websites setzen Geschwindigkeitslimits – Schwellenwerte, die Blöcke oder CAPTCHAs bei Überschreitung auslösen. Diese Grenzen variieren weit: Einige Seiten erlauben 10 Anfragen pro Minute pro IP, andere tolerieren Hunderte.

2. Bekannte Proxy/Datacenter IP-Bereiche

IP-Dienste (MaxMind, IPinfo, IP2Location) klassifizieren IPs nach Typ. Datacenter IPs sind leicht zu identifizieren, weil sie zum Hosting Provider ASNs (AWS, Google Cloud, OVH) gehören. Viele Websites blockieren oder fordern automatisch alle Traffic aus bekannten Rechenzentren-IP-Bereichen. Deshalb Wohngebiete höhere Erfolgsquoten haben — ihre IPs werden als Verbraucherverbindungen eingestuft.

3. IP Reputation Blacklists

Mehrere Dienste halten Blacklists von IP-Adressen bekannt, die zum Abkratzen, Spamming oder andere automatisierte Aktivitäten verwendet werden. Wenn Ihr Proxy-IP auf diesen Listen erscheint, werden Webseiten, die den Blacklist-Service abonnieren, Sie vorab blockieren – auch bevor Sie eine einzige Anfrage senden. Gesundheitsüberwachung im Pool hilft Anbietern, schwarze Liste IPs von Rotation zu entfernen.

4. Suspicious Request Patterns

Auch bei angemessenen Anfrageraten kann Ihr Verkehrsmuster Automatisierung zeigen:

• Gleiches Timing: Anfragen, die in genauen Abständen ankommen (jeweils 2,0 Sekunden) anstelle der zufälligen Intervalle des menschlichen Surfens
• Anschluss: Besuchen von Seiten in alphabetischer oder numerischer Reihenfolge statt nach natürlichen Navigationspfaden
• Keine Sub-Ressourcenbeladung: Reale Browser laden Bilder, CSS, JavaScript und Schriftarten – Scrapers, die nur HTML holen, stehen heraus
• Vermisste Referenten: Browser senden immer einen Schiedsrichter, wenn zwischen Seiten navigieren; Schaber oft nicht
• Abnormale Tiefen-erste Muster: tief in eine Kategorie hineinkriechen, bevor man zum nächsten kommt, anstatt wie ein Mensch zu browsen

5. Verschiedene Fingerabdrücke

Anti-Bot-Systeme mehrere Signale korrelieren, um ein Besucherprofil zu erstellen. Wenn diese Signale einander widersprechen, wird der Besucher markiert:

• Geodäsie: IP sagt Deutschland, aber die Browser-Zeitzone ist US Pacific und Accept-Language ist en-US
• TLS Fingerabdruck: Die TLS Client Hello Signatur passt nicht zu dem beanspruchten Browser (z.B., Python fordert Bibliothek, die behauptet, Chrome zu sein)
• JavaScript Ausführung: Bot-Detektionsskripte Test für Browser-APIs, die kopflose Browser möglicherweise nicht vollständig implementieren
• WebRTC Leck: WebRTC kann die reale IP hinter einem Proxy freisetzen, wenn nicht richtig konfiguriert

6. Konzentrierter Subnetverkehr

Wenn mehrere IPs aus demselben /24 Subnetz (z.B. 185.23.100.1 bis 185.23.100.254) alle auf die gleiche Website treffen, kann die Website das gesamte Subnetz blockieren. Gut. IP Rotation Algorithmen sorgen für Subnet-Diversität zwischen aufeinanderfolgenden Anfragen.

7. Sitzung und Cookie Anomalies

Websites setzen Cookies auf den ersten Besuch und erwarten diese auf nachfolgenden Anfragen. Scrapers, die keine Cookies aufbewahren, die vorhandenen abgelaufenen Cookies, oder die inkonsistenten Sitzungszustand (auf einer Anfrage, anonym auf der nächsten) zeigen, verursachen Verdacht.

Arten von Bans und Blöcken

Präventionsstrategien

Benutzen Sie Wohngebiete für geschützte Ziele

Wohngebiete IPs von ISPs an reale Haushalte vergeben. Sie passieren ASN-Level-Checks, die Datencenter-IPs blockieren. Für Websites mit starkem Anti-Bot-Schutz sind Wohn-Proxies die grundlegende Anforderung. Für die aggressivsten Ziele bieten mobile Proxies aufgrund des CGNAT IP-Sharings noch mehr Vertrauen.

Implementierung von Smart Rate Limiting

Schlagen Sie das Ziel nicht so schnell wie Ihre Verbindung erlaubt. Stattdessen:

• Erforschen Sie die Geschwindigkeitsgrenzwerte des Ziels (die Anforderungsfrequenz erhöhen, bis Sie 429s oder CAPTCHAs sehen)
• Fügen Sie zufällige Verzögerungen zwischen Anfragen hinzu (z.B. 1-5 Sekunden mit Jitter)
• Verteilen Sie Anfragen über die Zeit, anstatt sie in Bursts zu senden.
• Verwenden Sie verschiedene Geschwindigkeitsgrenzen für verschiedene Endpunkte (Suchseiten vs Produktseiten)

import time
import random
import requests
PROXY = "http://USERNAME:PASSWORD@gate.proxyhat.com:8080"
for url in urls:
    resp = requests.get(
        url,
        proxies={"http": PROXY, "https": PROXY},
        timeout=15,
    )
    # Random delay between 1.5 and 4.5 seconds
    time.sleep(random.uniform(1.5, 4.5))

IPs intelligent drehen

IP Rotation verteilt Ihren Traffic auf viele Adressen. Aber Rotation muss mit anderen Strategien kombiniert werden:

• Pro-Request für unabhängige Seitenabrufe
• Verwenden Sie klebrige Sitzungen für mehrstufige Workflows, die eine Sitzungskontinuität erfordern
• Stellen Sie Subnet Diversity sicher — senden Sie keine aufeinander folgenden Anfragen aus dem gleichen /24-Bereich
• Match-Rotationsstrategie zur Sensitivität des Ziels — aggressivere Standorte benötigen schnellere Rotation

Set Realistische Header

Jede Anfrage sollte Header enthalten, die einem echten Browser entsprechen:

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8",
    "Accept-Language": "en-US,en;q=0.9",
    "Accept-Encoding": "gzip, deflate, br",
    "Connection": "keep-alive",
    "Upgrade-Insecure-Requests": "1",
    "Sec-Fetch-Dest": "document",
    "Sec-Fetch-Mode": "navigate",
    "Sec-Fetch-Site": "none",
    "Sec-Fetch-User": "?1",
}

Drehen Sie Benutzer-Agent-Strings über eine Reihe von aktuellen, beliebten Browsern. Vergewissern Sie sich, dass der User-Agent mit dem TLS Fingerabdruck übereinstimmt – der Anspruch auf Chrome beim Senden einer Python TLS Signatur ist eine sofortige rote Flagge.

Align Geo-Signale

Bei Verwendung Geotargets, richten Sie alle Anfrage-Metadaten an den Standort des Proxys aus:

• Set Accept-Language der Hauptsprache des Landes entsprechen
• Wenn Sie Browser-Automatisierung verwenden, setzen Sie die Zeitzone auf die Geographie des Proxys
• WebRTC deaktivieren, um real-IP Lecks zu verhindern

Cookies und Sessions richtig handhaben

Bewahren Sie Cookies auf Anfragen innerhalb einer Sitzung. Verwenden Sie ein Sitzungsobjekt (wie requests.Session() in Python), die die Cookie-Persistenz automatisch übernimmt. Wenn Sie IPs drehen, starten Sie auch einen frischen Cookie-Jack – tragen Sie keine Cookies von einem IP zum anderen, da dies Unannehmlichkeiten verursacht.

Erholungstechniken

Bans frühzeitig erkennen

Warten Sie nicht, bis Ihre gesamte Pipeline ausfällt. Monitor für Bansignale:

• Erfolgsquote pro Zieldomäne verfolgen — ein plötzlicher Tropfen zeigt, dass Verbote beginnen
• Uhr für CAPTCHA-Seiten (Ansprecheinrichtung für CAPTCHA-Anzeigen überprüfen)
• Monitor-Ansprechgrößen — blockierte Antworten sind oft viel kleiner als reale Seiten
• Überprüfen Sie die Antwortzeiten — einige Seiten absichtlich langsame Antworten auf verdächtige Bots (Tarpit)

Implementierung Retry Logic

import requests
from time import sleep
PROXY = "http://USERNAME:PASSWORD@gate.proxyhat.com:8080"
def fetch_with_retry(url, max_retries=3):
    for attempt in range(max_retries):
        resp = requests.get(
            url,
            proxies={"http": PROXY, "https": PROXY},
            timeout=15,
        )
        if resp.status_code == 200 and len(resp.text) > 1000:
            return resp
        # Exponential backoff before retry (new IP via rotation)
        sleep(2 ** attempt)
    return None

Eskalationsstrategie

Wenn Blöcke bestehen, eskalieren Sie Ihren Ansatz:

1. Erstens: Reduzieren Sie die Anforderungsrate und fügen Sie weitere randomisierte Verzögerungen hinzu
2. Zweitens: Wechsel von Rechenzentrum zu Wohngebiete
3. Drittens: Browser-Automatisierung (Puppeteer/Playwright) hinzufügen, um JavaScript auszuführen und Browser-Checks weiterzugeben
4. Viertens: Vollständiges Fingerabdruckmanagement (TLS, Leinwand, WebGL)
5. Fünfte: Verwenden Sie mobile Proxies für die höchste IP-Klassifikation

Schlüsselanhänger: Proxyverbote werden durch eine Kombination von Signalen verursacht – nicht nur die IP-Adresse. Verbote zu verhindern erfordert einen ganzheitlichen Ansatz: Qualitätsproxies mit intelligente Rotation, realistische Anforderungsmuster, richtige Kopfzeilen und konsistente Fingerabdrücke. Wenn Verbote auftreten, erkennen Sie sie früh und eskalieren Sie Ihre Strategie inkremental.

Häufig gestellte Fragen

Wie lange dauert Proxyverbote typischerweise?

Es variiert nach Ziel. Einige Websites blockieren IPs für Minuten oder Stunden, andere für Tage oder dauerhaft. Tarifblocks (429) verfallen in der Regel innerhalb von Minuten. IP Blacklists können monatelang bestehen. Bei rotierenden Proxien ist die Verbotsdauer weniger relevant, da Sie automatisch eine frische IP erhalten.

Können rotierende Proxies alle Verbote verhindern?

Drehen verhindert IP-basiert Verbote von Kaskadierung, aber es geht nicht um Fingerabdruck-basierte oder verhaltensbasierte Erkennung. Sie benötigen Rotation plus realistische Anforderungsmuster, richtige Kopfzeilen und konsistente Browser Fingerabdrücke.

Welcher Proxytyp ist am wenigsten wahrscheinlich verboten?

Mobile Proxies haben die niedrigste Banrate, weil mobile IPs von vielen realen Benutzern über CGNAT geteilt werden. Anschliessend werden die Bewohnerproxies ISP-Proxis. Datacenter-Proxies haben die höchste Verbotsquote auf geschützten Gebieten.

Wie weiß ich, ob meine Proxy-IP bereits in schwarzer Liste ist?

Testen Sie die IP gegen Ihr Ziel, bevor Sie einen großen Job starten. Senden Sie eine einzige Anfrage und überprüfen Sie, ob Sie eine normale Antwort erhalten. Sie können auch überprüfen IPs gegen öffentliche Blacklist-Dienste, obwohl diese nicht alle privaten Blacklists, die Websites pflegen.

Sollte ich den gleichen Proxy für alle meine Ziele verwenden?

Nein. Verschiedene Ziele haben unterschiedliche Empfindlichkeiten. Verwendung dedizierte Proxis für hochwertige, hartnäckige Aufgaben und gemeinsame rotierende Ziele für die Datensammlung von Massendaten. Passen Sie Proxy-Typ und Strategie zu jedem Ziel Schutzniveau.