Engellenmeden Web Sitelerini Nasıl Scrape Edersiniz?

Her ciddi web kazı projesi sonunda aynı duvarı vurur: İstekleriniz CAPTCHAs, 403 hataları veya boş sayfaları geri dönmeye başlar. Web siteleri otomatik trafiği tespit etmede oldukça iyi hale geldi ve hurdalar ve anti-bot sistemleri arasındaki silah yarışı her zamankinden daha yoğun. Fiyatlandırma verilerini toplamak, rakip içeriğini izlemek veya AI eğitimi için veri setlerini inşa etmek, AI eğitimi için öğrenmek Yasaklanmamış web siteleri Artık isteğe bağlı değil - herhangi bir güvenilir veri hattı için temeldir.

Bu kılavuz blokların arkasındaki teknik nedenleri kapsar, algılama sinyalleri modern anti-bot sistemleri arayın ve kazılarınızı sorunsuz tutmak için kanıtlanmış stratejiler. Çalışma kod örneklerini kullanarak dahil ediyoruz Konut sahipleri Bu kavramların üretime hazır uygulamaları nasıl tercüme ettiğini göstermek.

Neden Web Siteleri Blok Kaçırıcı

Problemi çözmeden önce, neye karşı olduğunuzu anlamanıza yardımcı olur. Web siteleri birkaç meşru nedenden dolayı anti-bot önlemleri dağıtıyor:

• Altyapı koruması - Aggressive scraping, gerçek kullanıcılar için düşük performans ve şişkin barındırma maliyetleri için.
• Content protection — Yayıncılar, e-ticaret siteleri ve veri sağlayıcıları, rakiplerinin verilerini ölçeklendirmelerini engellemek istiyor.
• Güvenlik Güvenliği - Otomatik trafik modelleri, credential thingsing, DDoS saldırıları ve kırılgan tarama ile örtüşür.
• Düzenleme Siteler kişisel verilerin kullanımı, gizlilik kurallarına uymak için otomatik erişim kısıtlayabilir.

Modern web siteleri, Cloudflare Bot Management, Akamai Bot Manager, PerimeterX ve DataDome gibi özel anti-bot hizmetlerine güveniyor. Bu hizmetler, sinyallerin bir kombinasyonunu kullanarak gerçek zamanlı olarak trafiği analiz eder ve ağlarında istihbarat paylaşırlar - bir sitede bir desen bayrağı binlerce kişiyi tetikleyebilir.

Sizi Blokeden İşaretler

Anti-bot sistemleri nadiren tek bir göstergeye güvenir. Birden fazla sinyalden bir risk puanı inşa ederler ve bir eşiği aşıyorlar. İşte anahtar algılama vektörleri:

IP Address Reputation

Bu en temel sinyaldir. Datacenter IP aralıkları iyi niyetlidir ve doğal olarak daha yüksek risk puanları taşır. İstekleriniz AWS, Google Cloud veya bilinen herhangi bir barındırma sağlayıcısından kaynaklanırsa, birçok anti-bot sistemi onları hemen sorgulayacaktır. Hatta birlikte bile konut IPsAncak tek bir adresden çok fazla istek göndermek onu bayrak altına alacak. IP itibarı veritabanı gerçek zamanlı olarak güncellenir ve yanmış bir IP haftalar boyunca kara listelenebilir.

Talep Oranı ve Desen Analizi

İnsanlar, mükemmel üniforma aralıkları ile saniyede 50 sayfa talep etmiyor. Anti-bot sistemleri frekans, zamanlama kalıpları ve navigasyon akışı talep eder. Bu, paginated sonuçlar aracılığıyla mükemmel bir eşdeğer bir yol takip ediyor – istekler arasında aynı gecikmelerle – oranın muhafazakar olmasına rağmen mekanik görünüyor.

HTTP Parmak

Her HTTP müşteri, gönderdiği başlıkların kombinasyonuna göre farklı bir parmak izi vardır: Başlıkların siparişi, TLS elhake özellikleri (JA3/JA4 parmak izi), HTTP/2 ayarları çerçeveleri ve üst düzey değerleri. Bir Python requests Kütüphane, Chrome'dan tamamen farklı bir parmak izi vardır. Anti-bot sistemleri bilinen tarayıcı parmaklarının veritabanlarını korur ve eşleşmeyen hiçbir şeyi bayraklar.

Tarayıcı Parmak ve JavaScript Challenges

Gelişmiş anti-bot sistemleri tarayıcı ortamını inceleyen JavaScript zorluklarına hizmet eder: tuval oluşturma, WebGL yetenekleri, yüklü fontlar, ekran çözünürlüğü, zaman bölgesi, dil tercihleri ve diğer sinyallerin yüzlerce. Puppeteer ve Playwright gibi şaşırtıcı tarayıcılar ince farklılıklarla tespit edilebilir - eksik tarayıcı eklentileri, navigator nesneler üzerinde yanlış mülk tanımlayıcıları veya beklenen davranış yokluğu.

Davranış Analizi

Bazı sistemler fare hareketlerini takip eder, kaydırma kalıpları ve davranışı tıklayın. İlk önce ana sayfayı ziyaret etmeden doğrudan data-heavy sayfalara giden bir seans veya bu asla fareyi, sinyalleri otomasyonunu hareket etmez.

Blok olmadan hapse atmak için Stratejiler

1. IP Rotation için Konut Proxies kullanın

IP tabanlı engellemeye karşı en etkili savunma, isteklerinizi isteklerinizi isteklerinizi iptal etmektir Konut sahipleri. Konut IP'ler gerçek ISS'lere aittir ve aynı itibarı normal ev internet bağlantıları olarak taşır. Anti-bot sistemleri meşru kullanıcıları etkilemeden konut aralıklarını kapatamaz.

Etkili bir rotasyon, her istek veya küçük istek için farklı bir IP atama anlamına gelir. Oturum bağımlısı için (kullanıcı durumu korumak veya çoklu sayfa akışlarını korumak için ihtiyacınız olan bir yerde), aynı IP'yi dönen bir süre için kullanan yapışkan seanslar kullanın.

ProxyHat, yapılandırılabilir oturum kontrolü ile otomatik rotasyon sağlar. IP'leri hedefleyebilirsiniz Belirli ülkeler, devletler veya şehirler Yerleşim seviyesi güven puanlarını korurken geo-restricted içeriğe erişmek.

2. Craft Realistic HTTP Headers

Rezerv kütüphanelerinden gelen sıralar ölü bir kaçıştır. Python'un isteği requests Kütüphane gönderir User-Agent: python-requests/2.31.0 - Hemen onu otomatik olarak bayraklar. Gerçek tarayıcılarla tam olarak eşleşen üst düzey profiller oluşturun:

• Mevcut bir ayarlayın, tamam User-Agent gerçek bir tarayıcı sürümünü eşleştirmek
• Add Add Add Add Add Accept, Accept-Language, Accept-EncodingVe Sec-CH-UA Başlıklar
• Tarayıcıya başlık siparişini girin, taklit ediyorsun
• Tek bir parmak izi önlemek için birden fazla tarayıcı profili arasında Rotate
• Bir plausible ekleyin Referer Başlık (e.g., bir arama motoru sonuçları sayfası)

3. Akıllı Puan Limiting

Üniforma gecikmeleri neredeyse hiç gecikme olmadığı kadar şüphelidir. Gerçek bir dağıtım takip eden rastgeleleştirilmiş gecikmeler uygulayın:

• Talepler arasında 2-5 saniye gecikme
• artı veya eksi 30-50% rastgele jitter ekleyin
• Daha uzun duraklar (15-30 saniye) her 20-50 istek
• Domain başına yeterliliği azaltın - 2-3 paralel istek maksimum
• Oran-limit sinyalleri aldığınız zaman üstel geri yükleme (429 durum kodları)

4. Yönetim Oturumları ve Çerezler Properly

Birçok web sitesi ilk ziyarette çerezleri takip eder ve sonraki isteklerde bekler. Hiçbir zaman kurabiye göndermeyen veya bu her istekte taze kurabiye gönderir, anomali tespiti tetikler. Oturumda bir kurabiye kavanozunu koruyun ve mantıksal bir tarama seansı içinde istekler arasında çerezler taşır.

5. JavaScript-Rendered Content

JavaScript execution gerektiren siteler için, Playwright veya Puppeteer aracılığıyla gerçek bir tarayıcı motoru kullanın. Ancak önlemler olmadan kafasız tarayıcılar kolayca tespit edilir. Anahtar sertleştirme adımları şunları içerir:

• Use Use Use Use Use Use playwright-extra veya puppeteer-extra Playth plugins ile
• Gerçek bir görüntü boyutu ayarlar ( varsayılan 800x600 değil)
• Enable WebGL ve tutarlı GPU dönüştürücü dizeleri enjekte edin
• Proxy'nin coğrafi konumunuzu eşleştirmek için zaman bölgesi ve yerel ayarlayın
• Verilerin çıkarılmasından önce rastgele fare hareketleri ve kaydırma eylemleri ekleyin

6. Saygı robotları.txt ve Implement Backoff

Robotlar.txt tüm yargılarda yasal olarak bağlayıcı olmasa da, iyi bir inanç göstermesine saygı gösterin. Daha pratik olarak, robotları görmezden gelen siteler.txt agresif bloke uygulamak daha olasıdır. Her zaman 429 (Too Many Requests) veya 503 (Hizmet Un available) yanıt aldığınızda otomatik geri yükleme uygulayın - bunlar yavaşlamak için açık sinyallerdir.

Kod Örnekleri: ProxyHat Residential Proxies ile Yararlanmak

Aşağıdaki örnekler, proxy konut rotasyonunu gerçekçi başlıklarla nasıl yapılandıracağını göstermektedir. Her örnek, ilgili dil için ProxyHat SDK kullanır. For full API belgeleriAncak ProxyHat docs'i görün.

Python Örnek

SDK'yı yükleyin: pip install proxyhat (GitHub)

import time
import random
from proxyhat import ProxyHatClient
client = ProxyHatClient(
    api_key="your_api_key",
    country="US",
    session_type="rotating",  # New IP per request
)
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8",
    "Accept-Language": "en-US,en;q=0.9",
    "Accept-Encoding": "gzip, deflate, br",
    "Sec-CH-UA": '"Chromium";v="131", "Not_A Brand";v="24"',
    "Sec-CH-UA-Mobile": "?0",
    "Sec-CH-UA-Platform": '"Windows"',
}
urls = [
    "https://example.com/page/1",
    "https://example.com/page/2",
    "https://example.com/page/3",
]
for url in urls:
    response = client.get(url, headers=headers)
    print(f"{response.status_code} - {url} via {response.proxy_ip}")
    # Randomized delay: 2-5 seconds with jitter
    delay = random.uniform(2.0, 5.0)
    time.sleep(delay)

Node.js Örnek

SDK'yı yükleyin: npm install @proxyhat/sdk (GitHub)

const { ProxyHatClient } = require("@proxyhat/sdk");
const client = new ProxyHatClient({
  apiKey: "your_api_key",
  country: "US",
  sessionType: "rotating",
});
const headers = {
  "User-Agent":
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36",
  Accept:
    "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8",
  "Accept-Language": "en-US,en;q=0.9",
};
const urls = [
  "https://example.com/page/1",
  "https://example.com/page/2",
  "https://example.com/page/3",
];
async function scrape() {
  for (const url of urls) {
    const response = await client.get(url, { headers });
    console.log(`${response.status} - ${url} via ${response.proxyIp}`);
    // Randomized delay between requests
    const delay = 2000 + Math.random() * 3000;
    await new Promise((r) => setTimeout(r, delay));
  }
}
scrape();

Go Örnek

SDK'yı yükleyin: go get github.com/ProxyHatCom/go-sdk (GitHub)

package main
import (
    "fmt"
    "math/rand"
    "time"
    proxyhat "github.com/ProxyHatCom/go-sdk"
)
func main() {
    client := proxyhat.NewClient(&proxyhat.Config{
        APIKey:      "your_api_key",
        Country:     "US",
        SessionType: proxyhat.Rotating,
    })
    headers := map[string]string{
        "User-Agent":      "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36",
        "Accept":          "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
        "Accept-Language": "en-US,en;q=0.9",
    }
    urls := []string{
        "https://example.com/page/1",
        "https://example.com/page/2",
        "https://example.com/page/3",
    }
    for _, url := range urls {
        resp, err := client.Get(url, proxyhat.WithHeaders(headers))
        if err != nil {
            fmt.Printf("Error: %v\n", err)
            continue
        }
        fmt.Printf("%d - %s via %s\n", resp.StatusCode, url, resp.ProxyIP)
        // Randomized delay: 2-5 seconds
        delay := time.Duration(2000+rand.Intn(3000)) * time.Millisecond
        time.Sleep(delay)
    }
}

Multi-Page Flows için Oturumlar

Bazı kazı görevleri, birden fazla istekle aynı IP adresini sürdürmeyi gerektirir - örneğin, bir paginated ürün listesini sabote etmek, bir giriş seansını sürdürmek veya çok adımlı bir form tamamlamak. ProxyHat, yapılandırılabilir bir süre için aynı konut IP'sini tutan yapışkan seansları destekliyor.

# Python: Sticky session example
from proxyhat import ProxyHatClient
client = ProxyHatClient(
    api_key="your_api_key",
    country="DE",
    session_type="sticky",
    session_ttl=300,  # Same IP for 5 minutes
)
# All requests within the session use the same IP
response1 = client.get("https://example.com/login", headers=headers)
response2 = client.post("https://example.com/login", data=credentials, headers=headers)
response3 = client.get("https://example.com/dashboard", headers=headers)
print(f"Session IP: {response1.proxy_ip}")  # Same IP for all three requests

Yaygın Hatalar Tetik Bloklar

Deneyimli geliştiriciler bile bu hataları yapar. Her biri proxy bant genişliği ile yanabilir ve IP'leri gereksiz yere alabilir:

• Varsayılan kütüphane başlıkları kullanarak - The - The python-requests Kullanıcı-Agent dizesi her blok listesindedir. Her zaman özel başlıklar oluşturun.
• TLS parmak izlerini görmezden geliyor Başlıklarınız "Chrome" diyebilir, ancak TLS elhakeniz "Python" diyor. Kütüphaneleri kullanın curl_cffi veya tls-client Bu taklit gerçek tarayıcı TLS parmak izlerini.
• İlk başlangıçta çok hızlı avlanmak - Yavaş başlayın. Ramp up istek oranları yavaş yavaş saatlerce, dakikalar değil.
• Hataları akıllıca kullanma - Aynı yapılandırma atıkları bant genişliğiyle hemen bloke edilir ve bir bot olduğunuzu onaylar. Implement backoff ve proxy seanslarını hatalar üzerinde değiştirin.
• Yanmış IP'leri yeniden kullanmak Bir istek bir CAPTCHA veya blok sayfasını döndürürse, IP bu hedef için uzlaşmaktadır. Hemen yeni bir oturuma gidin.
• Coğrafi tutarlılığı görmezden gelmek - Bir ABD IP'den gelen talepleri gönderin Accept-Language: ja Ve +9'un bir zaman bölgesi şüpheli görünüyor. Başlıklarınızı ve tarayıcı ayarlarını proxy'lerinize paylaşın Konum lokasyon.
• Başarı oranlarını izleme - Blok oranını takip etmeden, stratejinizin çalışıyor olup olmadığını söyleyemezsiniz. Başarı oranındaki her yanıt durumu ve uyarı.

High-Value Hedefleri için Gelişmiş Teknikler

Parmak

Ağır koruma siteleri için, sadece IP'ler değil tüm tarayıcı parmak izi profilleri. Her seans, Kullanıcı-Agent, ekran çözünürlüğü, zaman bölgesi, dil ve platformun tutarlı bir kombinasyonuna sahip olmalıdır - ve bunlar gerçekçi kombinasyonlarla eşleşmelidir. Bir Linux platformu dizesi ile bir Windows Kullanıcı-Agent açık bir kırmızı bayraktır.

Zincir Simülasyonu İste

Gerçek kullanıcılar doğrudan ürün sayfalarına atmıyor. Arama motorlarından, kategori sayfalarından gelir ve iç bağlantıları takip ederler. Yıkıcınızı gerçekçi navigasyon yollarını simüle etmek için inşa edin: ana sayfayı yükler, kategori sayfalara bağlantıları takip edin, sonra hedef verilere erişim. Bu, believlenebilir bir seans modeli oluşturur.

SERP Yararlanmaları

Arama motoru hurdalık benzersiz zorluklara sahiptir, çünkü Google, Bing ve diğerleri özellikle agresif bot tespitine sahiptir. Konut proxyleri güvenilir için gereklidir SERP izlemeAyrıca, herhangi bir tek bölgeden hız limitlerini tetiklemek için birden fazla coğrafi lokasyonda istek dağıtmalısınız.

Doğru Proxy Type seçmek

Her bir kazı işi konut referansları gerektirmez. Doğru seçim hedefinizin savunmalarına ve bütçenize bağlıdır. Görmemize bakın Proxy türleri ayrıntılı karşılaştırma Derin bir dalış için. İşte hızlı bir karar matrisi:

Çoğu hurda proje için, konut dönen proxylar en iyi güvenilirlik ve maliyet etkinliğinin kombinasyonunu sunar. ProxyHat pricing Gürültü tüketimine dayanmaktadır, bu yüzden sadece başarılı veri transferi için ödersiniz.

Key Takeaways

• Konut proxyleri temeldir - Datacenter IPs hemen en korunan sitelerde bloke edilir. Konut IP'leri doğal güven taşır.
• Headers, IPs kadar önemlidir - Varsayılan Python başlıkları ile bir konut IP hala bloke edilir. Tamam, gerçekçi profiller oluşturun.
• Her şeyi Rastgeleleştirin - Gecikmeler, Başlık kombinasyonları, navigasyon yolları. Tahmin edilebilir desenler tespit edilebilir desenlerdir.
• İzleme ve adaptasyon - Başarı oranını takip edin. Bloklar yükselirken, proxy havuzunuzda yanmadan önce araştırın ve ayarlayın.
• Parmak parmaklarınızı - Her sinyal tutarlı bir hikaye anlatmalıdır: Kullanıcı-Agent, TLS parmak izi, zaman bölgesi, dil ve coğrafi konum hizalanmalıdır.
• Yavaş başlayın, ölçek yavaş yavaş yavaş başlayın - muhafazakar oran sınırları ile başlayın ve sadece kurulumunuzu onaylayarak arttırın.
• Devletli akışlar için yapışkan seanslar kullanın - Giriş dizileri ve çoklu sayfa navigasyon IP tutarlılığa ihtiyaç duyar. Uygun TTLs ile çubuk seansları kullanın.

Sık Sorulan Sorular

Yıkıcımın bloke olup olmadığını nasıl biliyorum?

Ortak işaretler HTTP 403 veya 429 statüsü kodları almak, CAPTCHA sayfalara yönlendirilmek, HTML içeriği beklediğiniz boş yanıt vücutlarını almak veya düzenli bir tarayıcıda gördüğünüzden farklı içerik almak. Yanıt durum kodlarınızı ve içerik uzunluğunızı izleyin - ortalama yanıt büyüklüğü genellikle sitenin gerçek içerik yerine bir meydan okuma sayfasını geri döndüğünü gösterir.

Tüm bloklardan kaçınmak için konut temsilcileri yeterli midir?

Konut temsilcileri IP tabanlı engellemeyi ortadan kaldırır, bu en yaygın algılama yöntemidir, ancak kendi başlarına tam bir çözüm değildir. Hala gerçekçi başlıklara, uygun oran sınırlamasına ve oturum yönetimine ihtiyacınız var. Konut proxylerini temel olarak düşünün - en zor sorunu çözerler (IP şöhreti), ancak hurdanızın diğer katmanları da sağlam olmalıdır. En korunan siteler için, tarayıcı parmak izi taklit cihazı ile evlenen konutları kullanarak araçları kullanarak birleştirin curl_cffi veya çalkantılı Playwright.

İkinci olarak kaç tane istek engel almadan gönderebilirim?

Evrensel bir cevap yoktur çünkü hedef web sitesinin savunmalarına bağlıdır. muhafazakar bir başlangıç noktası olarak, geri dönen IP'ler ile alan başına her 2-5 saniye talep etmek için kendinizi sınırlayın. Daha az korumalı site için, 5-10 eşzamanlı isteklere yavaş yavaş artırabilirsiniz. Google veya Amazon gibi ağır koruma siteleri için, konut proxyleri ile 3 saniye içinde 1 istek altında kalın. Her zaman yavaş yükselip başarı oranını izleyin -% 95'in altına düşerse, çok hızlı olacaksınız.

Dönen ve yapışkan seanslar arasındaki fark nedir?

Rotating seansları her istek için yeni bir IP adresi tayin eder, bu da hiçbir devletin istekler arasında devam etmesi gereken bağımsız sayfaları kazımak için idealdir. Sticky seansları aynı IP'yi yapılandırın (tipik olarak 1-30 dakika), giriş akışları için gerekli olan, paginated navigasyon veya sunucunuzun IP'nizi izlediği çok adımlı bir süreçtir. Varsayılan olarak geri dönen seansları kullanın ve sadece kullanım durumunuzu özel olarak oturum sürekliliğini gerektirdiğinde sopalı olun.

Web yasal mı?

Yasallığı ortadan kaldırmak, mahkeme tarafından değişir, toplanan verilerin türü ve nasıl kullanılır. Amerika Birleşik Devletleri'nde 2022 hiQ Labs v. Linked Kararda, halka açık olarak mevcut verilerin çıkarılmasının Bilgisayar Dolandırıcılığı ve Kötüleştirme Yasasını ihlal etmediğini belirtti. AB'de GDPR, nasıl toplandığına bakılmaksızın kişisel verilere uygulanır. Genel bir kural olarak: halka açık olarak kullanılabilir, meşru iş amaçları için kişisel olmayan veriler geniş ölçüde kabul edilir. Her zaman bir web sitesinin Hizmet Şartlarını gözden geçirin, saygı robotlar.txt as a nezaket, ve belirli kullanım durumunuz için yasal danışmanlık yapın.