Como Fazer Scraping de Sites Sem Ser Bloqueado

Cada grave projeto de raspagem da web eventualmente atinge a mesma parede: seus pedidos começam a retornar CAPTCHAs, 403 erros, ou páginas vazias. Os sites tornaram-se notavelmente bons em detectar tráfego automatizado, e a corrida armamentista entre raspadores e sistemas antibots está mais intensa do que nunca. Se você está coletando dados de preços, monitorando conteúdo concorrente, ou construindo conjuntos de dados para treinamento de IA, aprendendo a raspar sites sem ficar bloqueado já não é opcional — é fundamental para qualquer gasoduto de dados fiável.

Este guia cobre as razões técnicas por trás dos blocos, os sinais de detecção que os sistemas antibots modernos procuram e estratégias comprovadas para manter seus raspadores funcionando suavemente. Nós incluímos exemplos de código de trabalho usando proxies residenciais mostrar como esses conceitos se traduzem em implementações prontas para produção.

Por que sites bloqueiam raspadores

Antes de resolver o problema, ajuda a entender o que você está enfrentando. Os sites implementam medidas anti-bot por várias razões legítimas:

• Protecção das infra-estruturas — A raspagem agressiva pode sobrecarregar servidores, degradar desempenho para usuários reais e inflar custos de hospedagem.
• Protecção do conteúdo — Os editores, os sítios de comércio electrónico e os fornecedores de dados pretendem impedir os concorrentes de copiarem os seus dados em escala.
• Segurança — Padrões de tráfego automatizados se sobrepõem com enchimento credencial, ataques DDoS e varredura de vulnerabilidade.
• Conformidade regulamentar — Os sites que lidam com dados pessoais podem restringir o acesso automatizado para cumprir os regulamentos de privacidade.

Os sites modernos dependem de serviços antibot especializados como Cloudflare Bot Management, Akamai Bot Manager, PerimeterX e DataDome. Esses serviços analisam o tráfego em tempo real usando uma combinação de sinais, e eles compartilham inteligência em suas redes — o que significa que um padrão sinalizado em um site pode desencadear blocos em milhares de outros.

Sinais de detecção que o bloqueiam

Os sistemas anti-bot raramente dependem de um único indicador. Eles constroem uma pontuação de risco a partir de múltiplos sinais e bloquear solicitações que excedem um limiar. Aqui estão os principais vetores de detecção:

Reputação do Endereço IP

Este é o sinal mais fundamental. Os intervalos IP do datacenter são bem documentados e carregam escores de risco inerentemente mais elevados. Se suas solicitações se originarem do AWS, do Google Cloud ou de qualquer provedor de hospedagem conhecido, muitos sistemas antibots irão desafiá-los ou bloqueá-los imediatamente. Mesmo com IPs residenciais, enviando muitos pedidos de um único endereço irá obtê-lo sinalizado. Os bancos de dados de reputação IP são atualizados em tempo real, e um IP queimado pode permanecer na lista negra por semanas.

Taxa de solicitação e análise de padrões

Os humanos não pedem 50 páginas por segundo com intervalos perfeitamente uniformes. Sistemas anti-bots solicitam frequência, padrões de tempo e fluxo de navegação. A raspagem que segue um caminho perfeitamente sequencial através de resultados paginados — com atrasos idênticos entre os pedidos — parece mecânica, mesmo que a taxa seja conservadora.

Impressão digital HTTP

Cada cliente HTTP tem uma impressão digital distinta baseada na combinação de cabeçalhos que envia: a ordem de cabeçalhos, características do aperto de mão do TLS (imprints JA3/JA4), quadros de configurações HTTP/2 e valores do cabeçalho. Um Python requests biblioteca tem uma impressão digital completamente diferente do Chrome. Os sistemas anti-bot mantêm bases de dados de impressões digitais conhecidas do navegador e sinalizam qualquer coisa que não corresponda.

Impressão digital do navegador e desafios JavaScript

Sistemas avançados antibot servem desafios JavaScript que inspecionam o ambiente do navegador: renderização de tela, recursos WebGL, fontes instaladas, resolução de tela, fuso horário, preferências de idioma e centenas de outros sinais. Navegadores sem cabeça como Puppeteer e Playwright podem ser detectados através de diferenças sutis — plugins de navegador ausentes, descritores de propriedades incorretas em objetos de navegador, ou a ausência de comportamentos de renderização esperados.

Análise comportamental

Alguns sistemas rastreiam os movimentos do mouse, os padrões de rolagem e o comportamento do clique. Uma sessão que navega diretamente para páginas pesadas de dados sem visitar a homepage primeiro, ou que nunca move o mouse, sinais de automação.

Estratégias para raspar sem ser bloqueado

1. Use Proxies Residenciais para Rotação IP

A única defesa mais eficaz contra bloqueio baseado em IP está encaminhando suas solicitações através proxies residenciaisIPs residenciais pertencem a ISPs reais e carregam a mesma reputação que conexões regulares de internet doméstica. Os sistemas anti-bot não podem cobrir faixas residenciais sem afetar usuários legítimos.

Rotação de proxy eficaz significa atribuir um IP diferente para cada pedido ou pequeno lote de pedidos. Para raspagem dependente da sessão (onde você precisa manter o estado de login ou navegar por fluxos de várias páginas), use sessões fixas que mantêm o mesmo IP por uma duração definida antes de rodar.

ProxyHat fornece rotação automática com controle de sessão configurável. Você pode direcionar IPs de países, estados ou cidades específicos acesso a conteúdos geo-restritos, mantendo as pontuações de confiança de nível residencial.

2. Craft Realistic HTTP Cabeçalhos

Os cabeçalhos padrão das bibliotecas de raspagem são uma oferta morta. Um pedido do Python requests biblioteca envia User-Agent: python-requests/2.31.0 — que a assinale imediatamente como automatizada. Criar perfis de cabeçalho que correspondem exatamente aos navegadores reais:

• Definir uma corrente, completa User-Agent string correspondente a uma versão real do navegador
• Incluir Accept, Accept-Language, Accept-Encoding, e Sec-CH-UA cabeçalhos
• Coincidir a ordem de cabeçalho com o navegador que você está imitando
• Rodar entre vários perfis de navegador para evitar uma única impressão digital
• Incluir um plausível Referer cabeçalho (por exemplo, uma página de resultados do motor de busca)

3. Implementar a limitação da taxa inteligente

Os atrasos uniformes são quase tão suspeitos como nenhum atraso. Aplicar atrasos aleatórios que seguem uma distribuição realista:

• Atraso de base de 2-5 segundos entre os pedidos
• Adicionar jitter aleatório de mais ou menos 30-50%
• Inserir pausas mais longas (15-30 segundos) a cada 20-50 pedidos
• Reduzir a concordância por domínio — 2-3 solicitações paralelas máximas
• Implementar backoff exponencial quando você recebe sinais de limite de taxa (429 códigos de status)

4. Gerencie sessões e cookies corretamente

Muitos sites atribuem cookies de rastreamento na primeira visita e esperam por eles em pedidos subsequentes. Um raspador que nunca envia cookies, ou que envia cookies frescos em cada pedido, desencadeia a detecção de anomalias. Mantenha um frasco de cookie por sessão e leve cookies através de solicitações dentro de uma sessão de navegação lógica.

5. Lidar com conteúdo rendido em JavaScript

Para sites que requerem execução JavaScript, use um motor de navegador real através de Playwright ou Puppeteer. Mas executar navegadores sem cabeça sem precauções é facilmente detectado. As principais etapas de endurecimento incluem:

• Utilização playwright-extra ou puppeteer-extra com plugins furtivos
• Definir um tamanho realista do viewport (não o padrão 800x600)
• Activar WebGL e injectar sequências de renderizadores GPU consistentes
• Define o fuso- horário e a localização para corresponder à localização geográfica do seu proxy
• Adicionar movimentos aleatórios do mouse e ações de rolagem antes de extrair dados

6. Respeito robots.txt e Implementar Backoff

Embora o robots.txt não seja juridicamente vinculativo em todas as jurisdições, respeitá-lo demonstra boa fé. Mais praticamente, sites que vêem você ignorando robots.txt são mais propensos a implementar bloqueio agressivo. Implemente sempre o backoff automático quando receber 429 (Muitos Pedidos) ou 503 (Serviço Indisponível) respostas — estes são sinais explícitos para abrandar.

Exemplos de código: Raspamento com Proxies Residenciais ProxyHat

Os exemplos a seguir demonstram como configurar a rotação de proxy residencial com cabeçalhos realistas. Cada exemplo usa o SDK ProxyHat para o respectivo idioma. Para a totalidade Documentação da API, ver os documentos ProxyHat.

Exemplo Python

Instalar o SDK: pip install proxyhat (GitHub)

import time
import random
from proxyhat import ProxyHatClient
client = ProxyHatClient(
    api_key="your_api_key",
    country="US",
    session_type="rotating",  # New IP per request
)
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8",
    "Accept-Language": "en-US,en;q=0.9",
    "Accept-Encoding": "gzip, deflate, br",
    "Sec-CH-UA": '"Chromium";v="131", "Not_A Brand";v="24"',
    "Sec-CH-UA-Mobile": "?0",
    "Sec-CH-UA-Platform": '"Windows"',
}
urls = [
    "https://example.com/page/1",
    "https://example.com/page/2",
    "https://example.com/page/3",
]
for url in urls:
    response = client.get(url, headers=headers)
    print(f"{response.status_code} - {url} via {response.proxy_ip}")
    # Randomized delay: 2-5 seconds with jitter
    delay = random.uniform(2.0, 5.0)
    time.sleep(delay)

Exemplo Node.js

Instalar o SDK: npm install @proxyhat/sdk (GitHub)

const { ProxyHatClient } = require("@proxyhat/sdk");
const client = new ProxyHatClient({
  apiKey: "your_api_key",
  country: "US",
  sessionType: "rotating",
});
const headers = {
  "User-Agent":
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36",
  Accept:
    "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8",
  "Accept-Language": "en-US,en;q=0.9",
};
const urls = [
  "https://example.com/page/1",
  "https://example.com/page/2",
  "https://example.com/page/3",
];
async function scrape() {
  for (const url of urls) {
    const response = await client.get(url, { headers });
    console.log(`${response.status} - ${url} via ${response.proxyIp}`);
    // Randomized delay between requests
    const delay = 2000 + Math.random() * 3000;
    await new Promise((r) => setTimeout(r, delay));
  }
}
scrape();

Exemplo de Ir

Instalar o SDK: go get github.com/ProxyHatCom/go-sdk (GitHub)

package main
import (
    "fmt"
    "math/rand"
    "time"
    proxyhat "github.com/ProxyHatCom/go-sdk"
)
func main() {
    client := proxyhat.NewClient(&proxyhat.Config{
        APIKey:      "your_api_key",
        Country:     "US",
        SessionType: proxyhat.Rotating,
    })
    headers := map[string]string{
        "User-Agent":      "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36",
        "Accept":          "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
        "Accept-Language": "en-US,en;q=0.9",
    }
    urls := []string{
        "https://example.com/page/1",
        "https://example.com/page/2",
        "https://example.com/page/3",
    }
    for _, url := range urls {
        resp, err := client.Get(url, proxyhat.WithHeaders(headers))
        if err != nil {
            fmt.Printf("Error: %v\n", err)
            continue
        }
        fmt.Printf("%d - %s via %s\n", resp.StatusCode, url, resp.ProxyIP)
        // Randomized delay: 2-5 seconds
        delay := time.Duration(2000+rand.Intn(3000)) * time.Millisecond
        time.Sleep(delay)
    }
}

Sessões pegajosas para Fluxos Multi- Página

Algumas tarefas de raspagem requerem manter o mesmo endereço IP em várias solicitações — por exemplo, navegar por uma lista de produtos paginados, manter uma sessão de login ou preencher um formulário multi-passo. ProxyHat suporta sessões pegajosas que mantêm o mesmo IP residencial para uma duração configurável.

# Python: Sticky session example
from proxyhat import ProxyHatClient
client = ProxyHatClient(
    api_key="your_api_key",
    country="DE",
    session_type="sticky",
    session_ttl=300,  # Same IP for 5 minutes
)
# All requests within the session use the same IP
response1 = client.get("https://example.com/login", headers=headers)
response2 = client.post("https://example.com/login", data=credentials, headers=headers)
response3 = client.get("https://example.com/dashboard", headers=headers)
print(f"Session IP: {response1.proxy_ip}")  # Same IP for all three requests

Erros comuns que bloqueiam

Até mesmo desenvolvedores experientes fazem esses erros. Cada um pode gravar através da largura de banda do proxy e obter IPs sinalizados desnecessariamente:

• Usando cabeçalhos de biblioteca padrão — A python-requests A string User-Agent está em cada blocklist. Sempre definir cabeçalhos personalizados.
• Ignorar as impressões digitais TLS — Seus cabeçalhos podem dizer "Chrome", mas seu aperto de mão TLS diz "Python". Usar bibliotecas como curl_cffi ou tls-client que se passam por verdadeiras impressões digitais do navegador TLS.
• Raspando muito rápido no lançamento inicial - Comece devagar. Aumentar as taxas de solicitação gradualmente ao longo de horas, não minutos.
• Não manuseando erros graciosamente — Tentar novamente pedidos bloqueados imediatamente com a mesma configuração desperdiça largura de banda e confirma que você é um bot. Implementar backoff e alternar sessões proxy em erros.
• Reutilizar os IPs gravados — Se um pedido devolver uma página CAPTCHA ou bloco, esse IP estará comprometido para esse alvo. Roda para uma nova sessão imediatamente.
• Ignorar a consistência geográfica — Envio de pedidos de um IP dos EUA com Accept-Language: ja e um desvio de fuso horário de +9 parece suspeito. Coincidir seus cabeçalhos e configurações do navegador com os do seu proxy localização.
• Não acompanhar as taxas de sucesso — Sem seguir a sua taxa de bloqueio, não pode dizer se a sua estratégia está a funcionar. Registre todos os status de resposta e alerta sobre a taxa de sucesso cai.

Técnicas avançadas para alvos de alto valor

Randomização de impressões digitais

Para sites fortemente protegidos, gire não apenas IPs, mas perfis inteiros de impressão digital do navegador. Cada sessão deve ter uma combinação consistente de usuário-agente, resolução de tela, fuso horário, linguagem e plataforma — e estas devem combinar combinações realistas. Um usuário do Windows com uma string de plataforma Linux é uma bandeira vermelha óbvia.

Solicitar Simulação de Cadeia

Usuários reais não pulam diretamente para páginas de produto. Eles chegam dos motores de busca, procurar páginas de categoria, e seguir links internos. Crie seu raspador para simular caminhos de navegação realistas: carregue a página inicial, siga links para páginas de categoria e, em seguida, acesse os dados de destino. Isto gera um padrão de sessão credível.

SERP Raspando Considerações

A raspagem do Search Engine tem desafios únicos porque o Google, Bing e outros têm detecção de bots particularmente agressiva. Proxies residenciais são essenciais para confiável Monitoramento SERP, e você deve distribuir pedidos em várias localizações geográficas para evitar o desencadeamento de limites de taxa de qualquer região.

Escolher o tipo de proxy certo

Nem todos os trabalhos de raspagem requerem proxies residenciais. A escolha certa depende das defesas do seu alvo e do seu orçamento. Veja o nosso comparação detalhada dos tipos de proxy para um mergulho profundo. Aqui está uma matriz de decisão rápida:

Para a maioria dos projetos de raspagem, proxies rotativos residenciais oferecem a melhor combinação de confiabilidade e custo-efetividade. Preço do ProxyHat é baseado no consumo de largura de banda, então você só paga por transferência de dados bem sucedida.

Tiras de Chaves

• Proxies residenciais são a fundação — Os IPs do Datacenter são bloqueados imediatamente na maioria dos sites protegidos. IPs residenciais carregam confiança natural.
• Cabeçalhos importam tanto quanto IPs — Um IP residencial com cabeçalhos Python padrão ainda é bloqueado. Construir perfis de cabeçalho completos e realistas.
• Aleatório de tudo — Atrasos, combinações de cabeçalhos, caminhos de navegação. Padrões previsíveis são padrões detectáveis.
• Monitorar e adaptar — Rastreie a sua taxa de sucesso. Quando os blocos aumentarem, investigue e ajuste antes de queimar o seu grupo de proxy.
• Coincidir com sua impressão digital — Cada sinal deve contar uma história consistente: User-Agent, TLS impressão digital, fuso horário, idioma e localização geográfica devem alinhar-se.
• Iniciar lentamente, escala gradualmente — Comece com limites de taxa conservadores e aumente apenas após confirmar que sua configuração funciona de forma confiável.
• Usar sessões pegajosas para fluxos de estado — Sequências de login e navegação multipáginas necessitam de consistência IP. Use sessões pegajosas com TTLs apropriados.

Perguntas Frequentes

Como sei se o meu raspador está a ser bloqueado?

Os sinais comuns incluem receber códigos de status HTTP 403 ou 429, ser redirecionado para páginas CAPTCHA, obter corpos de resposta vazios onde você espera conteúdo HTML, ou receber conteúdo diferente do que você vê em um navegador regular. Monitore seus códigos de estado de resposta e comprimento de conteúdo — uma queda repentina no tamanho médio de resposta muitas vezes indica blocos macios onde o site retorna uma página de desafio em vez do conteúdo real.

São proxies residenciais suficientes para evitar todos os blocos?

Proxies residenciais eliminam bloqueio baseado em IP, que é o método de detecção mais comum, mas não são uma solução completa por conta própria. Você ainda precisa de cabeçalhos realistas, limitação de taxa adequada e gerenciamento de sessão. Pense em proxies residenciais como a fundação — eles resolvem o problema mais difícil (reputação IP), mas as outras camadas de sua pilha de raspagem também devem ser sólidas. Para os sites mais protegidos, combinar proxies residenciais com impressão digital do navegador personificação usando ferramentas como curl_cffi Ou um dramaturgo furtivo.

Quantos pedidos por segundo posso enviar sem ser bloqueado?

Não há resposta universal porque depende das defesas do site alvo. Como ponto de partida conservador, limite-se a 1 solicitação a cada 2-5 segundos por domínio com IPs rotativos. Para sites menos protegidos, você pode gradualmente aumentar para 5-10 pedidos concorrentes. Para sites fortemente protegidos, como Google ou Amazon, fique sob 1 solicitação por 3 segundos, mesmo com proxies residenciais. Sempre aumente gradualmente e monitore sua taxa de sucesso — se cair abaixo de 95%, você está indo muito rápido.

Qual é a diferença entre sessões de proxy rotativas e grudentas?

Sessões rotativas atribuem um novo endereço IP a cada solicitação, que é ideal para raspar páginas independentes onde nenhum estado precisa persistir entre as solicitações. Sessões fixas mantêm o mesmo IP durante uma duração configurada (tipicamente 1-30 minutos), o que é necessário para fluxos de login, navegação paginada, ou qualquer processo multi-step onde o servidor rastreia seu IP. Use sessões rotativas por padrão e mude para grudento apenas quando seu caso de uso requer especificamente continuidade de sessão.

Raspar web é legal?

A legalidade da raspagem na web varia de acordo com a jurisdição, o tipo de dados coletados e como é utilizado. Nos Estados Unidos, o 2022 hiQ Labs v. Linked Na decisão, estabeleceu-se que raspar dados disponíveis ao público não viola a Lei de Fraude e Abuso de Computador. Na UE, o GDPR aplica-se aos dados pessoais, independentemente da forma como são recolhidos. Regra geral: raspar dados disponíveis publicamente, para fins comerciais legítimos, é amplamente aceite. Reveja sempre os Termos de Serviço de um site, respeite o robots.txt como cortesia e consulte aconselhamento legal para o seu caso de uso específico.