Proxies para Scraping de Dados de E-Commerce: Guia Completo

Tiras de Chaves

• E-commerce raspar poderes preços competitivos, pesquisa de mercado e inteligência de produtos — mas as principais plataformas usam sistemas antibot agressivos que bloqueiam raspadores desprotegidos em poucos minutos.
• Proxies residenciais são o tipo de proxy mais eficaz para raspagem de comércio eletrônico porque eles usam IPs reais designados por ISP que as plataformas não podem distinguir de compradores genuínos.
• Diferentes plataformas exigem diferentes estratégias: Amazon precisa de alta rotação com geo-alvo, Shopify lojas são mais leves, mas numerosos, e Walmart combina terminais API com páginas renderizadas.
• Proxies geo-alvo são essenciais para o monitoramento de preços em todas as regiões, uma vez que plataformas de comércio eletrônico servem diferentes preços, disponibilidade de produtos e promoções com base na localização do visitante.
• Um oleoduto de raspagem de e-commerce de qualidade de produção combina proxies residenciais rotativos, lógica de repetição inteligente, extração de dados estruturados e processamento em lote programado para monitorar milhões de listas de produtos de forma confiável.

Por que os dados de comércio eletrônico são importantes

E-commerce gera inteligência competitiva mais acionável do que qualquer outra fonte de dados na web. Os preços dos produtos mudam a cada hora. Novos vendedores entram nos mercados diariamente. Promoções aparecem e desaparecem dentro de horas. Para qualquer empresa que vende produtos em linha — ou compete com aqueles que o fazem — proxies para raspagem de comércio eletrônico são a base de uma estratégia orientada para os dados.

Aqui está o que a raspagem de comércio eletrônico permite:

• Informação dinâmica sobre preços: Monitore os preços dos concorrentes em tempo real e ajuste sua própria estratégia de preços para maximizar as margens enquanto se mantém competitiva.
• Monitoramento de catálogo de produtos: Acompanhe novos lançamentos de produtos, níveis de estoque, descrições de produtos e mudanças de recursos nas lojas concorrentes.
• Investigação de mercado: Analise as categorias de produtos, rankings de bestsellers, sentimento de avaliação de clientes e tendências de mercado antes de entrar em novos segmentos.
• Cumprimento do MAP: As marcas podem monitorar violações de preço mínimo anunciado em toda a sua rede de revendedores e revendedores.
• Geração de chumbo: Extraia informações do vendedor, diretórios da marca e dados de contato comercial de listas de mercado.

O desafio é que as plataformas de comércio eletrônico estão entre os sites mais fortemente protegidos na internet. Amazon, Walmart, Target, eBay e principais lojas Shopify todos implantar sistemas antibot sofisticados projetados para bloquear a coleta de dados automatizados. Sem a infraestrutura proxy certa, seus raspadores falharão antes de coletar um único ponto de dados.

Desafios de raspar sites de comércio eletrônico

Plataformas de comércio eletrônico investem milhões em tecnologia antibots. Compreender essas defesas é essencial antes de construir qualquer oleoduto de raspagem.

Sistemas Anti- Bot avançados

As principais plataformas de comércio eletrônico implementam a detecção de bots de nível empresarial. A Amazon usa um sistema proprietário que combina pontuação de reputação IP, impressão digital TLS, análise comportamental do navegador e classificação de aprendizado de máquina. Walmart integra PerimeterX (agora HUMAN Security), que analisa movimentos de mouse, padrões de rolagem e ambientes de execução JavaScript. As lojas do Shopify usam cada vez mais o Cloudflare Bot Management, que mantém um banco de dados global de inteligência de ameaças de IPs conhecidos de raspagem.

Conteúdo dinâmico e renderização de JavaScript

Os sites de e-commerce modernos carregam dados de produtos, preços e comentários dinamicamente através do JavaScript. Uma simples solicitação HTTP que não executa JavaScript retornará uma shell vazia — sem preços, sem detalhes do produto, sem comentários. Isso significa que raspar e-commerce eficaz muitas vezes requer navegadores sem cabeça como o Puppeteer ou o Playwright, que aumenta o consumo de recursos e torna o gerenciamento de proxy mais complexo.

Preços e Conteúdo Geoespecíficos

As plataformas de comércio eletrônico servem diferentes conteúdos com base na localização do visitante. Amazon.com mostra diferentes preços, opções de transporte e até mesmo disponibilidade de produtos, dependendo de você navegar de Nova York, Londres ou Tóquio. Um sistema de monitorização dos preços que não tenha em conta o geo-alvo produzirá dados inexactos e enganadores. Você precisa de proxies nas regiões específicas onde você quer monitorar os preços.

Limitação de Taxa e Gestão de Sessão

Os sites de comércio eletrônico impõem limites de taxa estritos. A Amazon normalmente permite 10-15 solicitações por minuto de um único IP antes de ativar CAPTCHAs ou blocos. O Walmart é ainda mais rigoroso com IPs novos ou não confiáveis. Esses limites significam que o monitoramento de um catálogo de 100.000 produtos requer milhares de endereços IP girando em coordenação — não um punhado de proxies estáticos.

Alterações estruturais e testes A/B

Sites de comércio eletrônico constantemente modificam sua estrutura HTML através de testes A/B e redesenhos. O seletor CSS que extrai um preço hoje pode não devolver nada amanhã. Os sistemas de raspagem robustos devem incluir monitoramento, validação e análise adaptativa para lidar com essas alterações sem intervenção humana.

Por que Proxies são essenciais para o comércio eletrônico

Sem proxies, qualquer projeto de raspagem de comércio eletrônico em escala significativa é impossível. Eis o porquê:

• A rotação IP impede o bloqueio: Distribuir pedidos em milhares de IPs garante que nenhum endereço único exceda os limites de taxa ou desencadeia padrões de detecção de bots.
• IPs residenciais passam cheques de reputação: Sistemas anti-bot mantêm bancos de dados de intervalos IP datacenter. Proxies residenciais usar IPs atribuídos por reais ISPs para famílias reais, tornando-os indistinguíveis de compradores genuínos.
• A geoorientação permite a fixação de preços regionais: Proxies em países e cidades específicas vamos ver exatamente o que os consumidores locais vêem — incluindo preços localizados, moeda, promoções e disponibilidade de produtos.
• Persistência da sessão quando necessário: Algumas tarefas de raspagem (adicionando itens ao carrinho, navegando paginação, verificando fluxos de checkout) requerem manter o mesmo IP em várias solicitações. Sessões de proxy fixas tornam isso possível.
• Escalabilidade: Uma rede proxy com milhões de IPs permite que você escale de monitoramento de 1.000 produtos para 1.000.000 de produtos sem mudanças arquitetônicas.

Melhores tipos de Proxy para raspagem de comércio eletrônico

Nem todos os tipos de proxy funcionam igualmente em plataformas de comércio eletrônico. Sua escolha depende do local de destino, volume de raspagem e orçamento. Para um mergulho mais profundo em tipos de proxy, consulte residencial vs datacenter vs guia de comparação móvel.

Conclusão: Proxies residenciais são a escolha padrão para raspar e-commerce. Proxies Datacenter só funcionam de forma confiável contra lojas Shopify menores sem proteção avançada de bots. Proxies móveis oferecem as maiores taxas de sucesso, mas a um custo de largura de banda mais elevado — reserve-os para alvos de alto valor com as defesas antibot mais fortes.

Raspando grandes plataformas: Estratégias Proxy

Amazonas

A Amazon é o site de comércio eletrônico mais arranhado e, consequentemente, o mais defendido. Seu sistema antibot analisa reputação IP, padrões de solicitação, impressões digitais TLS e sinais comportamentais simultaneamente.

Estratégia Proxy para a Amazon:

• Use proxies residenciais rotativos — novo IP por solicitação de páginas de produto, resultados de pesquisa e páginas de revisão.
• Habilitar geo-alvo para corresponder ao domínio Amazon (IPs dos EUA para amazon.com, IPs de DE para amazon.de, IPs de JP para amazon.co.jp).
• Limitar a concorrência a 5-10 solicitações paralelas por geo-região para evitar a detecção de cluster-level.
• Adicione 2-5 segundos de atraso aleatório entre as solicitações da mesma sessão.
• Rodar strings User-Agent de um pool de 20+ versões recentes do navegador.

Lojas

Comprar poderes mais de 4 milhões de lojas online. Enquanto as lojas individuais variam na proteção de bots, as proteções de nível de plataforma da Shopify incluem limitação de taxa e integração Cloudflare.

Estratégia de proxy para Shopify:

• Muitas lojas Shopify expor um /products.json endpoint que retorna dados estruturados do produto sem renderização — tente isso primeiro.
• Para lojas sem o endpoint JSON, proxies residenciais rotativas com rotação moderada (novo IP a cada 3-5 solicitações) são suficientes.
• O limite de taxa do Shopify é tipicamente 2 requisições/segundo por IP — respeite isso para manter o acesso.
• Ao raspar milhares de lojas do Shopify, os proxies do datacenter podem trabalhar para lojas desprotegidas, economizando custos de largura de banda. Regressem à residência para as lojas daquele quarteirão.

Walmart

Walmart usa a HUMAN Security (anteriormente PerimeterX), uma das plataformas de detecção de bots mais sofisticadas disponíveis. Solicitações HTTP simples com datacenter IPs são bloqueadas imediatamente.

Estratégia de proxy para Walmart:

• Proxies residenciais são obrigatórios — IPs datacenter têm taxas de sucesso quase zero.
• Use um navegador sem cabeça (Puppeteer/Playwright) uma vez que a Walmart depende fortemente da verificação do desafio JavaScript.
• Implementar sessões pegajosas (5-10 minutos de duração) ao navegar listagens de produtos de várias páginas ou paginação de pesquisa.
• Endpoints da API do Walmart (walmart.com/api/ por vezes, têm uma protecção mais leve do que as páginas renderizadas — experiências com ambas.

Guia de Implementação: Python

Aqui está uma configuração de raspagem de e-commerce pronta para produção usando Python com O SDK Python do ProxyHatName. Para um guia fundamental para o uso de proxy em Python, consulte Usando Proxies em Python.

Raspador de produto básico com Proxies rotativas

import requests
from bs4 import BeautifulSoup
import random
import time
# ProxyHat proxy configuration
PROXY_USER = "USERNAME"
PROXY_PASS = "PASSWORD"
PROXY_HOST = "gate.proxyhat.com"
PROXY_PORT = 8080
USER_AGENTS = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/131.0.0.0 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 Chrome/131.0.0.0 Safari/537.36",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:132.0) Gecko/20100101 Firefox/132.0",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 Chrome/131.0.0.0 Safari/537.36",
]
def get_proxy(country="US"):
    """Build ProxyHat proxy URL with geo-targeting."""
    proxy_url = f"http://{PROXY_USER}-country-{country}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}"
    return {"http": proxy_url, "https": proxy_url}
def scrape_product(url, country="US", retries=3):
    """Scrape a product page with automatic retry and IP rotation."""
    for attempt in range(retries):
        try:
            headers = {
                "User-Agent": random.choice(USER_AGENTS),
                "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
                "Accept-Language": "en-US,en;q=0.9",
                "Accept-Encoding": "gzip, deflate, br",
            }
            response = requests.get(
                url,
                proxies=get_proxy(country),
                headers=headers,
                timeout=30,
            )
            if response.status_code == 200:
                return parse_product(response.text)
            elif response.status_code == 503:
                print(f"Blocked on attempt {attempt + 1}, rotating IP...")
                time.sleep(random.uniform(2, 5))
        except requests.exceptions.RequestException as e:
            print(f"Request error: {e}")
            time.sleep(random.uniform(1, 3))
    return None
def parse_product(html):
    """Extract product data from HTML."""
    soup = BeautifulSoup(html, "html.parser")
    return {
        "title": soup.select_one("h1#productTitle, h1[data-automation-id='productTitle']"),
        "price": soup.select_one(".a-price .a-offscreen, [data-testid='price']"),
        "rating": soup.select_one(".a-icon-star-small .a-icon-alt, .rating-number"),
        "availability": soup.select_one("#availability span, .prod-fulfillment-messaging"),
    }
# Scrape products from multiple regions
products_to_monitor = [
    "https://www.amazon.com/dp/B0EXAMPLE1",
    "https://www.amazon.com/dp/B0EXAMPLE2",
]
for url in products_to_monitor:
    for country in ["US", "GB", "DE"]:
        result = scrape_product(url, country=country)
        if result:
            print(f"[{country}] {result}")
        time.sleep(random.uniform(2, 5))

Scraper Shopify Store Usando a API JSON

import requests
import json
PROXY_URL = "http://USERNAME:PASSWORD@gate.proxyhat.com:8080"
PROXIES = {"http": PROXY_URL, "https": PROXY_URL}
def scrape_shopify_store(store_url):
    """Scrape all products from a Shopify store via JSON API."""
    products = []
    page = 1
    while True:
        url = f"{store_url}/products.json?page={page}&limit=250"
        response = requests.get(url, proxies=PROXIES, timeout=20)
        if response.status_code != 200:
            break
        data = response.json()
        batch = data.get("products", [])
        if not batch:
            break
        for product in batch:
            products.append({
                "title": product["title"],
                "handle": product["handle"],
                "vendor": product["vendor"],
                "product_type": product["product_type"],
                "variants": [
                    {
                        "sku": v.get("sku"),
                        "price": v["price"],
                        "compare_at_price": v.get("compare_at_price"),
                        "available": v["available"],
                    }
                    for v in product["variants"]
                ],
            })
        page += 1
    return products
# Usage
store_data = scrape_shopify_store("https://example-store.myshopify.com")
print(f"Found {len(store_data)} products")

Guia de implementação: Node.js

Para raspagem baseada em JavaScript com navegadores sem cabeça — essencial para Walmart e outros sites fortemente protegidos — consulte Guia proxy Node.js para a configuração fundamental. Abaixo está uma implementação específica do e-commerce usando O Nó do ProxyHat SDK.

Navegador sem cabeça raspando com o Puppeteer

const puppeteer = require("puppeteer");
const PROXY_HOST = "gate.proxyhat.com";
const PROXY_PORT = 8080;
const PROXY_USER = "USERNAME";
const PROXY_PASS = "PASSWORD";
async function scrapeProductPage(url, country = "US") {
  const proxyUser = `${PROXY_USER}-country-${country}`;
  const browser = await puppeteer.launch({
    headless: "new",
    args: [`--proxy-server=http://${PROXY_HOST}:${PROXY_PORT}`],
  });
  const page = await browser.newPage();
  await page.authenticate({ username: proxyUser, password: PROXY_PASS });
  // Set realistic viewport and user agent
  await page.setViewport({ width: 1920, height: 1080 });
  await page.setUserAgent(
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/131.0.0.0 Safari/537.36"
  );
  try {
    await page.goto(url, { waitUntil: "networkidle2", timeout: 45000 });
    // Wait for price element to load
    await page.waitForSelector('[data-testid="price"], .a-price', {
      timeout: 10000,
    });
    const product = await page.evaluate(() => {
      const getText = (selector) =>
        document.querySelector(selector)?.textContent?.trim() || null;
      return {
        title: getText("h1"),
        price: getText('[data-testid="price"], .a-price .a-offscreen'),
        rating: getText(".rating-number, .a-icon-star-small .a-icon-alt"),
        reviewCount: getText("#acrCustomerReviewCount, .rating-count"),
        availability: getText("#availability span, .prod-fulfillment-messaging"),
        seller: getText("#sellerProfileTriggerId, .seller-name"),
      };
    });
    return product;
  } catch (error) {
    console.error(`Scraping failed for ${url}:`, error.message);
    return null;
  } finally {
    await browser.close();
  }
}
// Monitor prices across regions
async function monitorPrices(asinList, countries) {
  const results = [];
  for (const asin of asinList) {
    for (const country of countries) {
      const domain = { US: "amazon.com", GB: "amazon.co.uk", DE: "amazon.de" }[country];
      const url = `https://www.${domain}/dp/${asin}`;
      const data = await scrapeProductPage(url, country);
      if (data) {
        results.push({ asin, country, ...data, scrapedAt: new Date().toISOString() });
      }
      // Random delay between requests
      await new Promise((r) => setTimeout(r, 2000 + Math.random() * 3000));
    }
  }
  return results;
}
// Usage
monitorPrices(["B0EXAMPLE1", "B0EXAMPLE2"], ["US", "GB", "DE"]).then((data) =>
  console.log(JSON.stringify(data, null, 2))
);

Monitorização Geo-Targeted Price

A variação de preços entre regiões é um dos conjuntos de dados mais valiosos na inteligência de comércio eletrônico. O mesmo produto pode ter uma diferença de preços de 20-40% entre países — e mesmo entre cidades dentro do mesmo país. Geo- alvo do ProxyHat apoia o roteamento a nível nacional e municipal, o que é fundamental para um controlo preciso dos preços regionais.

Como funciona o Geo-Targeting para monitoramento de preços

Quando você encaminha uma solicitação através de um proxy em um local específico, a plataforma de comércio eletrônico detecta a localização do visitante através do endereço IP. Isto desencadeia o comportamento específico da localização:

• Moeda e preços: A plataforma apresenta preços em moeda local com níveis de preços específicos para regiões.
• Disponibilidade do produto: Inventário e opções de transporte diferem por região. Alguns produtos só estão disponíveis em determinados mercados.
• Promoção: Eventos regionais de vendas, descontos de férias e programas de lealdade variam de país para país.
• Apresentação fiscal: Algumas regiões apresentam preços antes de impostos, outras apresentam preços inclusive fiscais.

# Monitor the same product across 5 markets
import requests
PROXY_BASE = "USERNAME-country-{country}:PASSWORD@gate.proxyhat.com:8080"
markets = {
    "US": {"domain": "amazon.com", "currency": "USD"},
    "GB": {"domain": "amazon.co.uk", "currency": "GBP"},
    "DE": {"domain": "amazon.de", "currency": "EUR"},
    "JP": {"domain": "amazon.co.jp", "currency": "JPY"},
    "CA": {"domain": "amazon.ca", "currency": "CAD"},
}
def monitor_price(asin, country, market_info):
    proxy = f"http://{PROXY_BASE.format(country=country)}"
    url = f"https://www.{market_info['domain']}/dp/{asin}"
    response = requests.get(
        url,
        proxies={"http": proxy, "https": proxy},
        headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/131.0.0.0"},
        timeout=30,
    )
    # Parse price from response...
    return {"country": country, "currency": market_info["currency"], "url": url}

Monitoramento de preços em tempo real vs em lote

E-commerce monitoramento de preços cai em dois padrões arquitetônicos, cada um com diferentes requisitos proxy.

Monitorização em tempo real é necessário quando você executa um motor de repricing que deve responder às mudanças de preço do concorrente dentro de minutos. Esta arquitetura requer trabalhadores de raspagem persistente que continuamente percorrem sua lista de produtos, usando proxies residenciais rotativas para manter altas taxas de sucesso sob carga sustentada.

Monitorização dos lotes atende à maioria dos casos de uso: relatórios diários de preços, análise competitiva semanal e rastreamento de tendências. Um trabalho programado é executado 2-4 vezes por dia, raspa o catálogo completo do produto usando uma explosão de pedidos simultâneos, armazena resultados em um banco de dados e desliga até a próxima execução. Esta abordagem usa significativamente menos largura de banda proxy.

Recomendação: Comece com a monitorização do lote. A maioria das decisões de preços não exigem granularidade de nível minuto. Execute seus primeiros trabalhos de raspagem 2-3 vezes por dia. Passar à monitorização em tempo real apenas para categorias de produtos em que os concorrentes mudam frequentemente de preços (electrónica, voos, itens de tendência).

Manipulação de medidas comuns anti-bot de comércio electrónico

Mesmo com proxies residenciais, sistemas antibots de comércio eletrônico podem detectar padrões automatizados. Aqui estão técnicas comprovadas para maximizar taxas de sucesso, com base em estratégias de guia de raspagem sem ficar bloqueado.

Tratamento da CAPTCHA

Amazon e Walmart apresentam CAPTCHAs quando suspeitam de atividade automatizada. A melhor abordagem é a prevenção:

• Rodar IPs agressivamente — um novo IP para cada solicitação reduz a chance de acumular sinais suficientes em qualquer IP para desencadear um CAPTCHA.
• Use cabeçalhos de requisição realistas que correspondem exatamente à ordem e valores de cabeçalho de um navegador real.
• Mantenha impressões digitais TLS consistentes usando a mesma versão do navegador durante uma sessão.
• Se CAPTCHAs ainda aparecer, implemente backoff exponencial: pausar o IP por 5 minutos, então 15 minutos, em seguida, 1 hora.

Solicitar Randomização de Impressões Digitais

import random
def generate_headers():
    """Generate realistic, randomized request headers."""
    chrome_versions = ["130.0.0.0", "131.0.0.0", "132.0.0.0"]
    platforms = [
        ("Windows NT 10.0; Win64; x64", "Windows"),
        ("Macintosh; Intel Mac OS X 10_15_7", "macOS"),
        ("X11; Linux x86_64", "Linux"),
    ]
    platform, platform_name = random.choice(platforms)
    chrome_ver = random.choice(chrome_versions)
    return {
        "User-Agent": f"Mozilla/5.0 ({platform}) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/{chrome_ver} Safari/537.36",
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8",
        "Accept-Language": random.choice([
            "en-US,en;q=0.9",
            "en-US,en;q=0.9,es;q=0.8",
            "en-GB,en;q=0.9",
        ]),
        "Accept-Encoding": "gzip, deflate, br",
        "Cache-Control": random.choice(["no-cache", "max-age=0"]),
        "Sec-Ch-Ua-Platform": f'"{platform_name}"',
        "Sec-Fetch-Dest": "document",
        "Sec-Fetch-Mode": "navigate",
        "Sec-Fetch-Site": "none",
        "Upgrade-Insecure-Requests": "1",
    }

Repetição inteligente com rotação IP

import time
import random
def scrape_with_smart_retry(url, max_retries=5, country="US"):
    """Scrape with exponential backoff and automatic IP rotation."""
    base_delay = 2
    for attempt in range(max_retries):
        proxy = get_proxy(country)  # New IP each attempt
        headers = generate_headers()
        try:
            response = requests.get(url, proxies=proxy, headers=headers, timeout=30)
            if response.status_code == 200:
                return response.text
            elif response.status_code == 403:
                print(f"Attempt {attempt + 1}: Forbidden (IP likely flagged)")
            elif response.status_code == 429:
                print(f"Attempt {attempt + 1}: Rate limited")
            elif response.status_code == 503:
                print(f"Attempt {attempt + 1}: Service unavailable (CAPTCHA)")
        except requests.exceptions.Timeout:
            print(f"Attempt {attempt + 1}: Timeout")
        except requests.exceptions.ConnectionError:
            print(f"Attempt {attempt + 1}: Connection error")
        # Exponential backoff with jitter
        delay = base_delay * (2 ** attempt) + random.uniform(0, 1)
        print(f"Waiting {delay:.1f}s before retry...")
        time.sleep(delay)
    return None

Estrutura de raspagem de comércio eletrônico de escala

Passar de raspar algumas centenas de produtos para monitorar milhões de listas requer decisões arquitetônicas que afetam o custo, confiabilidade e frescura de dados.

Arquitetura para Escala

Pipeline de raspagem baseada em fila

Para operações de média a grande escala, uma arquitetura baseada em filas fornece confiabilidade e escalabilidade:

# Producer: enqueue scraping jobs
import redis
import json
r = redis.Redis()
def enqueue_products(product_urls, priority="normal"):
    queue_name = f"scrape:{priority}"
    for url in product_urls:
        job = json.dumps({"url": url, "retries": 0, "created_at": time.time()})
        r.lpush(queue_name, job)
# Consumer: process scraping jobs
def worker(country="US"):
    while True:
        # Priority queue: check high-priority first
        job_data = r.rpop("scrape:high") or r.rpop("scrape:normal")
        if not job_data:
            time.sleep(1)
            continue
        job = json.loads(job_data)
        result = scrape_with_smart_retry(job["url"], country=country)
        if result:
            # Store result in database
            r.lpush("results:pending", json.dumps({
                "url": job["url"],
                "data": result,
                "scraped_at": time.time(),
            }))
        elif job["retries"] < 3:
            # Re-queue failed jobs
            job["retries"] += 1
            r.lpush("scrape:normal", json.dumps(job))

Otimização da Largura de Banda

Páginas de comércio eletrônico são pesadas — 500 KB a 2 MB cada com imagens e scripts. Em escala, os custos de largura de banda dominam. Otimizar por:

• Bloquear recursos desnecessários: Em navegadores sem cabeça, bloqueie imagens, fontes, CSS e scripts de rastreamento. Os dados do produto estão nas chamadas HTML e API.
• Usando os endpoints da API quando disponíveis: Shopify /products.json, Amazon's Product Advertising API para vendedores autorizados, e Walmart's afiliado API todos retornam dados estruturados em uma fração da largura de banda.
• Caching produtos inalterados: Apenas os produtos de recarga cujos preços possam ter sido alterados. Use padrões históricos para priorizar listas frequentemente atualizadas.
• Comprimir os dados armazenados: Armazene HTML bruto apenas quando necessário para depuração. Extrair e armazenar dados estruturados imediatamente.

Considerações Legal e Ética

A raspagem de dados do comércio electrónico funciona num quadro jurídico que continua a evoluir. Compreender os limites é essencial para a construção de uma operação de raspagem sustentável.

O que é geralmente aceito

• Coleta pública de dados: Raspar informações do produto publicamente visíveis (preços, títulos, disponibilidade) é amplamente aceito, apoiado por decisões como hiQ Labs v. LinkedIn Nos Estados Unidos
• Inteligência competitiva: Usar dados raspados para a estratégia de preços, análise de mercado e inteligência de negócios é prática padrão entre as indústrias.
• Monitorização do MAP: Marcas monitorando os preços anunciados de seus próprios produtos entre revendedores autorizados e não autorizados é um caso de uso legítimo bem estabelecido.

Melhores Práticas

• Respeitar os sinais robots.txt: Embora não seja juridicamente vinculativo, respeitar as directivas de atraso demonstra boa fé.
• Evite raspar dados pessoais: Não colete nomes de revisores, e-mails ou outras informações pessoais sem uma base legal nos regulamentos de proteção de dados aplicáveis.
• Limite de taxa responsável: Evite enviar pedidos a uma taxa que possa afetar o desempenho do site. A rotação do proxy deve distribuir carga, não multiplicá-la.
• Não contornar os controlos de acesso: Raspar páginas de produtos públicas é diferente de ignorar paredes de login ou acessar painéis de vendedores restritos.
• Guardar apenas o que necessita: Recolha os pontos de dados específicos necessários para o seu caso de uso. Evite download a granel de arquivos de site inteiros.

Começando com o ProxyHat para raspagem de comércio eletrônico

ProxyHat fornece a infraestrutura proxy necessária para a coleta confiável de dados de e-commerce em qualquer escala. Aqui está como começar:

1. Escolha o seu plano: Revisão Preço do ProxyHat e selecione uma alocação de tráfego que corresponda ao volume de monitoramento do produto. Para referência, o monitoramento diário de 10.000 produtos em 3 regiões utiliza aproximadamente 10-30 GB por mês.
2. Configurar o destino geográfico: Use o país ou o nível da cidade em seu nome de usuário proxy para encaminhar solicitações através de IPs em seus mercados-alvo.
3. Integrar com sua pilha: Utilizar o Python SDK, Node.js SDK, ou Ir SDK para uma integração simplificada. Veja o nosso documentação para configuração avançada.
4. Iniciar com monitorização em lote: Crie um trabalho diário de raspagem para sua lista de produtos principais, valide a qualidade dos dados e, em seguida, expanda a cobertura e a frequência.
5. Escalar conforme necessário: As escalas de proxy residencial do ProxyHat com suas necessidades – de 1.000 para 1.000.000+ produtos sem alterar sua configuração de proxy.

Para mais técnicas de raspagem e estratégias de proxy, explore guia de caso de uso de raspagem web e melhores proxies para raspagem web comparação.

Perguntas Frequentes

Quais são as melhores proxies para raspar Amazon?

Proxies residenciais rotativos são a melhor escolha para raspar Amazon. O sistema antibot da Amazon mantém extensas bases de dados de intervalos IP do datacenter e bloqueia-os agressivamente. Proxies residenciais usam IPs reais designados pelo ISP que passam cheques de reputação da Amazon. Para melhores resultados, use proxies residenciais geo-alvo correspondentes ao domínio Amazon que você está raspando (IPs dos EUA para amazon.com, IPs alemães para amazon.de) e rotacione IPs em cada solicitação.

Quanta largura de banda proxy eu preciso para o monitoramento de preços de e-commerce?

Largura de banda depende do número de produtos, frequência de raspagem e se você usa solicitações HTTP ou navegadores sem cabeça. Uma página de produto típica é 100-500 KB via HTTP ou 1-2 MB via navegador sem cabeça. O monitoramento de 10.000 produtos uma vez por dia via HTTP requer aproximadamente 2-5 GB por mês. O mesmo catálogo raspado com navegadores sem cabeça precisa de 10-20 GB. Multiplique pelo número de raspagens diárias e variações regionais que você acompanha.

Posso raspar sites de e-commerce sem proxies?

Não em escala significativa. Sem proxies, seu endereço IP único será limitado ou bloqueado em minutos nas principais plataformas. A Amazon normalmente bloqueia um único IP após 50-100 solicitações. Mesmo pequenas tarefas de monitoramento cobrindo algumas centenas de produtos requerem rotação IP para evitar interrupções. As proxies não são opcionais para a raspagem por e-commerce — são um requisito de infraestrutura essencial.

É legal raspar os preços dos produtos de sites concorrentes?

A eliminação de informações sobre produtos publicamente disponíveis — preços, títulos, descrições, disponibilidade — é geralmente considerada legal para fins de informação competitiva. Os tribunais dos EUA têm apoiado o direito de raspar dados públicos em casos como hiQ Labs v. LinkedIn. No entanto, você deve evitar raspar dados pessoais, respeitar limites de taxa e evitar ignorar controles técnicos de acesso como paredes de login. Consulte sempre o advogado para sua jurisdição específica e caso de uso.

Como lidar com CAPTCHAs ao raspar sites de comércio eletrônico?

A melhor estratégia do CAPTCHA é a prevenção. Use proxies residenciais rotativos para evitar acumular sinais suficientes em qualquer IP para desencadear a detecção. Envie cabeçalhos de navegador realistas com a ordenação adequada do cabeçalho. Adicione atrasos aleatórios entre as solicitações (2-5 segundos). Se os CAPTCHAs ainda aparecerem, implemente backoff exponencial — pause o IP marcado para aumentar os intervalos. Com a grande piscina IP residencial da ProxyHat e a rotação por solicitação, a maioria dos raspadores pode alcançar taxas de sucesso sem CAPTCHA de 90-95% nas principais plataformas de comércio eletrônico.