プロキシを使ったSERPスクレイピング完全ガイド

キーテイクアウト

• SERPスクレイピングはSEO監視、競合分析、ランクトラッキングに不可欠ですが、検索エンジンは自動リクエストをブロックします。
• 住宅用プロキシは、検索エンジンが信頼する実際のISP署名IPを使用するため、SERPスクレイピングのための最も信頼性の高いプロキシタイプです。
• ジオターゲティングプロキシを使用すると、ローカルSEOやマルチマーケットキャンペーンに不可欠である都市や国でローカルランキングを確認することができます。
• リクエストごとのIPを回転させ、タイミングをランダム化し、現実的なヘッダーを使用して、検出できないSERPスクレイピングの3つの柱です。
• よく設計されたスクレイピングパイプライン — スケジューリング、並列制御、および構造化されたデータストレージにより、毎日何千ものキーワードを監視できます。

SERPのスクレイピングとなぜそれが重要なのか

検索エンジンの検索結果ページ(SERP)スクレイピングは、有機リスト、有料広告、注目のスニペット、ナレッジパネル、人々はまた、ボックス、ローカルパック、および画像カルーセルを尋ねるなど、検索エンジンの結果からデータをプログラム的に抽出するプロセスです。 SEOのプロフェッショナル、マーケティングチーム、データ主導型ビジネス、 プロキシによるSERPスクレイピング 競争力のあるインテリジェンスのバックボーンです。

SERPデータの有効化は次のとおりです。

• ランクの追跡: デバイス、場所、検索エンジンのターゲットキーワードにページが表示される場所を監視します。
• 競争の分析: 競合他社のランキング、広告コピー、注目のスニペット、コンテンツ戦略をリアルタイムで追跡します。
• コンテンツギャップ分析: 競合他社がランク付けするキーワードを特定しますが、コンテンツの機会を明らかにしません。
• SERPの特徴の監視: Googleがレイアウトを変更したり、新しい機能を追加したり、キーワードの結果をどのように表示するかを検知します。
• 市場調査: 地理的な領域を横断して検索の意図パターン、トレンドトピック、および季節的な需要変動を分析します。

信頼できるSERPデータがなければ、SEO戦略は推測されます。 しかし、検索エンジンは、ランキングデータのためのAPIを提供していません。 スクレイピングは、この情報をスケールでキャプチャする唯一の方法です。 堅牢なプロキシインフラストラクチャ. .

検索エンジンがスクレーパーを検出してブロックする方法

Google、Bing、およびその他の検索エンジンは、アンチボットシステムに大きく投資します。 検出方法の理解は、確実に動作するスクレーパーを構築する最初のステップです。

IPベースの検出

最も一般的なブロック機構。 IPアドレスごとの検索エンジンのトラックの要求。 単一の IP が 数十や数百の検索クエリを短期間で送信すると、フラグが付けられます。 データセンターIPは、検索エンジンが既知のホスティングプロバイダIP範囲のデータベースを維持しているため、特に脆弱です。

行動分析

現代のアンチボットシステムは、要求パターンを分析します。 正確な間隔、マウスの動きを欠落させる、同一のビューポート サイズ、およびインスタント ページの読み込みすべてのシグナル オートメーション。 人間は自然な分散性でブラウズする - ボットは、典型的ではありません。

ブラウザの指紋

検索エンジンは、TLS 指紋、HTTP/2 設定、JavaScript 実行パターン、ブラウザ固有の API を調べます。 シンプルなHTTPクライアント requests または curl 実際のブラウザとは異なる指紋を生成します。

CAPTCHAとチャレンジページ

疑わしい活動が検出されるとき、検索エンジンはCAPTCHAs または間接的な挑戦ページを提供します。 GoogleのreCAPTCHAとhCaptchaは、自動化されたスクリプトから人間を区別するために特別に設計されています。

レート制限と一時禁止

ハードブロックなしでも、検索エンジンは、応答をスロットルしたり、劣化した結果を返すか、または疑わしいボットに異なるコンテンツを提供する可能性があります。 一時的な禁止は、重症度に応じて、分から日まで続くことができます。

なぜプロキシはSERPのスクレイピングに不可欠です

Proxiesは、さまざまなIPアドレスに数千ものリクエストを配信することで、IPベースの検出の根本的な問題を解決します。 1つのIPから10,000の問い合わせを送る代わりに、10,000の異なるIPから1つのクエリをそれぞれ送信します。 検索エンジンに、各リクエストは、単一の検索を実行する個々のユーザーのように見えます。

IP の配分を越えて、プロキシは提供します:

• 地理的多様性: 彼らが表示されるように検索結果にアクセス 特定の国、都市、地域. .
• セッション管理: 一貫性や多様性が必要なかどうかに応じてIPセッションを維持または回転させます。
• スケーラビリティ: インフラの管理ではなく、プロキシ容量を増やすことで、クエリのボリュームを増加させます。
• 匿名性: 検索エンジンがあなたの組織に戻ってスクラップ活動をリンクしないようにします。

ワークロードをスクレイピングするための適切なプロキシサービスを選択する詳細な外観については、当社のガイドを参照してください 2026年にWebスクレイピングに最適なプロキシ. .

SERPスクレイピング用のプロキシタイプ:比較

SERPスクレイピングには、すべてのプロキシが等しく実行されません。 プロキシタイプは、成功率、速度、コスト、検出リスクに直接影響します。 プロキシアーキテクチャへの深いダイビングのために、 住宅対データセンター対モバイルプロキシ比較. .

住宅用プロキシは、SERPスクレイピングの推奨選択です。 成功率、プール サイズ、地質ターゲットの粒度、および費用効率の最もよいバランスを提供します。 ProxyHatの住宅プロキシネットワークスパン 195以上の国 都市レベルのターゲティングで、ローカライズに最適 SERPトラッキング キャンペーン お問い合わせ プライシングプラン ボリュームベースのオプション

ジオターゲットSERPスクレイピング

位置によって検索結果が大きく異なります。 ニューヨークの「最高のピザレストラン」を検索するユーザーは、ロンドンや東京の人よりも完全に異なる結果を見ることができます。 複数の市場を横断する事業では、地質標的SERPスクレイピングはオプションではありません。それは不可欠です。

なぜSERPデータのロケーションマター

• ローカルパックの結果: Googleのローカル3パックは、検索者の場所に基づいて完全に変更されます。
• オーガニックランキングのバリエーション: 同じキーワードは、同じ国内の異なる都市で異なる有機的な結果を生成することができます。
• 広告の風景: 競争相手の広告コピー、入札戦略、および広告延長は市場によって異なります。
• SERPの特徴: 注目のスニペット、ナレッジパネル、そして人々も地域や言語によって結果が異なります。

ジオターゲティングスクレイピングの実施

ProxyHat サポート 都市レベルのジオターゲティング プロキシゲートウェイを介して。 プロキシ設定で希望する場所を指定し、そのジオグラフィ内のIPを介してリクエストがルーティングされます。 このアプローチは、検索URLに位置パラメータを追加するよりもはるかに信頼性が高いです。検索エンジンは、どの結果が役立つかを判断するためにIPジオロケーションを使用します。

たとえば、ドイツ・ベルリンでランキングを確認するために、ベルリンに拠点を置く住宅IPを通じてリクエストをルーティングします。 検索エンジンは、ドイツ語 IP アドレスを参照し、ローカライズされたドイツ語 SERP を提供している - 正確にはベルリンの実際のユーザーが表示されます。

実装ガイド:SERP Scraping with ProxyHat

以下は、Python、Node.js、およびProxyHatのプロキシゲートウェイを使用して実行されます。 各例では、Google検索結果を適切なプロキシの回転、ヘッダー、エラー処理でスクレイピングする方法を示します。 完全なSDKの文書については、訪問して下さい ドキュメント.proxyhat.com. .

Pythonの実装

使い方 ProxyHatのPython SDK: : :

import requests
from proxyhat import ProxyHat
client = ProxyHat(api_key="your_api_key")
def scrape_serp(keyword, location="us", num_results=10):
    """Scrape Google SERP for a given keyword with geo-targeting."""
    proxy = client.get_proxy(
        country=location,
        session_type="rotating"
    )
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                      "AppleWebKit/537.36 (KHTML, like Gecko) "
                      "Chrome/124.0.0.0 Safari/537.36",
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
        "Accept-Language": "en-US,en;q=0.9",
        "Accept-Encoding": "gzip, deflate, br",
    }
    params = {
        "q": keyword,
        "num": num_results,
        "hl": "en",
        "gl": location,
    }
    response = requests.get(
        "https://www.google.com/search",
        params=params,
        headers=headers,
        proxies={"https": proxy.url},
        timeout=30,
    )
    if response.status_code == 200:
        return response.text
    elif response.status_code == 429:
        print(f"Rate limited. Rotating IP and retrying...")
        return None
    else:
        print(f"Error: {response.status_code}")
        return None
# Scrape rankings for multiple keywords
keywords = ["residential proxies", "web scraping tools", "SERP API"]
for kw in keywords:
    html = scrape_serp(kw, location="us")
    if html:
        print(f"Captured SERP for: {kw} ({len(html)} bytes)")

Node.js 実装

使い方 ProxyHat ノード SDK: : :

const { ProxyHat } = require("@proxyhat/sdk");
const axios = require("axios");
const { HttpsProxyAgent } = require("https-proxy-agent");
const client = new ProxyHat({ apiKey: "your_api_key" });
async function scrapeSERP(keyword, location = "us") {
  const proxy = await client.getProxy({
    country: location,
    sessionType: "rotating",
  });
  const agent = new HttpsProxyAgent(proxy.url);
  try {
    const response = await axios.get("https://www.google.com/search", {
      params: {
        q: keyword,
        num: 10,
        hl: "en",
        gl: location,
      },
      headers: {
        "User-Agent":
          "Mozilla/5.0 (Windows NT 10.0; Win64; x64) " +
          "AppleWebKit/537.36 (KHTML, like Gecko) " +
          "Chrome/124.0.0.0 Safari/537.36",
        Accept: "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
        "Accept-Language": "en-US,en;q=0.9",
      },
      httpsAgent: agent,
      timeout: 30000,
    });
    return response.data;
  } catch (error) {
    if (error.response?.status === 429) {
      console.log("Rate limited — rotating proxy...");
    } else {
      console.error(`Request failed: ${error.message}`);
    }
    return null;
  }
}
// Monitor multiple keywords concurrently
async function monitorKeywords(keywords, location) {
  const results = await Promise.allSettled(
    keywords.map((kw) => scrapeSERP(kw, location))
  );
  results.forEach((result, i) => {
    if (result.status === "fulfilled" && result.value) {
      console.log(`Captured SERP for: ${keywords[i]}`);
    }
  });
}
monitorKeywords(["residential proxies", "SERP tracking", "proxy API"], "us");

導入事例

使い方 ProxyHat ゴー SDK: : :

package main
import (
    "fmt"
    "io"
    "net/http"
    "net/url"
    "time"
    "github.com/proxyhatcom/go-sdk/proxyhat"
)
func scrapeSERP(client *proxyhat.Client, keyword, location string) ([]byte, error) {
    proxy, err := client.GetProxy(proxyhat.ProxyOptions{
        Country:     location,
        SessionType: "rotating",
    })
    if err != nil {
        return nil, fmt.Errorf("proxy error: %w", err)
    }
    proxyURL, _ := url.Parse(proxy.URL)
    transport := &http.Transport{
        Proxy: http.ProxyURL(proxyURL),
    }
    httpClient := &http.Client{
        Transport: transport,
        Timeout:   30 * time.Second,
    }
    searchURL := fmt.Sprintf(
        "https://www.google.com/search?q=%s&num=10&hl=en&gl=%s",
        url.QueryEscape(keyword), location,
    )
    req, _ := http.NewRequest("GET", searchURL, nil)
    req.Header.Set("User-Agent",
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "+
            "AppleWebKit/537.36 (KHTML, like Gecko) "+
            "Chrome/124.0.0.0 Safari/537.36")
    req.Header.Set("Accept",
        "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8")
    req.Header.Set("Accept-Language", "en-US,en;q=0.9")
    resp, err := httpClient.Do(req)
    if err != nil {
        return nil, err
    }
    defer resp.Body.Close()
    if resp.StatusCode == 429 {
        return nil, fmt.Errorf("rate limited — rotate proxy and retry")
    }
    return io.ReadAll(resp.Body)
}
func main() {
    client := proxyhat.NewClient("your_api_key")
    keywords := []string{"residential proxies", "SERP scraping", "proxy rotation"}
    for _, kw := range keywords {
        body, err := scrapeSERP(client, kw, "us")
        if err != nil {
            fmt.Printf("Error scraping '%s': %v\n", kw, err)
            continue
        }
        fmt.Printf("Captured SERP for '%s' (%d bytes)\n", kw, len(body))
    }
}

SERPデータの解析

検索エンジンからの未加工 HTML は、構造化されたデータに解析されると便利です。 典型的なSERPには、独自の抽出ロジックを必要とする複数の結果タイプが含まれています。

抽出する主SERP要素

Pythonで例を解析する

オーガニックの結果を抽出するためにBeautifulSoupを使用すること:

from bs4 import BeautifulSoup
def parse_organic_results(html):
    """Extract organic search results from Google SERP HTML."""
    soup = BeautifulSoup(html, "html.parser")
    results = []
    for position, div in enumerate(soup.select("div.g"), start=1):
        title_el = div.select_one("h3")
        link_el = div.select_one("a[href]")
        snippet_el = div.select_one("div[data-sncf]") or div.select_one(".VwiC3b")
        if title_el and link_el:
            results.append({
                "position": position,
                "title": title_el.get_text(strip=True),
                "url": link_el["href"],
                "snippet": snippet_el.get_text(strip=True) if snippet_el else None,
            })
    return results
def parse_people_also_ask(html):
    """Extract People Also Ask questions."""
    soup = BeautifulSoup(html, "html.parser")
    questions = []
    for item in soup.select("[data-sgrd] [role='heading']"):
        questions.append(item.get_text(strip=True))
    return questions

Google は HTML 構造を頻繁に変更することに注意してください。 生産等級のparsersは規則的な維持を必要とします。 選択器が変更するときに再parsedデータと一緒に未加工HTMLを貯えることを検討して下さい。

SERP監視のスケール

キーワードの便利な追跡は簡単です。 複数の場所、デバイス、検索エンジンで数千のキーワードを監視するには、アーキテクチャを審議する必要があります。

スケジューリングと並列

これらの原則でスクレイピングパイプラインを設計します。

• Stagger リクエスト: すべての問い合わせを同時に防いでください。 リクエストごとに2-8秒間のランダムな遅延を使用して、人間の検索行動を模倣します。
• 通貨の制限: 5-15同時リクエストを実行します。 より高い通貨は、速度制限をトリガーするチャンスを増加します。, 回転プロキシで.
• 戦略的にスケジュール: 一貫性のあるランクの追跡データを毎日同時に同じキーワードをスクレイプします。 朝の時間帯(現地時間5-9時)は、より安定した結果を示します。
• 再試行ロジックの実装: 失敗したリクエストに対して、 jitter で exponential backoff を使用します。 再試行ごとに新しいプロキシに回転します。

データストレージアーキテクチャ

スケールでSERPモニタリングを行うには、データストレージを3層構造化します。

1. 未加工HTMLのアーカイブ: SERP HTMLをタイムスタンプで保存します。 これにより、抽出ロジックが向上したり、Googleがマークアップを変更したときにデータを再解析できます。
2. 構成された結果: 個々の結果要素をリレーショナルデータベースにパースして保存します。 各レコードには、キーワード、場所、日付、位置、URL、タイトル、スニペットが含まれます。
3. 分析層: レポートのデータを集計 — 平均的な位置時間、可視スコア、ランキング分布、競合他社のシェアオブボイスメトリック。

帯域幅とコストの最適化

SERPページは比較的軽量(リクエストごとに50-150 KB)ですが、スケールで帯域幅が上がります。 コストを最適化:

• HTMLのみのリクエスト — 可能なときに画像、CSS、およびJavaScriptを無効にします。
• 使用方法 Accept-Encoding: gzip, deflate, br 転送サイズを60-80%削減します。
• リアルタイムのデータを必要としないキーワードの結果をキャッシュします。
• デスクトップデータが不要な場合、モバイルSERP(小型ページサイズ)をスクレイピングします。

プロキシハートの ペイパーGB価格モデル 個々のリクエストが最小限の帯域幅を使用するため、SERPスクレイピングに適しています。 1日あたりのトラフィックの約1-2 GBを消費する典型的なキャンペーン監視10,000キーワード。

Google対ビング対他の検索エンジン

Googleはグローバル検索を支配している間、包括的なSERP監視戦略は、ターゲット市場に応じて他のエンジンのアカウントをすべきです。

特にGoogleの場合 — ほとんどのSERPスクレイピング操作の主なターゲットである - 住宅のプロキシから 品質プロバイダー 非相談可能です。 データセンターのプロキシは、データの信頼性を許さない高ブロックレートを生成します。

信頼できるSERPスクレイピングのためのベストプラクティス

スケールでSERPスクレイピング操作を実行した後、これらの慣行は、常に破壊するものから一貫して信頼性の高いパイプラインを分離します。

1. 要求ごとのIPsを回して下さい

連続したGoogle検索で同じIPを再利用しないでください。 ProxyHatの回転セッションモードは、リクエストごとにプールから新しい住宅IPを割り当てます。 これは、高い成功率を維持するための単一の最も重要な要因です。

2. リクエストタイミングをランダム化

人間の行動を模倣する分布を使用してリクエスト間でランダムな遅延を追加します。 3〜10秒間のランダムな遅延がうまくいきます。 固定間隔を避ける — それらは些細に検出可能です。

3. リアルなブラウザヘッダーを使用する

現在のUser-Agent文字列のプールを維持し、それらを回転させます。 実質的な受け入れ、受諾言語および受諾符号化のヘッダーを含んで下さい。 ヘッダーに User-Agent をマッチします。Firefox スタイルのヘッダを送信する際には、Chrome を要求しないでください。

4. ハンドルの間違い 優雅に

複数層のリトライ戦略を実施:

• HTTP 429(Too 多くのリクエスト): IP を回して下さい、10-30 秒、再試行を待って下さい。
• CAPTCHA 検出: IP を回して下さい、30-60秒後に別のユーザー エージェント、試行に転換して下さい。
• HTTP 503 (サービス利用不可): 60秒間、新しいIPで再試行します。
• 関係のタイムアウト: 異なるプロキシですぐにリトライする。

5. モニターの成功率

スクレイピング成功率を継続的に追跡します。 住宅用プロキシを備えた健康なSERPスクレイピングパイプラインは、Googleで95%以上の成功を維持する必要があります。 90%未満のレートが低下した場合は、パターンリクエスト、ヘッダ、プロキシ設定を調べます。

法的および倫理的考慮事項

SERPスクレイピングは、ニュアンスされた法的空間を占めています。 従うべき主原則は次のとおりです。

• パブリックデータ: 調査結果は、一般にアクセス可能な情報です。 公に利用可能なデータをスクレイピングすることは、米国ニンスサーキットが米国ニンスサーキットに所属するほとんどの管轄区域で一般的に法的です。 hiQラボv. LinkedIn (2022).
• サービス利用規約: GoogleのToSは、自動アクセスを禁止します。 ToS 違反は一般に犯罪ではありませんが、IP 禁止と極端な場合、民事行為で生じる可能性があります。
• 率および容積: 責任を持ってScrape。 過度なリクエストレートでサーバーを圧倒しないでください。 リクエスト間の遅延を使用し、通貨を制限します。
• データ使用法: スクラップされたデータの使用方法 競争分析、SEOの監視および市場調査のためのSERPデータを使用して標準的なビジネス練習です。 検索結果から著作権表示されたコンテンツを再発行することができません。
• GDPRとプライバシー: SERPスクレイピングが個人データをキャプチャする場合(例えば、ローカルパック結果の名前)、該当するプライバシー規制に準拠しているデータ処理を確実にします。

実用的な現実: 幾千の企業が、正当なビジネスインテリジェンスのために毎日SERPをスクレイピング. 鍵は、適度に要求量を要求し、レート制限を尊重し、分析目的のためにデータを使用することです。

一緒にそれを置きます: 生産準備パイプライン

生産SERP監視システムのための単純化されたアーキテクチャは次のとおりです。

1. キーワードの列: ターゲットキーワード、場所、およびスクレイプの周波数をデータベースまたはメッセージキュー(Redis、RabbitMQ、またはSQS)に保存します。
2. ワーカープール: キューからキーワードをプルする3-10ワーカープロセスを展開し、ProxyHatの回転住宅プロキシをスクレイピングし、レトリーを処理します。
3. プロキシレイヤー: ProxyHatのゲートウェイを回転セッションとジオターゲティングで構成します。 各ワーカーのリクエストは、ターゲットの場所から新しいIPを取得します。
4. パーサー サービス: 生のHTMLを受信し、構造化されたSERPデータを抽出し、データベースに保存する別のサービス。
5. アナリティクスダッシュボード: ランキングトレンドを可視化し、ポジション変更を追跡し、重要な動きが発生するとアラートを生成します。

このアーキテクチャは水平にスケールアップします。キーワードリストが成長するにつれて、より多くのワーカーとプロキシの帯域幅を追加します。 ProxyHatの住宅プロキシプールでは、数百から数千の毎日の問い合わせを数千から数千にスケールアップできます。 交通計画. .

認証、セッション管理、およびジオターゲティングパラメータを含む完全な API ドキュメントについては、 ドキュメント.proxyhat.com. .

よくある質問

SERPは法律をスクラップしていますか?

一般に公開されている検索結果のSERPスクレイピングは、ビジネスインテリジェンスの目的のために法的です。 米国裁判所は、このような場合に公的データをスクレイピングする適法性を侵害しました hiQ v. リンクイン.ただし、適度なレート制限を尊重し、コンプライアンス措置なしで個人データをスクラップしないようにし、著作権のコンテンツを再公表するのではなく、正当な分析目的のためにデータを使用することが重要です。

なぜSERPスクレイピングのプロキシが必要なのですか?

検索エンジンは、単一のIPアドレスからクエリの数を制限します。 プロキシなし、スクレーパーは数分でブロックされます。 住宅のプロキシは、実際のISP割り当てられたIPを数千台に渡るリクエストを配布し、各リクエストは通常のユーザー検索として表示されます。 これは、主要な検索エンジンの中で最も積極的なアンチボット検出を持っているGoogleにとって特に重要です。

住宅のプロキシで毎日追跡できるキーワードはいくつありますか?

回転住宅のプロキシを使用して適切に設定されたセットアップでは、1日あたりの10,000-50,000以上のキーワードを確実に追跡できます。 制限要因は、プロキシの帯域幅と通貨設定です。 典型的なGoogle SERPページは50-150 KBなので、毎日10,000キーワードを監視するには、プロキシトラフィックの約1-2 GBが必要です。 プロキシハートの トラフィックベースの価格設定 モニタリングニーズに合わせてリニアにスケールアップ。

SERPスクレイピングの回転と粘りのあるプロキシセッションの違いは何ですか?

セッションの回転は、すべてのリクエストに対して新しいIPアドレスを割り当てます。各検索クエリが異なるユーザーから来るように見えるので、SERPスクレイピングに最適です。 スティッキー・セッションは、同一のIPを一定の期間に維持します。これは、一貫性のあるアイデンティティから、複数のページアクション(検索結果を通じて開始するなど)を実行する必要がある場合に便利です。 標準ランクトラッキングでは、回転セッションが推奨されます。

特定の都市のローカル検索結果をスクレイピングできますか?

はい。 ProxyHatは都市レベルのジオターゲティングをサポート 住宅プロキシネットワーク. 特定の都市で IP を介してリクエストをルーティングすることにより、検索エンジンは、その場所のユーザーに表示されるように結果を返します。 ローカルSEO監視では、都市間でランキングが著しく変化します。 ジオターゲティングプロキシを組み合わせる gl そして、 uule 位置精度を最大限に高めるためのGoogleパラメータ。