プロキシサーバーとは何ですか?
ツイート プロキシサーバー デバイスとインターネットの間に座る仲介業者です。 ウェブサイトや API に直接接続する代わりに、リクエストはプロキシを最初に移動します。 代理で要求するプロキシは、応答を受信し、あなたに返送します。 宛先サーバへ、プロキシのIPアドレスからリクエストが来るように見えます。
プライバシー、セキュリティ、パフォーマンス、アクセス制御など、多くの理由でプロキシが存在します。 企業はそれらを使用して スケールでデータをスクレイピング、検索エンジンの結果を監視し、広告を確認し、地理的に制限されたコンテンツにアクセスします。 開発者は、さまざまな場所からアプリケーションがどのように動作するかをテストするためにそれらを使用します。 セキュリティチームは、トラフィックを検査し、ポリシーを強化するためにそれらを使用します。
このガイドでは、フードから利用可能なさまざまなタイプ、一般的なユースケース、コード例、およびプロジェクトに適したプロキシを選択する方法まで、プロキシサーバーについて知る必要があるすべてについて説明します。
プロキシサーバーの仕組み
根本的なメカニズムは直進します。 プロキシを介してリクエストをルーティングするときに何が起こるかは次のとおりです。
- クライアントはリクエストを送信します — アプリケーション(ブラウザ、スクリプト、またはボット)は、ターゲットに直接プロキシサーバーにHTTP/HTTPSリクエストを送信します。
- プロキシはリクエストを評価する — プロキシは、認証チェック、IPフィルタリング、ヘッダ変更、キャッシュルックアップなどのルールを適用できます。
- プロキシはリクエストを転送します — プロキシは、独自のIPアドレスを使用して、ターゲットサーバーに接続し、リクエストを転送します(変更されたヘッダでは必須です)。
- ターゲット応答 — ターゲットサーバはリクエストを処理し、レスポンスをプロキシに戻します。
- プロキシはレスポンスを返す — プロキシは、レスポンスをクライアントに転送し、ヘッダをキャッシュしたり変更したりします。
主ポイント: 対象となるサーバーはプロキシの IP アドレスを、あなたのアドレスではなく参照します。 これは、匿名性からジオターゲティング、分布をロードするすべてのプロキシユースケースの基礎です。
接続フロー図
Client (your app)
│
▼
Proxy Server (gate.proxyhat.com:8080)
│
▼
Target Server (example.com)
│
▼
Proxy Server (receives response)
│
▼
Client (receives response)HTTPS トラフィックでは、プロキシは 2 つのモードで動作させることができます。 インスタグラム トンネルを掘るモード (HTTP CONNECT), プロキシは、TCP トンネルを生成し、プロキシの読み込みなしに暗号化されたトラフィックが通過します。 インスタグラム TLS判定モードプロキシは、トラフィックを復号化し、再暗号化します。これは、企業の環境で共通する検査ではなく、Webスクレイピングプロキシには典型的ではありません。
機能によるプロキシサーバーの種類
プロキシは、ネットワークとその行動における位置によって分類されます。 これらのタイプを理解することで、使用ケースに適したアーキテクチャを選ぶことができます。
プロキシのフォワード
フォワードプロキシはクライアントの前に座り、インターネットへのリクエストを転送します。 これは最も一般的なタイプです。 人々は「プロキシ」と言うとき、彼らは通常、フォワードプロキシを意味します。 ウェブスクレイピングプロキシ、プライバシープロキシ、コンテンツフィルタリングプロキシはすべてフォワードプロキシです。
逆プロキシ
リバースプロキシは、1つ以上のサーバーの前に座り、クライアントのリクエストを処理します。 Nginx と Cloudflare の一例です。 逆のプロキシは負荷分散、SSLの終了、キャッシュおよびDDoSの保護を提供します。 クライアントではなくサーバーを保護します。
透明なプロキシ
透明なプロキシは、クライアント構成を必要としないトラフィックを介入します。 クライアントはプロキシが存在しません。 ISPと企業ネットワークは、コンテンツフィルタリングとキャッシュに使用します。 彼らは匿名性を提供していません — 彼らはあなたの実際のIPを渡す X-Forwarded-For ヘッダー。
匿名プロキシ
匿名プロキシは、ターゲットサーバーからIPアドレスを隠しますが、プロキシとして自身を識別します(ヘッダのように) Via)。 ターゲットはプロキシが使用されていることを知っていますが、元のIPを判断することはできません。
エリート(匿名性) プロキシ
エリートプロキシは匿名性の最高レベルを提供します。 プロキシとしてそれ自体を明らかにせず、任意の識別ヘッダを渡しません。 ターゲットサーバへ、リクエストは通常の直接接続のように見えます。 ProxyHatのようなプロバイダからの住宅プロキシは、デフォルトでエリートプロキシです。
| プロキシタイプ | あなたのIPを隠す | リバイバル プロキシです | 最高ののための |
|---|---|---|---|
| トランスペアレント | なし | お問い合わせ | 企業のろ過、キャッシュ |
| ログイン | お問い合わせ | お問い合わせ | 基本的なプライバシー、ジオブロック解除 |
| エリート | お問い合わせ | なし | ウェブスクレイピング、広告検証、SERPトラッキング |
IP ソースによるプロキシタイプ
関数を超えて、プロキシはIPアドレスがどこから来るかによって異なります。 この区別は、成功率、検出リスク、コストに最も大きな影響を与えます。 詳細な比較については、ガイドを参照してください。 住宅対データセンター対モバイルプロキシ. .
住宅のプロキシ
住宅用プロキシは、インターネットサービスプロバイダ(ISP)が割り当てられたIPアドレスを実際の住宅やデバイスに使用します。 これらのIPは実際のユーザーに属しているため、ウェブサイトは正当なトラフィックとして扱います。 これは、住宅は、検出が懸念であるタスクのための最良の選択肢をもたらす:大規模なスクレイピング、SERP追跡、ソーシャルメディアの自動化、およびスニーカーのコッピング。
ProxyHatの住宅プロキシネットワークスパン 195以上の国 数百万人のIP 実際のコンシューマーデバイスを経由してルートを要求し、通常のユーザーからはほとんど区別できないようにします。
データセンターのプロキシ
データセンタープロキシは、クラウドホスティングプロバイダ(AWS、GCP、OVHなど)からIPを使用します。 彼らは高速で安価ですが、検出するのは簡単です。ウェブサイトはデータセンターIPの範囲を特定し、それらをブロックすることができます。 最小限のアンチボット保護で、非敏感なタスク、API アクセス、ターゲットに最適です。
モバイルプロキシ
モバイルプロキシは、モバイルキャリアから3G/4G/5G接続を介してトラフィックをルートします。 モバイルキャリアIPは、CGNAT(Carrier-Grade NAT)を介して数千人の実ユーザーによって共有されているため、彼らは最高の信頼レベルを運ぶ。 幾千の正当なユーザーをブロックするモバイルIPのリスクをブロックするので、ウェブサイトは稀にそれを行う。 ソーシャルメディア管理、アプリテスト、高度に保護されたターゲットに最適です。
ISPのプロキシ
ISPのプロキシは、住宅IPの信頼とデータセンターホスティングの速度を組み合わせます。 静的IPはISPに登録されていますが、データセンターでホストされています。 純粋なデータセンターのプロキシよりも低い検出リスクで一貫したIPを必要とする作業に適しています。
| IPの源 | スピード | 検出リスク | コスト | 最高ののための |
|---|---|---|---|---|
| 賃貸住宅 | メディア | 非常に低い | メディア | スクレイピング、SERPトラッキング、ジオターゲティング |
| データセンター | 非常に高速 | 高い | 低い | API、低保護ターゲット |
| モバイル | 変数 | 最安値 | 高い | ソーシャルメディア、アプリのテスト |
| ISPについて | ツイート | 低い | 中・高 | 持続的なセッション、アカウント管理 |
一般的なプロキシユースケース
Webスクレイピングとデータ収集
プロキシは必須です スケールでのWebスクレイピング. プロキシなしで、ターゲットのウェブサイトはすぐに単一のIPからの繰り返し要求を検出し、妨げます。 住宅のプロキシを回転させると、95%を超える成功率を維持し、数千のIP間で要求を分配します。 実用的な実装ガイドについては、 ブロックせずにスクレイピングする方法. .
スタッフ 追跡およびSEOの監視
検索エンジンは、場所に基づいて異なる結果を表示します。 SEOの専門家は、プロキシを使用する どの都市や国からでもランキングをチェック 正確に。 GoogleがデータセンターIPを攻撃的にブロックしているため、住宅のプロキシはここに重要です。 私たちについて SERPスクレイピングガイド 実装を詳細に移動します。
広告検証
広告主は、プロキシを使用して、広告が地域やデバイス間で正しく表示されていることを確認します。 住宅のプロキシは、広告プラットフォームが検証ボットを検出し、きれいなコンテンツを配信するのではなく、実際の広告を表示することを確認します。
ジオ制限コンテンツアクセス
Proxies は、特定の国に限定されたコンテンツにアクセスできるようにします。ストリーミングカタログ、ローカライズされた価格設定、地域ロックされた API 。 対象となる国でプロキシを選択すると、その場所から発信するリクエストが表示されます。
ブランドの保護および価格の監視
Eコマース企業は、競合他社の価格を監視し、偽造のリストを検出し、MAP(最小広告価格)の市場全体のコンプライアンスを検証するためにプロキシを使用します。
セキュリティとアクセス制御
組織は、フォワードプロキシをデプロイして、アウトバウンドトラフィックをフィルタリングし、許容使用ポリシーを強制し、データの排出を防ぎます。 逆プロキシは、DDoS攻撃と脆弱性スキャンからWebアプリケーションを保護します。
プロキシプロトコル:HTTP、HTTPS、およびSOCKS5
プロトコルは、クライアントがプロキシサーバーと通信する方法を決定します。 それぞれに異なる機能があります。
HTTP プロキシ
HTTP プロキシは HTTP トラフィックを処理します。 リクエストヘッダ、キャッシュレスポンス、フィルタコンテンツを読み込み、変更できます。 HTTPプロトコルをネイティブに理解し、ヘッダインジェクション(ジオターゲティングパラメータに有用)などの機能を可能にします。 ほとんどのWebスクレイピングはHTTPプロキシを使用します。
HTTPS プロキシ (HTTP CONNECT)
暗号化されたトラフィックの場合、HTTP プロキシは CONNECT メソッドを使用して TCP トンネルを作成します。 プロキシは暗号化されたコンテンツを読むことができません。つまり、クライアントとターゲット間でバイトを中継するだけです。 これはHTTPS Webスクレイピングのための標準です。
SOCKS5 プロキシ
SOCKS5は、HTTP、HTTPS、FTP、SMTP、またはTCP/UDP接続のあらゆるタイプのトラフィックで動作する低レベルのプロトコルです。 トラフィックを解釈せず、HTTPプロキシよりも多様で機能が少ない。 SOCKS5では、UDP(DNS検索やゲーム)や認証にも対応しています。
| スタッフ | HTTP プロキシ | HTTPS (接続) | ソックス5 |
|---|---|---|---|
| 交通タイプ | HTTPのみ | どれも(調整済み) | 任意の(TCP/UDP) |
| ヘッダーの修正 | お問い合わせ | なし | なし |
| 暗号化の意識 | なし | トンネルのみ | なし |
| UDPサポート | なし | なし | お問い合わせ |
| ブラウザでの使用 | お問い合わせ | お問い合わせ | お問い合わせ |
| ProxyHatポート | 8080の | 8080の | ログイン |
プロキシサーバーを使用する方法:コード例
ここでは、Webスクレイピングのための最も人気のある3つの言語でプロキシを介してHTTPリクエストをルーティングする方法は次のとおりです。 すべての例の使用 ProxyHatのゲートウェイ. .
フィードバック
使い方 ProxyHatのPython SDK または標準 requests ライブラリ:
# Using the ProxyHat Python SDK
from proxyhat import ProxyHat
client = ProxyHat(
username="USERNAME",
password="PASSWORD"
)
# Rotating residential proxy
response = client.get("https://httpbin.org/ip")
print(response.json())
# Geo-targeted request (US)
response = client.get(
"https://httpbin.org/ip",
country="US"
)
print(response.json())
# Using requests with proxy URL directly
import requests
proxies = {
"http": "http://USERNAME:PASSWORD@gate.proxyhat.com:8080",
"https": "http://USERNAME:PASSWORD@gate.proxyhat.com:8080",
}
response = requests.get("https://httpbin.org/ip", proxies=proxies)
print(response.json())
完全なウォークスルーのために、読む Pythonでプロキシを使用する. .
ノード.js
使い方 プロキシハートNode.js SDK または axios お問い合わせ https-proxy-agent: : :
// Using the ProxyHat Node.js SDK
import { ProxyHat } from '@proxyhat/sdk';
const client = new ProxyHat({
username: 'USERNAME',
password: 'PASSWORD',
});
// Rotating residential proxy
const response = await client.get('https://httpbin.org/ip');
console.log(response.data);
// Geo-targeted request (Germany)
const deResponse = await client.get('https://httpbin.org/ip', {
country: 'DE',
});
console.log(deResponse.data);
// Using axios with proxy agent
import axios from 'axios';
import { HttpsProxyAgent } from 'https-proxy-agent';
const agent = new HttpsProxyAgent(
'http://USERNAME:PASSWORD@gate.proxyhat.com:8080'
);
const response = await axios.get('https://httpbin.org/ip', {
httpsAgent: agent,
});
console.log(response.data);
フルセットアップガイドについては、 Node.js でプロキシを使用する. .
おすすめ
使い方 ProxyHat ゴー SDK または標準ライブラリ:
// Using the ProxyHat Go SDK
package main
import (
"fmt"
"github.com/ProxyHatCom/go-sdk/proxyhat"
)
func main() {
client := proxyhat.NewClient(
"USERNAME",
"PASSWORD",
)
// Rotating residential proxy
resp, err := client.Get("https://httpbin.org/ip")
if err != nil {
panic(err)
}
fmt.Println(string(resp.Body))
// Geo-targeted request (Japan)
resp, err = client.Get("https://httpbin.org/ip",
proxyhat.WithCountry("JP"),
)
if err != nil {
panic(err)
}
fmt.Println(string(resp.Body))
}
// Using the standard library
package main
import (
"fmt"
"io"
"net/http"
"net/url"
)
func main() {
proxyURL, _ := url.Parse("http://USERNAME:PASSWORD@gate.proxyhat.com:8080")
client := &http.Client{
Transport: &http.Transport{
Proxy: http.ProxyURL(proxyURL),
},
}
resp, err := client.Get("https://httpbin.org/ip")
if err != nil {
panic(err)
}
defer resp.Body.Close()
body, _ := io.ReadAll(resp.Body)
fmt.Println(string(body))
}
完全な実装の詳細は Goのプロキシの使用. .
ログイン
コマンドラインから素早くテストするには:
# HTTP proxy
curl -x http://USERNAME:PASSWORD@gate.proxyhat.com:8080 https://httpbin.org/ip
# SOCKS5 proxy
curl -x socks5://USERNAME:PASSWORD@gate.proxyhat.com:1080 https://httpbin.org/ip
# With geo-targeting (US IP)
curl -x http://USERNAME-country-US:PASSWORD@gate.proxyhat.com:8080 https://httpbin.org/ipプロキシ対VPN: 主な違い
プロキシと VPN は IP アドレスをマスクしますが、それぞれ異なる機能で、さまざまな用途で機能します。 それらを分けるものは次のとおりです。
| スタッフ | プロキシサーバー | VPNサービス |
|---|---|---|
| スコープ | パーアプリケーションまたはパーリクエスト | すべてのデバイストラフィック |
| 暗号化 | オプション(プロトコルに依存) | 常に暗号化 |
| スピード | より速く(頭上なし) | スローアー(暗号化オーバーヘッド) |
| IPの回転 | はい(回転プロキシ) | いいえ(単一サーバーIP) |
| 同時IP | 千枚同時に | 一度に1つ |
| 最高の | スクレイピング、自動化、データ収集 | 個人的なプライバシー、安全な閲覧 |
| スケーラビリティ | スケールのために設計されている | シングルユーザー指向 |
プロキシを使用するとき: リクエスト数や数千万件、IP、ターゲット固有のジオロケーションを回転したり、プログラムをアプリケーションに統合したりする必要があります。 プロキシは、自動化とデータ収集のためのツールです。
VPN を使用する場合: デバイスからすべてのトラフィックを暗号化して、個人プライバシーを保護したり、制限されたコンテンツを単一のユーザーとしてアクセスしたりしたい。 VPNは、個々のセキュリティのためのツールです。
正しいプロキシを選択する方法
適切なプロキシを選択するには、特定のユースケース、予算、および技術的な要件によって異なります。 ここでは決定フレームワークです。
1. 使用事例の定義
あなたが達成しようとしているものから始まります。
- ウェブスクレイピング — 広い地質で住宅のプロキシを回転させる
- SERPモニタリング — 都市レベルのターゲティングで住宅のプロキシ
- ソーシャルメディア管理 — スティッキーセッションでモバイルや住宅のプロキシ
- 価格監視 — 複数の国のサポートを備えた住宅のプロキシ
- APIアクセス — データセンタープロキシ(APIがブロックされていない場合)
2. 主要な要因を評価する
- プールのサイズ — より大きいIPプールは、以前にフラグドされたIPに遭遇する可能性を減らします
- ジオカバレッジ — プロバイダーカバーを確実にする 必要な国
- 回転オプション — 回転(リクエストごとに新しいIP)とスティッキーセッション(期間の同じIP)
- プロトコルサポート — HTTP/HTTPS はほとんどのタスク、HTTPS 以外のプロトコルの SOCKS5 です。
- 認証 — ユーザー名/パスワードとIPホワイトリスト
- 通貨制限 — メンテナンス可能な同時接続の数
- 帯域幅価格 - GBと無制限の計画ごと
3. コミットする前にテスト
実際のターゲットに対して、実際のテストを実行します。 関係するメトリック:
- 成功率 — 有効な応答を返すリクエストの割合(95%以上)
- 応答時間 —平均レイテンシ(プロキシタイプとターゲット距離による変動)
- IPの多様性 — リクエストのサンプルで見たユニークなIP
- バンレート — ブロックされるか、または CAPTCHAed を取得する頻度
ProxyHat はペイ・エイ・エイ・ゴーを提供しています コンテンツ そのため、長期的な約束なしに特定のターゲットに対してテストすることができます。
キーテイクアウト
- プロキシサーバーは、アプリケーションとIPアドレスをマスクし、スケーラブルなデータ収集を可能にするインターネット間の仲介です。
- 住宅用プロキシは、実際のISP割り当てられたIPを使用するため、最も低い検出リスクを提供します。スクレイピング、SERPトラッキング、およびジオターゲティングに最適です。
- お使いのユースケースに基づいて、プロキシタイプを選択します。ほとんどのスクレイピングタスク、簡単なターゲットの速度のためのデータセンター、最大の信頼のためのモバイル。
- HTTP/HTTPSプロキシは、Webトラフィックを処理します。 SOCKS5は、UDPを含むプロトコルをサポートしています。
- プロキシとVPNは異なる目的のために機能します。プロキシはプログラマティック、スケーラブルな使用のために構築されています。 VPNは個人的なプライバシーのためにあります。
- 成功率、レイテンシー、およびスケーリング前のIPダイバーシティを測定するために、実際のターゲットに対するプロキシを常にテストします。
よくある質問
プロキシサーバーは合法ですか?
はい、プロキシサーバーの使用はほとんどの管轄区域で法的です。 プロキシは、世界中の企業が使用する標準的なネットワークツールです。 しかし、法律は、あなたがプロキシを介して行うものに依存しています。 - 一般に利用可能なデータへのアクセスは、一般的には問題ありませんが、サービスの利用規約または適用法(米国におけるCFAAやEUのGDPRのような)違反は、あなたの責任です。 Robots.txt、レート制限、および適用規則を常に尊重します。
プロキシサーバーはインターネットを遅くしますか?
プロキシは、あなたとターゲットの間に追加のホップを追加し、いくつかのレイテンシを紹介します。 データセンターのプロキシは最小限の遅延(5-20ms)を追加します。 住宅用プロキシは、消費者デバイスを介したトラフィック・ルートにより、より多くの(50-200ms)を追加します。 ワークロードをスクレイピングするには、ブロックやCAPTCHAを避けて保存した時間と比較して、このレイテンシは必須です。 ProxyHatのような高品質プロキシプロバイダは、レイテンシを最小限に抑えるためにルーティングを最適化します。
回転プロキシと粘着プロキシの違いは何ですか?
ツイート 回転プロキシ リクエストごとに異なるIPアドレスを割り当てます(または設定間隔で)。 多くの IP 間でリクエストを分散させるため、スクレイピングに最適です。 ツイート スティッキープロキシ (またはセッションプロキシ) 定義された期間の同じ IP を保持します。これは、ログインまたは複数のステップフローを完了する必要がある場合に便利です。 ProxyHat は、ユーザ名でセッションパラメーターを介して両方のモードをサポートしています。
プロキシサーバーを検出できますか?
プロキシタイプによって異なります。 データセンターIPは、そのIP範囲が一般に知られているため、検出するのは簡単です。 住宅およびモバイルプロキシは、実際の消費者IPを使用するため、検出するのがはるかに困難です。 高度なアンチボットシステムは、IP分析をブラウザの指紋、行動パターン、およびヘッダーの一貫性チェックと組み合わせることができます。 適切なブラウザの指紋でエリート住宅のプロキシを使用して、最良の結果が得られます。
Webスクレイピングに必要なプロキシはいくつありますか?
あなたのスケールとターゲットに依存します。 光のスクレーピング(数千ページ/日)のために、住宅の小さなプールは十分です。 大規模な操作(ページ/日単位のミリオン)では、大規模なプールへのアクセスが必要です。ProxyHatのネットワークは、住宅用IPの数百万人を提供します。 親指のよい規則:短い時間ウィンドウ内の同じドメインへの10-20の要求ごとの少なくとも1つの独特なIPのための計画。






