Skip to main content
脅威保護を使うと、組織で Firecrawl による危険な URL へのアクセスをブロックできます。有効にすると、API を通じてリクエストが取得しようとするすべての URL — scrape ターゲット、検索結果、クロール中に見つかったリンク、エージェントの開始 URL — が組織のポリシーに照らしてチェックされ、ポリシーに適合しない URL へのアクセスは拒否されます。チェックは URL レベルで行われるため、悪意のある単一のページだけをブロックしてサイトの他の部分には引き続きアクセスできるようにすることも、フラグが付いたサイトのすべてのページをブロックすることもできます。 このポリシーは組織レベルで一度定義すれば、自動的にすべてのエンドポイントに適用されます。また、リクエストごとの調整を許可することも、どのリクエストでもこのポリシーを弱められないように固定することもできます。
脅威保護はエンタープライズ機能であり、組織ごとに有効化されます。アカウントで有効にするには、Firecrawl のアカウントチームにお問い合わせください。

​
モード

脅威保護 には、組織レベルで設定する 3 つのモードがあります。
  • Off (デフォルト) — チェックは実行されません。
  • Normal — URL は Google Web Risk と照合され、マルウェア、ソーシャルエンジニアリング (フィッシング) 、不要なソフトウェアに関連するページやサイトが検出されます。スキャンした URL 1 件あたり +2 クレジット。
  • Zscaler — URL は、組織独自の Zscaler Internet Access (ZIA) テナントと照合されます。ブロックするよう選択した Zscaler 定義の URL カテゴリに加え、カスタム URL カテゴリとカスタム URL リストが対象です。以下の Zscaler モード を参照してください。スキャン料金なし — 分類は独自のテナントに対して実行されます。
これらのチェックは、データを保護するために設計されています。Normal モードでは、ほとんどのリクエストで定期的に同期される脅威リストに対してローカルでチェックが完了するため、スクレイピングする URL が分類器に送信されることはありません。Zscaler モードでは、URL の分類は組織独自の ZIA テナントに対して行われます。これは、組織の Web ポリシーをすでに把握しているのと同じシステムです。すべてのモードで、トラフィックに関する判定が Firecrawl に保存されることはありません。

​
ポリシー制御

分類器に加えて、ポリシーには次の項目を含めることができます。
  • カスタムブラックリスト — 分類器を呼び出さずに常にブロックされる、完全一致のドメインまたはグロブ (例: *.example.com) 。
  • カスタムホワイトリスト — 常に許可される、完全一致のドメインまたはグロブ。ホワイトリストは他のすべてのルールに優先するため、信頼するドメインがブロックされることはありません。
  • ブロック対象の TLD — ラベル境界で照合され、無条件にブロックされるトップレベルドメイン (例: zip) 。
  • リスクスコアのしきい値 — 分類器の判定をブロックとして扱う正規化スコア (0–100) のしきい値。低いほど厳格になります。デフォルトは 75 です。Normal モードに適用されます。Zscaler モードでは代わりにカテゴリによってブロックされます。
  • 障害時ポリシー — 分類器に到達できない場合の動作: block (closed。デフォルトであり、セキュリティ制御として推奨) または allow (open) 。
カスタムブラックリスト、ホワイトリスト、およびブロック対象の TLD のルールはドメインレベルです — これらはチェック対象の URL のホストに対して照合され、完全な URL に対して動作するのは分類器だけです。ブラックリストまたはホワイトリストに追加したカスタムドメインは、分類器と同じホストの正規化方式で照合されるため、アドレスの別のエンコード形式 (たとえば整数形式の IP) を使ってリストの条件をすり抜けることはできません。

​
Zscaler モード

Zscaler モードを使用すると、すでに ZIA で URL ポリシーを管理している組織は、並行する分類体系を維持することなく、そのポリシーを Firecrawl のトラフィックに適用できます。2 つの仕組みが連携して動作します。
  • インライン分類 — URL はテナントの URL Lookup API を介して Zscaler 定義のカテゴリに分類され、拒否したカテゴリに属する URL はブロックされます。
  • 同期されるカスタムルール — カスタム URL カテゴリ (URL リストとキーワード) および Zscaler 定義カテゴリへの追加は、スケジュールに従ってテナントから同期され、Firecrawl が直接評価します。これは、ZIA Lookup API がカスタム分類を返さないためです。ZIA で削除されたエントリは次回の同期時に削除されます。ダッシュボードから手動で 今すぐ同期 を実行することもできます。
提供されるのは、カスタムリストと選択した Zscaler カテゴリであり、「ZIA ポリシーと完全に同一」であることではありません。ZIA ルールは、Firecrawl では再現されないユーザー、グループ、ロケーション、時間帯、リクエストコンテキストにも依存する場合があります。カスタムカテゴリ内のキーワードルールはベストエフォートで照合されます (URL に対する大文字・小文字を区別しない照合) 。URL リスト内の完全一致エントリは、完全に一致する場合にのみ照合されます。

​
テナントを接続する

Team 管理者は、ダッシュボード (下記参照) から Zidentity OAuth クライアント (クライアントID、クライアントシークレット、Zidentity バニティドメイン) を使用してテナントを接続します。URL Categories に限定した最小権限の API ロールを使用してください。接続をテストボタンは、認証情報、タクソノミーへのアクセス、URL Lookup へのアクセスの 3 つを個別に検証します。これにより、カテゴリは読み取れても URL を分類できないロールは、初回のスクレイピング時ではなくセットアップ時に検出されます。クライアントシークレットは書き込み専用で、保存時に暗号化されます。Zscaler では同時に 2 つのシークレットを有効にできるため、ダウンタイムなしでローテーションできます。 接続後、テナント独自のタクソノミーからブロックするカテゴリを選択します。Zscaler 定義のカテゴリとカスタムカテゴリの両方が選択画面に表示されます。 テナントへの分類トラフィックは、許可リストに登録するための専用静的 IP アドレスから発信されます。アドレスについては、アカウントチームにお問い合わせください。

​
容量と動作

ZIA の URL Lookup API では、テナントあたり毎秒 1 リクエスト、毎時 400 リクエストまで利用できます。Firecrawl はルックアップをバッチ処理し (1 リクエストあたり最大 100 URL) 、これらの制限をテナント全体に適用するため、持続的な分類上限は毎秒約 11 URL です。スクレイピングのスループットが抑制されることはありません。需要が予算を上回る場合や毎時の予算を使い切った場合、影響を受けるリクエストは無期限にキューイングされるのではなく、直ちに 障害時ポリシー に従って処理されます。 Normal モードとのエンドポイントレベルでの違いは 2 つあります。
  • Map の結果はインラインで分類されず、ローカルルールのみ (リストと同期されたカスタムルール) に照らして評価されます。1 回の map で数千の URL が返されることがあり、それらを分類すると、取得されない可能性があるリンクに毎時の予算を消費してしまうためです。各 URL は、その URL のスクレイピング開始時に完全なチェックを受けます。
  • Search の結果はインラインで分類され、blocked の結果は削除されます。これは Normal モードと同じです。結果内の一意の URL ごとに、毎時のルックアップ予算が消費されます。
判定は、すべてのモードと同様にキャッシュも保存もされないため、Zscaler で分類が変更されると次のリクエストから反映され、カスタムリストの変更は次回の同期時に反映されます。

​
ポリシーの設定

チーム管理者は、ダッシュボードのEnterprise Controls → 脅威保護から 脅威保護 を設定します。
  1. Enterprise Controls → 脅威保護 を開きます。
  2. モードを選択し、リスクスコアのしきい値を設定して、ブラックリスト、ホワイトリスト、またはブロック対象の TLD エントリを追加します。
  3. Zscaler モードの場合: テナント接続を入力し、接続テストを実行して、ブロックするカテゴリを選択し、同期間隔を設定します。
  4. リクエストごとのオーバーライドを許可するかどうかを選択し、障害時ポリシーを設定します。
  5. 保存します。変更は即時に反映され、次のリクエストから新しいポリシーに基づいて評価されます。
ポリシーを表示または変更できるのはチーム管理者のみです。それ以外のユーザーには読み取り専用の表示のみが表示されます.

​
リクエストごとのオーバーライド

URL を受け付けるすべてのエンドポイントでは、任意の threatProtection オブジェクトも指定できます。これにより、個々のリクエストごとに、その呼び出しに適用するポリシーをより厳格にしたり (または、組織で許可されている場合は調整したり) できます。
オーバーライドは、組織のポリシーにフィールドごとにマージされます。組織でリクエストのオーバーライドが無効化されている場合、threatProtection オブジェクトを含むリクエストは 403 で拒否されます。これにより、管理者は組織のポリシーがすべてのリクエストに適用される下限であることを保証できます。 組織で Zscaler 接続が設定されている場合にのみ、オーバーライドで "mode": "zscaler" を選択できます。接続自体と拒否するカテゴリの選択は組織レベルで行われ、リクエストごとに設定することはできません。 チームで脅威保護が強制されている場合でも、オーバーライドでポリシーをさらに厳格にすることはできますが、"mode": "off" を含めることはできません。これを含むリクエストは 403 で拒否されます。

​
URL がブロックされている場合

ブロックされたリクエストは、403 と固定のエラーコードを返して失敗します。
挙動はエンドポイントごとに若干異なり、それぞれ最も実用的な動作になるよう設計されています。
  • Scrape, バッチスクレイプ, extract, エージェント — ブロックされた対象では、その URL に対して unsafe_domain_blocked エラーが返されます。
  • クロール — ブロックされたシード URL はリクエスト全体を失敗させます。クロールの途中で見つかったブロック済みのリンクはスキップされ、クロールは継続されます。
  • Search, map — ブロックされた URL は、結果に表示して拒否するのではなく、返される結果から除外されます。
リクエストが別の URL にリダイレクトされた場合 (同一サイト内で別のページへのリダイレクトを含む) 、転送先は再チェックされ、ブロックされた転送先のコンテンツが返されることはありません。エージェント では、このポリシーは開始 URL と、エージェント が Firecrawl API を通じて取得するすべてのものに適用されます。リモート browser がページ内で実行するナビゲーションはインターセプトされません。

​
課金

Normal モードでは、スキャンした URL ごとに**+2 クレジット**がリクエストの基本コストに加算されます。Zscaler モードにはスキャン料金はありません。分類は自身の認証情報と API クォータを使用して ZIA テナントに対して実行されるため、以下のスキャン料金に関する詳細は Normal モードにのみ適用されます。補足事項は以下のとおりです。
  • 独自のポリシー (ブラックリスト、ホワイトリスト、または ブロック対象の TLD への一致) のみで完結する判定では、分類器は呼び出されず、スキャン料金は課金されません。
  • ブロックされたリクエストでも、判定を出したスキャン分は課金されます。
  • スキャンは 1 回のスクレイピング内で重複排除されます。同じ URL へのリダイレクトによる再チェックでは元のスキャン結果が使われますが、別の URL に到達するリダイレクトは 2 回目のスキャンとなります。
  • クロールとバッチスクレイプは、すべてのページを個別にチェックします。 判定がページ間で再利用されることはありません。トラフィックに関する情報は何も保存されないため (上記参照)、Normal モードでは、スクレイピングしたページごとに +2 クレジットかかると考えてください。クロールの途中で見つかってブロックされたリンクは、何ページからリンクされていても、クロールごとにそのスキャン分が 1 回だけ課金されます。
  • Search と mapでは、結果セット内の各一意 URL をリクエストごとに 1 回スキャンするため、スキャン料金はスキャンされた結果数に応じて増加します。これは、結果が limit に合わせて切り詰められる場合、返される件数をわずかに上回ることがあります。

​
エラーリファレンス

​
注意事項

  • このポリシーは組織全体に適用され、すべてのAPIキーとすべてのエンドポイントに自動的に適用されます。
  • ホワイトリストが常に優先されるため、明示的に信頼されたドメイン上のURLが分類器やTLDルールによってブロックされることはありません。
  • チェックはURLレベルですが、互換性のためにエラーコードunsafe_domain_blockedは変更されず維持されています。
  • 障害時ポリシーがclosed (デフォルト) に設定されている場合、分類器で障害が発生すると、影響を受けるリクエストは暗黙的に許可されるのではなく、ブロックされます。
  • SIEM Audit Loggingを設定すると、すべての判定が監査証跡に表示されます。イベントには、判定に使用されたルール、参照した分類器、脅威カテゴリ、およびZscalerによって分類されたURLの場合は、そのURLにセキュリティアラート分類が付与されていた際のsecurity_alertフラグが含まれます。