前提条件
- Lambda にアクセスできる AWS アカウント
- Firecrawl APIキー — 無料で取得する
セットアップ
ウェブを検索する
検索ハンドラーを定義したindex.mjs を作成します:
ページをスクレイピングする
同じハンドラーにscrapeアクションを追加します:
Interactでページを操作する
稼働中のブラウザセッションを制御するためにinteract アクションを追加すると、ボタンのクリック、フォームへの入力、動的なコンテンツの抽出ができます:
デプロイ
AWS CLI を使ってパッケージ化とデプロイを行います:Lambda のタイムアウトは少なくとも30秒に設定してください。動的ページのスクレイピングや Interact セッションは、デフォルトの3秒のタイムアウトでは完了までにそれ以上かかることがあります。
次のステップ
Searchドキュメント
Webを検索し、ページ全体のコンテンツを取得
スクレイピングドキュメント
フォーマット、アクション、プロキシを含むスクレイピングのオプション
Interactドキュメント
クリックやフォーム入力で動的コンテンツを抽出
Node SDKリファレンス
クロール、map、バッチスクレイプなどを網羅したSDKリファレンス

