Supervisión de páginas

La supervisión de páginas vigila URL que ya conoces. En cada comprobación se hace scraping de cada URL del objetivo, se compara con la última instantánea guardada y se informa si la página está same, changed, new, removed o error. Es la opción adecuada para páginas de precios, registros de cambios, páginas de documentación, ofertas de empleo, páginas de estado o cualquier URL conocida en la que un pequeño cambio sea importante. Esta página cubre el objetivo scrape. La programación, los objetivos y la evaluación, el seguimiento de cambios, las notificaciones y los precios se comparten entre todos los tipos de monitor. Consulta la visión general de la supervisión.

Crea un monitor de página

Crea un monitor con un objetivo de scrape que incluye una o varias URL explícitas:

from firecrawl import Firecrawl

firecrawl = Firecrawl(
  # Los endpoints de supervisión requieren una API key:
  api_key="fc-YOUR-API-KEY",
)

monitor = firecrawl.create_monitor(
    name="Hacker News AI monitor",
    schedule={"text": "every 30 minutes", "timezone": "UTC"},
    goal=(
        "Alert when a new Hacker News story related to AI enters the top 10. "
        "Ignore changes to stories that are not about AI. "
        "Do not alert on changes outside the top 10."
    ),
    targets=[
        {
            "type": "scrape",
            "urls": ["https://news.ycombinator.com"],
        }
    ],
    notification={
        "email": {
            "enabled": True,
            "recipients": ["alerts@example.com"],
            "includeDiffs": True,
        }
    },
)

print(monitor.id)

import Firecrawl from "@mendable/firecrawl-js";

const firecrawl = new Firecrawl({
  // Los endpoints de supervisión requieren una API key:
  apiKey: "fc-YOUR-API-KEY",
});

const monitor = await firecrawl.createMonitor({
  name: "Hacker News AI monitor",
  schedule: { text: "every 30 minutes", timezone: "UTC" },
  goal:
    "Alert when a new Hacker News story related to AI enters the top 10. Ignore changes to stories that are not about AI. Do not alert on changes outside the top 10.",
  notification: {
    email: {
      enabled: true,
      recipients: ["alerts@example.com"],
      includeDiffs: true,
    },
  },
  targets: [
    {
      type: "scrape",
      urls: ["https://news.ycombinator.com"],
    },
  ],
});

console.log(monitor.id);

curl -s -X POST "https://api.firecrawl.dev/v2/monitor" \
  -H "Authorization: Bearer $FIRECRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "Hacker News AI monitor",
    "schedule": {
      "text": "every 30 minutes",
      "timezone": "UTC"
    },
    "goal": "Alert when a new Hacker News story related to AI enters the top 10. Ignore changes to stories that are not about AI. Do not alert on changes outside the top 10.",
    "notification": {
      "email": {
        "enabled": true,
        "recipients": ["alerts@example.com"],
        "includeDiffs": true
      }
    },
    "targets": [
      {
        "type": "scrape",
        "urls": ["https://news.ycombinator.com"]
      }
    ]
  }'

También puedes crear monitores desde la CLI de Firecrawl:

CLI

firecrawl monitor create --name "Hacker News AI" \
  --schedule "every 30 minutes" \
  --goal "Alert when a new Hacker News story related to AI enters the top 10. Ignore changes to stories that are not about AI. Do not alert on changes outside the top 10." \
  --page https://news.ycombinator.com

Objetivo de scrape

Un objetivo scrape requiere type y un array urls con al menos una URL. Las opciones de scrape se pasan a los trabajos de scrape subyacentes. En los scrapes activados por el monitor, maxAge tiene el valor predeterminado 0, por lo que cada comprobación realiza un scrape nuevo, a menos que establezcas explícitamente un maxAge diferente.

Scrape target

{
  "type": "scrape",
  "urls": ["https://example.com/pricing"],
  "scrapeOptions": {
    "formats": ["markdown"],
    "maxAge": 0
  }
}

Detectar cambios a nivel de campo

De forma predeterminada, un monitor de página compara el markdown de la página. Para alertar solo cuando cambie un campo específico, como un precio, un titular, un indicador de disponibilidad o los elementos de una lista, añade un formato changeTracking en scrapeOptions del objetivo. Consulta Seguimiento de cambios para el modo JSON y el modo mixto.

Configuración compartida

Programaciones: cadencia con cron o en lenguaje natural, con un mínimo de 5 minutos.
Objetivos y evaluación: alerta solo ante cambios significativos.
Notificaciones: envío por webhook y correo electrónico.
Resultados de las comprobaciones: revisa cada comprobación y sus diffs por página.
Precios: 1 crédito por URL y por comprobación, más evaluación opcional.

Primeros pasos

Endpoints principales

Más

Inicios rápidos

Guías para desarrolladores

Webhooks

Casos de uso

Otros

Contribuciones

Supervisión de páginas

Crea un monitor de página

Objetivo de scrape

Detectar cambios a nivel de campo

Configuración compartida

​Crea un monitor de página

​Objetivo de scrape

​Detectar cambios a nivel de campo

​Configuración compartida

Crea un monitor de página

Objetivo de scrape

Detectar cambios a nivel de campo

Configuración compartida