> For the complete documentation index, see [llms.txt](https://docs.airops.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.airops.com/docs/fr/contexte/knowledge-bases/add-data/web-scrape.md).

# Scraper le web

Importez le contenu d’un site web dans une base de connaissances et configurez les autorisations d’exploration.

## Utiliser le scraping Web dans les bases de connaissances

Le scraping Web vous permet d’importer directement du contenu depuis des sites Web dans votre base de connaissances. Vous pouvez ainsi facilement exploiter les pages existantes de votre site pour des cas d’usage tels que le maillage interne. Selon vos besoins, choisissez de scraper des pages individuelles ou plusieurs pages à partir d’un sitemap.

<figure><img src="https://344527547-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FX2n5yPRPynbnWuO4SH0M%2Fuploads%2Fgit-blob-70816d670c03d75008010d6d7d6c8057fb3f549f%2Fkb-web-scrape-01-menu.png?alt=media" alt="Add Data menu with Web Page highlighted above Sitemap"><figcaption><p>Choisissez « Page Web » pour une seule page ou « Sitemap » pour plusieurs pages.</p></figcaption></figure>

## Autoriser AirOps à explorer votre site

Votre site Web doit autoriser la récupération du sitemap ainsi que les requêtes vers les pages utilisées pour importer le contenu. Si vous utilisez un pare-feu, un CDN ou un service de protection contre les bots, vérifiez ses règles pour chaque type de requête.

### Autoriser les requêtes directes au sitemap

Autorisez la combinaison suivante pour les requêtes directes d’AirOps au sitemap :

| Paramètre         | Valeur                                           |
| ----------------- | ------------------------------------------------ |
| Adresse IP source | `52.71.87.39`                                    |
| User-Agent        | `AirOpsSitemapCrawler/1.0 (+https://airops.com)` |

1. Limitez l’exception à l’adresse IP source et au User-Agent ci-dessus. Ne vous fiez pas uniquement au User-Agent, car d’autres clients peuvent envoyer le même en-tête.
2. Appliquez l’exception à l’index du sitemap et à chaque sitemap enfant que vous souhaitez importer. Incluez tout nom d’hôte ou chemin de destination atteint après une redirection.
3. Assurez-vous que les requêtes correspondantes peuvent passer les règles de protection contre les bots sans CAPTCHA, défi JavaScript ni page de vérification des cookies. Une exception IP dans une règle de pare-feu peut ne pas contourner une politique de protection contre les bots distincte.

{% hint style="info" %}
L’ajout à la liste d’autorisation d’un autre robot d’exploration AirOps n’autorise pas automatiquement le robot d’exploration des sitemaps. En particulier, `AirOpsPageChangeTracker/1.0` est utilisé pour détecter les modifications de pages sur site, et non comme identifiant pour l’importation de pages dans la base de connaissances.
{% endhint %}

### Autoriser la récupération des pages

Les imports de pages dans la base de connaissances, y compris **Scraper les métadonnées uniquement**, utilisent une infrastructure de scraping gérée pour récupérer le contenu des pages. Ces requêtes, ainsi que les requêtes de secours vers les sitemaps, peuvent utiliser des adresses IP source et des user-agents différents de ceux de la requête directe au sitemap ci-dessus.

Si le sitemap se charge, mais que certaines pages restent bloquées, contactez l’assistance AirOps pour identifier le trafic de récupération des pages concerné et coordonner une exception propre à votre site avec votre équipe de sécurité. Ne partez pas du principe que l’adresse IP directe et le User-Agent du sitemap couvrent toutes les requêtes vers les pages, et évitez de désactiver la protection contre les bots sur l’ensemble de votre site.

## Page unique

Pour scraper le contenu d’une seule page Web :

* Cliquez sur « Ajouter des données », puis sélectionnez « Scraping Web » dans le menu déroulant
* Choisissez l’option « Page unique »
* Saisissez l’URL complète de la page Web que vous souhaitez scraper (par exemple, [www.domain.com/blog/article-title](http://www.domain.com/blog/article-title))
* Cliquez sur « Démarrer le scraping » pour lancer le processus
* AirOps extrait le contenu et l’importe dans votre base de connaissances, où il devient consultable

<figure><img src="https://344527547-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FX2n5yPRPynbnWuO4SH0M%2Fuploads%2Fgit-blob-1f55740942f72b89ad54431e90537ee2163db96b%2Fkb-web-scrape-02-single-page.png?alt=media" alt="Add Web Page dialog with a spaceops.io page URL"><figcaption><p>Scraper une seule page.</p></figcaption></figure>

### Plusieurs pages à partir d’un sitemap

Pour scraper le contenu de plusieurs pages Web à l’aide d’un sitemap :

* Cliquez sur « Ajouter des données », puis sélectionnez « Scraping Web » dans le menu déroulant
* Choisissez l’option « Plusieurs pages (via un sitemap) »
* Saisissez l’URL du sitemap (généralement accessible à l’adresse domain.com/sitemap.xml)
* Vous pouvez également indiquer des modèles d’URL pour inclure ou exclure certaines pages (par exemple, inclure « /blog/ » ou exclure « /support/ »)
* Activez « Scraper les métadonnées uniquement » si vous n’avez besoin que des titres et descriptions des pages, plutôt que de leur contenu intégral
* Cliquez sur « Démarrer le scraping » pour lancer l’importation en arrière-plan. AirOps vous ramène à la base de connaissances, où vous pouvez suivre la progression à mesure que les documents apparaissent.

Si le sitemap est invalide ou inaccessible, le connecteur affiche une bannière d’erreur dans la base de connaissances. Vérifiez l’URL du sitemap et son accessibilité avant de réessayer.

<figure><img src="https://344527547-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FX2n5yPRPynbnWuO4SH0M%2Fuploads%2Fgit-blob-a517a25c5dc8ef4a98c9359f5fb7a0a312c4582f%2Fkb-web-scrape-03-sitemap.png?alt=media" alt="Configure Web Scrape dialog with a sitemap URL, URL must contain /blog/, and URL must not contain /careers/"><figcaption><p>Scraper plusieurs pages à partir d’un sitemap.</p></figcaption></figure>

Une fois un sitemap ajouté à votre base de connaissances, vous pouvez maintenir son contenu à jour en cliquant sur l’icône d’engrenage à côté de « 1 synchronisation programmée », puis en sélectionnant l’une des options suivantes :

* « Synchroniser les données » pour lancer manuellement une synchronisation immédiate et récupérer le contenu le plus récent
* « Programmer la synchronisation des données » pour configurer une synchronisation récurrente automatisée selon la fréquence de votre choix. Les connecteurs de sitemap prennent en charge les fréquences suivantes : **Heure**, **Jour**, **Semaine**, et **Mois** Choisissez une fréquence mensuelle pour les sites volumineux ou rarement modifiés, pour lesquels une resynchronisation hebdomadaire serait plus lourde que nécessaire.

{% @arcade/embed url="<https://app.arcade.software/share/sqgFTsbvoWnJJgwiRYIU>" flowId="sqgFTsbvoWnJJgwiRYIU" %}


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://docs.airops.com/docs/fr/contexte/knowledge-bases/add-data/web-scrape.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
