> For the complete documentation index, see [llms.txt](https://docs.airops.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.airops.com/docs/de/kontext/knowledge-bases/add-data/web-scrape.md).

# Web auslesen

Importieren Sie Website-Inhalte in eine Wissensdatenbank und konfigurieren Sie den Crawling-Zugriff.

## Web Scrape in Wissensdatenbanken verwenden

Mit Web Scrape können Sie Inhalte direkt von Websites in Ihre Wissensdatenbank importieren. So lassen sich vorhandene Seiten Ihrer Website ganz einfach für Anwendungsfälle wie internes Verlinken nutzen. Je nach Bedarf können Sie einzelne Seiten oder mehrere Seiten über eine Sitemap importieren.

<figure><img src="https://1960680173-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FX2n5yPRPynbnWuO4SH0M%2Fuploads%2Fgit-blob-70816d670c03d75008010d6d7d6c8057fb3f549f%2Fkb-web-scrape-01-menu.png?alt=media" alt="Add Data menu with Web Page highlighted above Sitemap"><figcaption><p>Wählen Sie „Webseite“ für eine einzelne Seite oder „Sitemap“ für mehrere Seiten.</p></figcaption></figure>

## AirOps das Crawlen Ihrer Website erlauben

Ihre Website muss sowohl den Abruf der Sitemap als auch die Seitenanfragen zulassen, die für den Import von Inhalten verwendet werden. Wenn Sie eine Firewall, ein CDN oder einen Bot-Schutzdienst verwenden, prüfen Sie dessen Regeln für beide Arten von Anfragen.

### Direkte Sitemap-Anfragen zulassen

Lassen Sie die folgende Kombination für direkte Sitemap-Anfragen von AirOps zu:

| Einstellung      | Wert                                             |
| ---------------- | ------------------------------------------------ |
| Quell-IP-Adresse | `52.71.87.39`                                    |
| User-Agent       | `AirOpsSitemapCrawler/1.0 (+https://airops.com)` |

1. Beschränken Sie die Ausnahme auf die oben angegebene Quell-IP-Adresse und den User-Agent. Vertrauen Sie nicht allein dem User-Agent, da andere Clients denselben Header senden können.
2. Wenden Sie die Ausnahme auf den Sitemap-Index und jede untergeordnete Sitemap an, die Sie importieren möchten. Berücksichtigen Sie auch jeden Ziel-Hostnamen und -Pfad, der über eine Weiterleitung erreicht wird.
3. Stellen Sie sicher, dass die entsprechenden Anfragen Ihre Bot-Schutzregeln ohne CAPTCHA, JavaScript-Abfrage oder Cookie-Prüfseite passieren können. Eine IP-Ausnahme in einer Firewall-Regel setzt möglicherweise keine separate Bot-Schutzrichtlinie außer Kraft.

{% hint style="info" %}
Wenn Sie einen anderen AirOps-Crawler auf die Zulassungsliste setzen, ist der Sitemap-Crawler dadurch nicht automatisch zugelassen. Insbesondere wird `AirOpsPageChangeTracker/1.0` für die Erkennung von Seitenänderungen vor Ort verwendet, nicht als Kennung für den Seitenimport in die Wissensdatenbank.
{% endhint %}

### Abruf von Seiten zulassen

Für Seitenimporte in die Wissensdatenbank, einschließlich **Nur Metadaten scrapen**, wird eine verwaltete Scraping-Infrastruktur zum Abrufen von Seiteninhalten verwendet. Diese Anfragen und Sitemap-Anfragen als Ausweichlösung können andere Quell-IP-Adressen und User-Agents verwenden als die oben genannten direkten Sitemap-Anfragen.

Wenn die Sitemap geladen wird, einzelne Seiten aber weiterhin blockiert werden, wenden Sie sich an den AirOps-Support, um den betreffenden Seitenabruf-Traffic zu ermitteln und mit Ihrem Sicherheitsteam eine passende Ausnahme für Ihre Website abzustimmen. Gehen Sie nicht davon aus, dass die IP-Adresse und der User-Agent für direkte Sitemap-Anfragen alle Seitenanfragen abdecken. Deaktivieren Sie außerdem nicht den Bot-Schutz für Ihre gesamte Website.

## Einzelne Seite

So importieren Sie Inhalte von einer einzelnen Webseite:

* Klicken Sie auf „Daten hinzufügen“ und wählen Sie im Dropdown-Menü „Web Scrape“ aus.
* Wählen Sie die Option „Einzelne Seite“ aus.
* Geben Sie die vollständige URL der Webseite ein, die Sie scrapen möchten (z. B. [www.domain.com/blog/article-title](http://www.domain.com/blog/article-title))
* Klicken Sie auf „Scraping starten“, um den Vorgang zu beginnen.
* AirOps extrahiert die Inhalte, importiert sie in Ihre Wissensdatenbank und macht sie durchsuchbar.

<figure><img src="https://1960680173-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FX2n5yPRPynbnWuO4SH0M%2Fuploads%2Fgit-blob-1f55740942f72b89ad54431e90537ee2163db96b%2Fkb-web-scrape-02-single-page.png?alt=media" alt="Add Web Page dialog with a spaceops.io page URL"><figcaption><p>Eine einzelne Seite scrapen.</p></figcaption></figure>

### Mehrere Seiten über eine Sitemap

So importieren Sie Inhalte von mehreren Webseiten mithilfe einer Sitemap:

* Klicken Sie auf „Daten hinzufügen“ und wählen Sie im Dropdown-Menü „Web Scrape“ aus.
* Wählen Sie die Option „Mehrere Seiten (über Sitemap)“ aus.
* Geben Sie die Sitemap-URL ein (zu finden unter domain.com/sitemap.xml).
* Geben Sie optional URL-Muster an, um bestimmte Seiten ein- oder auszuschließen (z. B. „/blog/“ einschließen oder „/support/“ ausschließen).
* Aktivieren Sie „Nur Metadaten scrapen“, wenn Sie statt der vollständigen Inhalte nur Seitentitel und -beschreibungen benötigen.
* Klicken Sie auf „Scraping starten“, um den Import im Hintergrund zu starten. AirOps kehrt zur Wissensdatenbank zurück, wo Sie den Fortschritt verfolgen können, während die Dokumente nach und nach erscheinen.

Ist die Sitemap ungültig oder nicht erreichbar, zeigt der Connector in der Wissensdatenbank ein Fehlerbanner an. Prüfen Sie die Sitemap-URL und ihre Erreichbarkeit, bevor Sie es erneut versuchen.

<figure><img src="https://1960680173-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FX2n5yPRPynbnWuO4SH0M%2Fuploads%2Fgit-blob-a517a25c5dc8ef4a98c9359f5fb7a0a312c4582f%2Fkb-web-scrape-03-sitemap.png?alt=media" alt="Configure Web Scrape dialog with a sitemap URL, URL must contain /blog/, and URL must not contain /careers/"><figcaption><p>Mehrere Seiten aus einer Sitemap scrapen.</p></figcaption></figure>

Nachdem Sie eine Sitemap zu Ihrer Wissensdatenbank hinzugefügt haben, können Sie die Inhalte auf dem neuesten Stand halten. Klicken Sie dazu auf das Zahnradsymbol neben „1 Synchronisierung geplant“ und wählen Sie eine der folgenden Optionen aus:

* „Daten synchronisieren“, um sofort manuell eine Synchronisierung auszulösen und die neuesten Inhalte abzurufen
* „Datensynchronisierung planen“, um eine automatische, wiederkehrende Synchronisierung in Ihrem gewünschten Rhythmus einzurichten. Für Sitemap-Connectoren werden folgende Intervalle unterstützt: **Stunde**, **Tag**, **Woche**und **Monat** . Wählen Sie „Monat“ für große oder sich langsam ändernde Websites, bei denen wöchentliche Synchronisierungen mehr Aufwand verursachen, als nötig ist.

{% @arcade/embed url="<https://app.arcade.software/share/sqgFTsbvoWnJJgwiRYIU>" flowId="sqgFTsbvoWnJJgwiRYIU" %}


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://docs.airops.com/docs/de/kontext/knowledge-bases/add-data/web-scrape.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
