> For the complete documentation index, see [llms.txt](https://docs.airops.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.airops.com/docs/pt/contexto/knowledge-bases/add-data/web-scrape.md).

# Web Scrape

Importe o conteúdo do site para uma base de conhecimento e configure o acesso do rastreador.

## Utilizar o Web Scrape nas bases de conhecimento

O Web Scrape permite importar conteúdo diretamente de sites para a sua base de conhecimento, facilitando o aproveitamento de páginas existentes no seu site em casos de utilização como a ligação interna. Escolha entre extrair páginas individuais ou várias páginas através de um sitemap, consoante as suas necessidades.

<figure><img src="https://31915162-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FX2n5yPRPynbnWuO4SH0M%2Fuploads%2Fgit-blob-70816d670c03d75008010d6d7d6c8057fb3f549f%2Fkb-web-scrape-01-menu.png?alt=media" alt="Add Data menu with Web Page highlighted above Sitemap"><figcaption><p>Escolha Web Page para uma única página ou Sitemap para várias páginas.</p></figcaption></figure>

## Permitir que a AirOps rastreie o seu site

O seu site tem de permitir tanto a obtenção do sitemap como os pedidos às páginas utilizados para importar conteúdo. Se utilizar uma firewall, CDN ou serviço de proteção contra bots, verifique as regras aplicáveis a cada tipo de pedido.

### Permitir pedidos diretos de sitemap

Permita a seguinte combinação para pedidos diretos de sitemap da AirOps:

| Definição             | Valor                                            |
| --------------------- | ------------------------------------------------ |
| Endereço IP de origem | `52.71.87.39`                                    |
| User-Agent            | `AirOpsSitemapCrawler/1.0 (+https://airops.com)` |

1. Limite a exceção ao endereço IP de origem e ao User-Agent acima. Não confie apenas no User-Agent, uma vez que outros clientes podem enviar o mesmo cabeçalho.
2. Aplique a exceção ao índice do sitemap e a cada sitemap secundário que pretenda importar. Inclua qualquer nome de anfitrião ou caminho de destino alcançado através de um redirecionamento.
3. Certifique-se de que os pedidos correspondentes conseguem passar pelas regras de proteção contra bots sem um CAPTCHA, um desafio de JavaScript ou uma página de verificação de cookies. Uma exceção de IP numa regra da firewall poderá não contornar uma política de proteção contra bots separada.

{% hint style="info" %}
Adicionar à lista de permissões outro crawler da AirOps não permite automaticamente o crawler de sitemaps. Em particular, `AirOpsPageChangeTracker/1.0` é utilizado para detetar alterações a páginas no site, não como identidade de importação de páginas da base de conhecimento.
{% endhint %}

### Permitir a obtenção de páginas

As importações de páginas para a base de conhecimento, incluindo **Scrape Metadata Only**, utilizam uma infraestrutura de extração gerida para obter o conteúdo das páginas. Estes pedidos e os pedidos de sitemap de recurso podem utilizar endereços IP de origem e user agents diferentes dos do pedido direto de sitemap acima.

Se o sitemap carregar, mas as páginas individuais continuarem bloqueadas, contacte o Suporte da AirOps para identificar o tráfego de obtenção de páginas aplicável e coordenar uma exceção específica para o site com a sua equipa de segurança. Não assuma que o IP e o User-Agent do pedido direto de sitemap abrangem todos os pedidos de páginas e evite desativar a proteção contra bots em todo o site.

## Página única

Para extrair conteúdo de uma única página Web:

* Clique em "Adicionar dados" e selecione "Web Scrape" no menu pendente
* Escolha a opção "Página única"
* Introduza o URL completo da página Web de que pretende extrair conteúdo (por exemplo, [www.domain.com/blog/article-title](http://www.domain.com/blog/article-title))
* Clique em "Iniciar extração" para iniciar o processo
* A AirOps extrairá e importará o conteúdo para a sua base de conhecimento, tornando-o pesquisável

<figure><img src="https://31915162-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FX2n5yPRPynbnWuO4SH0M%2Fuploads%2Fgit-blob-1f55740942f72b89ad54431e90537ee2163db96b%2Fkb-web-scrape-02-single-page.png?alt=media" alt="Add Web Page dialog with a spaceops.io page URL"><figcaption><p>Extrair uma única página.</p></figcaption></figure>

### Várias páginas através de um sitemap

Para extrair conteúdo de várias páginas Web utilizando um sitemap:

* Clique em "Adicionar dados" e selecione "Web Scrape" no menu pendente
* Escolha a opção "Várias páginas (através de sitemap)"
* Introduza o URL do sitemap (normalmente disponível em domain.com/sitemap.xml)
* Opcionalmente, especifique padrões de URL para incluir ou excluir páginas específicas (por exemplo, incluir "/blog/" ou excluir "/support/")
* Ative "Extrair apenas metadados" se precisar apenas dos títulos e das descrições das páginas, em vez do conteúdo completo
* Clique em "Iniciar extração" para iniciar a importação em segundo plano. A AirOps leva-o de volta à base de conhecimento, onde pode acompanhar o progresso à medida que os documentos aparecem.

Se o sitemap for inválido ou estiver inacessível, o conector apresenta um aviso de erro na base de conhecimento. Verifique o URL do sitemap e se está acessível antes de tentar novamente.

<figure><img src="https://31915162-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FX2n5yPRPynbnWuO4SH0M%2Fuploads%2Fgit-blob-a517a25c5dc8ef4a98c9359f5fb7a0a312c4582f%2Fkb-web-scrape-03-sitemap.png?alt=media" alt="Configure Web Scrape dialog with a sitemap URL, URL must contain /blog/, and URL must not contain /careers/"><figcaption><p>Extrair várias páginas de um sitemap.</p></figcaption></figure>

Depois de adicionar um sitemap à base de conhecimento, pode manter o conteúdo atualizado clicando no ícone de engrenagem junto a "1 sincronização agendada" e selecionando uma das opções seguintes:

* "Sincronizar dados" para iniciar manualmente uma sincronização imediata e obter o conteúdo mais recente
* "Agendar sincronização de dados" para configurar sincronizações recorrentes automáticas com a frequência que preferir. Os conectores de sitemap suportam agendas de **Hora**, **Dia**, **Semana**, e **Mês** Escolha Mês para sites grandes ou com poucas alterações, nos quais as ressincronizações semanais implicariam mais trabalho do que o necessário.

{% @arcade/embed url="<https://app.arcade.software/share/sqgFTsbvoWnJJgwiRYIU>" flowId="sqgFTsbvoWnJJgwiRYIU" %}


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://docs.airops.com/docs/pt/contexto/knowledge-bases/add-data/web-scrape.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
