> For the complete documentation index, see [llms.txt](https://docs.airops.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.airops.com/docs/de/aktionen/workflow-concepts/workflow-steps/ai-steps/llm.md).

# LLM prompten

Der AirOps-LLM-Schritt: Prompten Sie Modelle von OpenAI, Anthropic und Google (oder mit Ihren eigenen Schlüsseln) mit Prompt Engineering, strukturierten Ausgaben und MCP-Toolzugriff.

Große Sprachmodelle (LLMs) sind eine Kategorie von Machine-Learning-Modellen, die menschenähnlichen Text erzeugen. Sie werden mit umfangreichen Datenmengen trainiert und sind in der Lage, Antworten basierend auf gegebenen Eingaben zu verstehen und zu generieren sowie Konversationserlebnisse zu ermöglichen

In AirOps ermöglicht dir der LLM-Schritt, Modelle von OpenAI, Anthropic und Google (oder deine eigenen Modellschlüssel) anzusprechen – mit Kontrolle über Prompt-Engineering, Temperature, strukturierte Ausgaben und den Zugriff auf MCP-Tools.

Wir haben AirOps gegründet, um es einfacher zu machen, leistungsstarke Lösungen mit diesen Modellen zu entwickeln, da sie in Geschäftsprozessen eine immer größere Rolle spielen.

## Einrichten eines LLM-Schritts

Beim Einrichten eines LLM-Schritts gibt es mehrere Parameter, die so konfiguriert werden können, dass sie optimal zu deinem Anwendungsfall passen. Hier geben wir einen kurzen Überblick über jeden Parameter.

<figure><img src="https://1960680173-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FX2n5yPRPynbnWuO4SH0M%2Fuploads%2Fgit-blob-42eb482ee634cdd104f46ef0414d9709ec3acf1d%2Fllm-step-01-configuration.png?alt=media" alt="Prompt LLM step Summarize SERP themes using GPT-6.1 Sol, with a system prompt and a user message that references the keyword and the Google Search output"><figcaption><p>Konfiguriere das Modell, den System-Prompt und die Nachrichten in einem Prompt-LLM-Schritt.</p></figcaption></figure>

### Wähle ein KI-Modell aus

Die Auswahl eines Modells hängt vom Kontextfenster, der Komplexität der Aufgabe, den Kosten und der Geschwindigkeit ab. Im Allgemeinen liefern leistungsfähigere Modelle eine höhere Ausgabequalität bei höheren Kosten und geringerer Geschwindigkeit.

Für Hinweise zur Modellauswahl sieh dir unsere Dokumentationsseite zu [Modellauswahl](https://docs.airops.com/docs/de/aktionen/workflow-concepts/workflow-steps/ai-steps/llm/choosing-a-model.md).

{% hint style="info" %}
Du kannst auch dein eigenes feinabgestimmtes Modell verwenden, indem du es über unsere [API-Anbieter](https://docs.airops.com/docs/de/dein-workspace/team.md#api-providers) Seite verbindest.
{% endhint %}

<figure><img src="https://1960680173-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FX2n5yPRPynbnWuO4SH0M%2Fuploads%2Fgit-blob-0d7dec4918bef430fa6cfda90b94263aa4eb2ead%2Fllm-step-02-model-picker.png?alt=media" alt="AI Model picker on the Popular tab with GPT-6 Astra, GPT-6.1 Sol, GPT-6.1 Terra, and Claude Fable 5.1, and tabs for OpenAI, Anthropic, Perplexity, and Google"><figcaption><p>Wähle ein Modell für den Prompt-LLM-Schritt aus.</p></figcaption></figure>

### MCP-Connectors

MCP-Connectoren geben dem LLM Zugriff auf externe Tools, die auf [Model Context Protocol](https://modelcontextprotocol.io/) Servern gehostet werden. Wenn Connectoren ausgewählt sind, kann das Modell diese Tools während der Ausführung aufrufen, um Daten abzurufen, Aktionen auszulösen oder mit Diensten von Drittanbietern zu interagieren.

#### Unterstützte Modelle

MCP-Connectoren sind mit den folgenden Modellen verfügbar:

| Anbieter  | Unterstützte Modelle                                                                                                       |
| --------- | -------------------------------------------------------------------------------------------------------------------------- |
| OpenAI    | gpt-4o, gpt-4o-mini, gpt-4.1, gpt-4.1-mini, gpt-5, gpt-5.1, gpt-5.2, gpt-5-mini, gpt-5-nano, o3, o3-pro, o4-mini und neuer |
| Anthropic | Claude Sonnet 4, Claude Opus 4, Claude Haiku 4.5 und neuer                                                                 |

{% hint style="warning" %}
Das Dropdown für MCP-Connectoren erscheint im LLM-Schritt nur, wenn ein kompatibles Modell ausgewählt ist. Wenn du die Option nicht siehst, wechsle zu einem der oben aufgeführten unterstützten Modelle.
{% endhint %}

#### Connectoren auswählen

Wenn ein unterstütztes Modell ausgewählt ist, erscheint ein **MCP-Connectors** Dropdown in der Schrittkonfiguration. Wähle einen oder mehrere Connectoren aus, um ihre Tools dem Modell zur Verfügung zu stellen.

<figure><img src="https://1960680173-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FX2n5yPRPynbnWuO4SH0M%2Fuploads%2Fgit-blob-3ffa6d702b4d0e000c59bce6f30098f90a47c5c7%2Fllm-step-03-mcp-connectors.png?alt=media" alt="Advanced settings of a Prompt LLM step using Claude Sonnet 5.5, with the MCP Connectors dropdown listing AirOps, Linear, Notion, and Sentry, and Linear selected"><figcaption><p>Wähle in den erweiterten Einstellungen MCP-Connectoren aus, um dem Modell deren Tools bereitzustellen.</p></figcaption></figure>

#### So funktioniert es zur Laufzeit

1. AirOps übergibt die ausgewählten Connectoren als verfügbare Tools an die LLM-API.
2. Das LLM entscheidet anhand des Prompts und des Gesprächskontexts, ob Tools aufgerufen werden sollen.
3. Wenn das LLM ein Tool aufruft, leitet AirOps die Anfrage an den entsprechenden externen MCP-Server weiter.
4. Der MCP-Server verarbeitet die Anfrage und gibt eine Antwort zurück.
5. Die Antwort fließt zurück zum LLM, das sie in die endgültige Antwort einbaut.

Das LLM kann bei einem einzelnen Schritt mehrere Tools aufrufen und es kann sich auch dafür entscheiden, keine Tools aufzurufen, wenn sie für den Prompt nicht relevant sind.

#### MCP-Tool-Aufrufe in Traces anzeigen

Wenn ein LLM-Schritt MCP-Connectoren verwendet, protokolliert der Schritt-Trace jeden Tool-Aufruf mit seinen Eingaben und Ausgaben. So lässt sich leicht debuggen und nachvollziehen, wie das Modell mit externen Tools interagiert hat.

<figure><img src="https://1960680173-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FX2n5yPRPynbnWuO4SH0M%2Fuploads%2Fgit-blob-31ba0c75de5f307179edc18c5f9b8d4e63af901b%2Fllm-step-04-mcp-trace.png?alt=media" alt="Tool Calls tab of a Prompt LLM step in the run Logs, showing a Linear search_issues call with its input and output"><figcaption><p>Jeder MCP-Tool-Aufruf erscheint im Tab Tool Calls des Schritts mit seinen Eingaben und Ausgaben.</p></figcaption></figure>

{% hint style="info" %}
Um MCP-Connectoren für deinen Workspace hinzuzufügen oder zu verwalten, gehe zu **Einstellungen > MCP-Connectoren**. Siehe die [Einrichtungsanleitung für MCP-Connectoren](broken://pages/b3a1009d9df0086ccbfced327bc9e46ad67cb8e5) für Details.
{% endhint %}

### Temperature

Temperature bestimmt das Maß an Variabilität in der Antwort der KI:

* Für mehr Variabilität und kreativere Antworten wähle eine höhere Temperature.
* Für weniger Variabilität und deterministischere Antworten wähle eine niedrigere Temperature.

### Max. Länge (optional)

Begrenzt die maximale Anzahl der Ausgabe-Tokens. Wenn leer gelassen, werden keine Grenzen erzwungen.

<figure><img src="https://1960680173-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FX2n5yPRPynbnWuO4SH0M%2Fuploads%2Fgit-blob-2f412b37f2077519f6e5572f09cd5c12def196f1%2Fllm-step-05-model-settings.png?alt=media" alt="Prompt LLM settings for Gemini 3.5 Flash with Temperature, Max Output Length, Output Format, and the Google Search grounding and citation options"><figcaption><p>Lege die Temperature, die maximale Ausgabelänge und das Ausgabeformat für den Schritt fest.</p></figcaption></figure>

### Streaming

Streaming ermöglicht es dir, die Ausgabe tokenweise zu sehen, ähnlich wie bei ChatGPT. Der Text wird im Test-Panel des Workflow Studios oder beim Ausführen deines Workflows in AirOps gestreamt.

**Gründe für Streaming:**

* **Prompts schnell testen:** Wenn du Prompts schnell testen möchtest, kannst du beobachten, wie deine Ausgabe in Echtzeit erzeugt wird, und deinen Prompt schneller validieren, anstatt zu warten, bis die gesamte Antwort fertig ist.
* **Eine API mit Streaming bereitstellen:** Wenn das Streamen von Text in Echtzeit für deinen Endnutzer eine bessere Benutzererfahrung ist, solltest du Streaming als Option in Betracht ziehen. Wenn du hingegen große Textmengen erzeugst, ist Streaming für deinen Endnutzer vielleicht nicht die ideale Option.
* **AirOps Frontend-SDK:** Unser SDK ermöglicht es dir, Workflow-Ausgaben direkt in deine Benutzererfahrung zu streamen

### Ausgabeformat

Für OpenAI-Modelle kannst du zwischen „Text“ (Standard) und „JSON“ wählen.

Wenn du JSON auswählst, gibt der LLM-Schritt seine Ausgabe immer in einem gültigen JSON-Format zurück. Du solltest in deinem Prompt angeben, welchem JSON-Ausgabeformat das LLM folgen soll. Wenn du zum Beispiel möchtest, dass das JSON Schlüssel wie „title“ und „content“ enthält, solltest du das im Prompt angeben.

### Strukturierte Ausgaben

Für OpenAI-Modelle kannst du bei der Angabe eines JSON-Ausgabeformats auch die Option „Spaltenausgaben definieren“ verwenden, um das Format festzulegen, dem das JSON folgen wird. Das ist eine formellere Spezifikation, als nur in deinem Prompt zu beschreiben, wie das Ausgabeformat aussehen soll. Sie ist aber auch eingeschränkter. Derzeit kannst du strukturierte Ausgaben nur für ein flaches JSON mit Schlüsseln auf oberster Ebene und ohne Arrays verwenden.

### Konsistente Ergebnisse

Wenn du „Konsistente Ergebnisse anfordern“ aktivierst, wird das Modell aufgefordert, sich nach bestem Bemühen um konsistente Ausgabenergebnisse bei wiederholter Eingabe desselben Inputs zu bemühen.

Das kann für Testzwecke nützlich sein, da die Konsistenz der Ergebnisse oft eine Voraussetzung ist, während du den gesamten Workflow testest.

Die Funktion „Konsistente Ergebnisse anfordern“ ist nur für OpenAI-Modelle verfügbar.

### Fordere dein Modell auf

Sobald du dein Modell ausgewählt und die gewünschten Parameter festgelegt hast, besteht der nächste große Schritt darin, es mit einem Prompt zu versehen. Prompts sollten so gründlich und beschreibend wie möglich sein, und wir empfehlen, unsere Doku-Seiten dazu zu lesen, wie man am besten "[Mit GPT prompten](https://docs.airops.com/docs/de/aktionen/workflow-concepts/workflow-steps/ai-steps/llm/prompt-with-gpt.md)" und "[Mit Claude prompten](https://github.com/airopshq/airops-docs/blob/main/building-workflows/workflow-steps/ai-steps/llm/broken-reference/README.md)."

Wir empfehlen dir außerdem, dir unsere Sammlung bestehender Vorlagen anzusehen. Fast alle enthalten einen LLM-Schritt und können dir Inspiration sowie Leitlinien dafür geben, wie dein Prompt aussehen könnte, z. B.

#### Benutzer-Prompt

Das Feld „Benutzer-Prompt“ gibt dem Modell Beispiel-Eingaben oder einen Gesprächsverlauf, um die gewünschte Ausgabe zu erhalten, z. B.

```
Benutzer: 
Bitte schreibe ein spannendes Gedicht für Kindergartenkinder mit Folgendem:
Titel des Gedichts: Der erste Schultag
Themen: Pause, Kunstunterricht, Snack-Zeit
```

#### Assistenten-Prompt

Der Assistenten-Prompt hilft dem Modell, das gewünschte Ausgabeformat „zu lernen“. Dies ist besonders hilfreich, um Arrays, JSON oder HTML ohne zusätzlichen „Chat“-Text zu erzeugen (*„Klar! Das ist ein Array..."*), z. B.

```
System: Du gibst ein Array mit 5 Strings aus, die Substantive für Küchengegenstände sind.

Benutzer: Gib mir eine Ausgabe mit 5 Utensilien

Assistent: ["Löffel", "Gabel", "Messer", "Pfannenwender", "Essstäbchen"]

Benutzer: Gib mir jetzt ein Array mit 5 {{my_input}}
```

{% hint style="info" %}
In AirOps kannst du mehrere Benutzer-/Assistenten-Paare einfügen, um dem LLM Beispiele dafür zu geben, wie es antworten soll.
{% endhint %}

## Wie du fortfährst, wenn der LLM-Schritt fehlschlägt

Standardmäßig beendet der LLM-Schritt den Workflow, wenn er fehlschlägt. Um den Workflow jedoch fortzusetzen, wenn der Schritt fehlschlägt, klicke einfach auf die Einstellungen und klicke `Weiter` am unteren Rand der Einstellungen:

<figure><img src="https://1960680173-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FX2n5yPRPynbnWuO4SH0M%2Fuploads%2Fgit-blob-750fd87934548e472ba3dedd88330ce908dee439%2Fllm-step-06-continue-on-failure.png?alt=media" alt="Prompt LLM advanced settings with When the step fails set to Continue"><figcaption><p>Wählen Sie Weiter, um den Workflow bei einem fehlgeschlagenen Schritt weiterlaufen zu lassen.</p></figcaption></figure>

Der Schritt gibt die folgenden Schlüssel zurück:

* `Ausgabe` : dies wird `null`
* `Fehler` :
  * `Meldung`: die vom Schritt zurückgegebene Meldung
  * `Code` : der den Fehler repräsentierende Fehlercode

<figure><img src="https://1960680173-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FX2n5yPRPynbnWuO4SH0M%2Fuploads%2Fgit-blob-42ed8e1d814a64451a4759ec04fab8fc35e89eff%2Fstep-errors-01-error-variable.png?alt=media" alt="Variables Menu previewing the Export pass schedule step, whose output is null and whose error has a message and the code STEP_ERROR"><figcaption><p>Ein fehlgeschlagener Schritt gibt ein Fehlerobjekt mit einer Nachricht und einem Code zurück.</p></figcaption></figure>

## Wie du es erneut versuchst, wenn der LLM-Schritt fehlschlägt

Um den LLM-Schritt erneut zu versuchen, wenn er fehlschlägt,

1. Wählen Sie `Weiter` anstatt `Workflow beenden` wenn der Schritt fehlschlägt
2. Fügen Sie eine Bedingung hinzu, die prüft, ob der `Fehler` aus dem Schritt vorhanden ist, z. B. `step_1.error`
3. Fügen Sie den Schritt hinzu, den Sie im Fehlerfall erneut ausführen möchten

<figure><img src="https://1960680173-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FX2n5yPRPynbnWuO4SH0M%2Fuploads%2Fgit-blob-0cf37b9938c96511e3d7292034d8f5dc8c74d168%2Fstep-errors-02-retry-condition.png?alt=media" alt="Condition step Retry if export failed that checks step_1.error, with the retry Run Code step on the True branch"><figcaption><p>Prüfen Sie, ob der Schritt fehlgeschlagen ist, und versuchen Sie es dann erneut.</p></figcaption></figure>

## Prompt mit KI generieren

Beim Konfigurieren deines LLM-Schritts kannst du unser Tool „Mit KI generieren“ verwenden, um dich beim Ausfüllen des Prompts zu unterstützen:

<figure><img src="https://1960680173-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FX2n5yPRPynbnWuO4SH0M%2Fuploads%2Fgit-blob-c0fee067b15c87f57b4763a2b645856f4dd24724%2Fllm-step-07-generate-with-ai.png?alt=media" alt="Prompt LLM step panel with the Generate with AI dropdown at the top right"><figcaption><p>Verwende „Mit KI generieren“, um den Prompt zu entwerfen.</p></figcaption></figure>

Wir geben unten eine kurze Übersicht über jede der anpassbaren Optionen, die mit dieser Funktion einhergehen, und zeigen dir anschließend eine Beispiel-Durchführung.

{% hint style="info" %}
Hinweis: „Mit KI generieren“ ist derzeit nur mit OpenAI kompatibel
{% endhint %}

### Aufgabentyp

Du musst zuerst deinen Aufgabentyp festlegen. Die Liste der derzeit unterstützten Typen umfasst:

1. **Content-Erstellung** -- eine gute Wahl, wenn du Inhalte erzeugen möchtest, z. B. einen Blogbeitrag, ein Bild, eine Marketing-E-Mail usw.
2. **Frage + Antwort** -- wähle diese Option, wenn deine Eingabe eine Frage sein soll und deine Ausgabe die Antwort
3. **Entitätsextraktion** -- wähle diese Option, wenn du bestimmte Werte aus einem Text oder Bild extrahieren möchtest
4. **Textextraktion** -- ähnlich wie bei der Entitätsextraktion kann dies nützlich sein, um bestimmte Textwerte herauszuziehen
5. **Klassifizierung** -- wähle diese Option, wenn deine Ausgabe verschiedene Werte deiner Eingabe in ähnliche Kategorien einordnen soll

### Ausgabetyp

Sobald du deinen Aufgabentyp definiert hast, ist die nächste Entscheidung, wie der LLM-Schritt die Ergebnisse ausgeben soll. Die Liste der derzeit unterstützten Ausgabetypen umfasst:

1. Klartext
2. Markdown
3. HTML
4. JSON
5. YAML

Durch die Auswahl eines Werts hier sparst du dir den zusätzlichen Aufwand, den Ausgabetyp in deinem Prompt anzugeben (oder einen nachfolgenden Text-Schritt zu benötigen, um die Ausgabe neu zu formatieren)

### Prompt

Der Abschnitt Prompt ist ähnlich wie das, was wir zuvor in [„Fordere dein Modell auf.“](#prompt-your-model) Der entscheidende Unterschied hier ist jedoch, dass wir uns auf unsere KI verlassen können, um die Beschreibung weiter auszuarbeiten. Wenn du dir also unsicher warst, wie du deinen Prompt genau formulieren sollst, wird OpenAI versuchen, ihn zu erweitern.

### Erweiterte Einstellungen

* **Ausgabebeispiel (optional)** -- wenn die KI Schwierigkeiten hat, die Ergebnisse im angegebenen Format auszugeben, kannst du hier manuell ein Beispiel eingeben, an dem sie sich orientieren kann. Das ist ähnlich wie bei den Benutzer-/Assistenten-Prompts oben.
* Ausgewählte Variablen -- füllt sich mit allen Eingabevariablen, die in den Schritt hineinreichen

### Beispiel

Als Beispiel gehen wir den Einsatz der Funktion „Mit KI generieren“ durch, um einen einfachen Workflow zu erstellen. Wir imitieren die Restaurantbewertung, die wir in unserem [Workflow-Schnellstart](https://github.com/airopshq/airops-docs/blob/main/building-workflows/workflow-steps/ai-steps/llm/broken-reference/README.md).

{% @arcade/embed url="<https://app.arcade.software/share/wwLuvhmlXoRTKETSBYPy>" flowId="wwLuvhmlXoRTKETSBYPy" %}


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://docs.airops.com/docs/de/aktionen/workflow-concepts/workflow-steps/ai-steps/llm.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
