Was ist Function Calling?
Vor Function Calling hatten LLMs ein Problem: sie konnten Antworten formulieren, aber keine echten Aktionen ausführen. Wenn ein Nutzer fragte „wie viel haben wir letzten Monat umgesetzt?“, konnte das LLM nicht in Ihre Datenbank schauen — bestenfalls trainierte Annahmen wiedergeben (oder halluzinieren).
Function Calling löst genau das. Sie definieren dem LLM eine Liste von Funktionen mit Schema (z. B. „getRevenue(month, year) → number“). Das LLM entscheidet bei jeder Anfrage selbst, ob eine Funktion aufgerufen werden soll, mit welchen Parametern, und integriert das Ergebnis in seine Antwort. Damit wird das LLM zur Brücke zwischen natürlicher Sprache und Ihren Systemen.
Wie funktioniert Function Calling konkret?
Vier Schritte:
- Schema-Definition: Sie beschreiben dem LLM in JSON-Schema-Form Ihre verfügbaren Funktionen — Name, Beschreibung, Parameter mit Typen.
- Erste LLM-Antwort: bei einer Nutzer-Frage entscheidet das LLM: „kann ich direkt antworten oder muss ich eine Funktion aufrufen?“. Wenn ja, gibt es einen Function-Call-Token mit dem gewählten Funktionsnamen und den Parametern aus.
- Tool-Ausführung: Ihre Anwendung führt die Funktion aus (z. B. SQL-Query), holt das Ergebnis und gibt es zurück an das LLM.
- Finale LLM-Antwort: das LLM nimmt das Ergebnis, formuliert die natürlichsprachige Antwort und liefert sie aus.
Bei komplexeren Aufgaben kann das LLM mehrere Funktionen nacheinander aufrufen — daraus entsteht ein Agent.
Anbieter-Unterschiede
Stand 2026 unterscheiden sich die Anbieter in Details:
- OpenAI Function Calling: erfunden, am ausgereiftesten. JSON-Schema-basiert, sehr zuverlässig. Strict-Mode garantiert Schema-Konformität.
- Anthropic Tool Use: ähnliche Funktionalität, etwas anderes Format (XML-orientiert). Sehr stark bei längeren, mehrstufigen Tool-Workflows.
- Mistral Function Calling: kompatibel mit OpenAI-Format, etwas weniger zuverlässig bei komplexen Schemas.
- Google Gemini Function Calling: funktional vergleichbar, eigene API-Konvention.
Best Practices
Für produktive Function-Calling-Implementierungen:
- Klare Funktionsbeschreibungen: jeder Parameter mit konkretem Beispiel und erwartetem Format.
- Wenige Funktionen pro Scope: mehr als 8–10 Funktionen führen zu Verwirrung. Lieber per Kontext filtern, was relevant ist.
- Strict-Mode aktivieren: verhindert ungültige Parameter-Werte, verfügbar bei OpenAI seit Mitte 2024.
- Idempotenz: Funktionen sollten mehrfach mit denselben Parametern dasselbe Ergebnis liefern — das LLM ruft sie manchmal versehentlich doppelt auf.
- Sichere Ausführung: der LLM-Output ist nicht vertrauenswürdig — Validierung vor Ausführung, Berechtigungs-Check, Audit-Logging.
Mehr in unseren Pillar-Inhalten: KI-Agenten im Unternehmen, Case Study mit Function Calling.