Add initial documentation for AnythingLLM & Azure OpenAI integration

This commit is contained in:
2025-08-04 07:37:05 +02:00
parent 1f76e1f7e6
commit df1b0f0f6d
2 changed files with 52 additions and 0 deletions

View File

@@ -0,0 +1,31 @@
## AnythingLLM & Azure OpenAI Gesprächsverlauf & Lösung
**Frage:** Ich möchte AnythingLLM im Generic OpenAI Modus mit Azure Foundry nutzen. Was muss ich eintragen?
**Diskussion:**
- Zunächst wurde empfohlen, im Generic OpenAI Modus folgende Werte zu setzen:
- API Base URL: https://kpa-az-ai-foundry.cognitiveservices.azure.com/
- API Key: <dein Azure-API-Key>
- Model: gpt-4.1
- Token Context Window & Max Tokens: 13107 (bzw. 131072, je nach Deployment)
- Hinweis: Die API-Version ist in AnythingLLM nicht konfigurierbar.
**Frage:** Wie viele Tokens sind mit gpt-4.1 möglich?
- Antwort: Bis zu 131072 Tokens (128k), wenn das Azure-Deployment dies unterstützt.
**Problem:**
Fehlermeldung: `Could not respond to message. 404 Resource not found`
**Analyse:**
- 404 bedeutet meist: Falscher Endpoint, Modelname oder API-Route.
- Es wurde empfohlen, die Base URL ggf. mit `/openai/deployments/<deployment>/chat/completions?api-version=...` zu ergänzen.
- Wichtig: Der Deployment-Name muss exakt stimmen.
**Lösung:**
Statt "Generic OpenAI Compatible" wurde im AnythingLLM Backend der Modus "Azure OpenAI" gewählt. Dort funktionierte der Endpoint sofort korrekt.
**Fazit:**
- Für Azure OpenAI immer den dedizierten "Azure OpenAI"-Modus in AnythingLLM nutzen, nicht den generischen OpenAI-Modus.
- Die relevanten Felder (Endpoint, API-Key, Deployment-Name) exakt wie in Azure angeben.
Damit ist die Integration erfolgreich abgeschlossen.