Question 1

Welches LLM kommt zum Einsatz?

Accepted Answer

Sie haben die Wahl. Wir empfehlen on-premise Modelle (Llama 3.1 70B, Mistral Large, Qwen 2.5) über Ollama oder vLLM. Wenn Sie eine API bevorzugen, binden wir auch OpenAI-kompatible Provider an — sofern DSGVO-konform vertraglich abgesichert (z. B. via Azure OpenAI EU).

Question 2

Wie groß darf die Dokumentation sein?

Accepted Answer

Praktisch unlimitiert. pgvector skaliert horizontal, und die Ingestion läuft inkrementell. Wir hatten produktive Setups mit 50.000+ Dokumenten und 4 Mio. Chunks.

Question 3

Können sensible Bereiche ausgeschlossen werden?

Accepted Answer

Ja. Workspaces in Anything LLM kapseln Embeddings strikt. Rollen und IP-Whitelist lassen sich pro Workspace definieren. Ein Vertrieb sieht keine HR-Daten.

Question 4

Was passiert bei einem Update der Dokumente?

Accepted Answer

Der Ingest-Worker erkennt Hash-Änderungen und re-embedded ausschließlich betroffene Chunks. Kein Full-Reindex, kein Down-Window.

Question 5

Wie hoch sind die Betriebskosten?

Accepted Answer

Abhängig von Modellgröße und Last. Ein typisches mittelständisches Setup mit lokal gehostetem 70B-Modell läuft auf einer GPU-Maschine (1× A6000 oder 2× L40S). Detaillierte Kalkulation auf Anfrage.

Question 6

Wer betreut den Stack im Betrieb?

Accepted Answer

Standardmäßig wir. Patch-Management, Monitoring, Backup-Drills, Re-Tuning. Ein Service Level Agreement deckt Reaktionszeiten ab. Übergabe an Ihr Team ist jederzeit möglich, Stack und Doku gehören Ihnen.