Anthropic · OpenAI · Gemini
Große Sprachmodelle (Claude, GPT, Gemini) sind aus Compute-Größe und Modell-Qualität heraus heute nicht im Eigenbetrieb leistbar.
Was diese Abhängigkeit eingrenzt
mana-llm ist der einzige Ort im Code, an dem API-Keys liegen. Apps rufen nicht direkt bei den Anbietern an. Self-hosted-Fallbacks (Llama, Mistral, Gemma) sind als Pfad vorbereitet, wenn Modell-Qualität ausreicht.
Claude (Anthropic), GPT (OpenAI), Gemini (Google) — diese Modelle laufen auf Tausenden GPUs in fremden Rechenzentren. Sie selbst zu hosten würde einen achtstelligen Compute-Etat bedeuten, den der Verein nicht hat.
Wir kaufen API-Calls. Bewusst, mit Buchführung darüber, was wann zu welchem Anbieter geht. Drei statt einer Quelle, um nicht von einem einzigen Anbieter abhängig zu sein.
Was bei uns bleibt:
- API-Keys: ausschließlich in mana-llm. Keine App, kein anderer Service hat direkten Anbieter-Zugang. Das macht Wechsel möglich, ohne in 17 Repos zu editieren.
- Routing-Logik: welche Anfrage geht an welches Modell.
- Rate-Limiting: Mana-Verbrauchsregeln, Quoten, Notbremsen.
Self-hosted-Pfad: Auf mana-gpu laufen schon kleine Modelle (Whisper, TTS, Embeddings). Sobald ein Llama/Mistral-class Modell für Verein-Anfragen ausreicht, wandert ein wachsender Anteil dorthin und weg von den drei externen Anbietern. Das ist ein langfristiger Migrations-Pfad, kein Big-Bang.
Was wir nicht tun: Wir mischen keine Trainings-Daten aus Vereins-Anfragen in Anbieter-Verträge. Wir benutzen die Anbieter zero-retention, soweit die Anbieter das vertraglich anbieten.
Plattform-Services, die hier aufsitzen
Diese Services nennen Anthropic · OpenAI · Gemini in ihrem Infrastruktur-Frontmatter — sie sind direkt von diesem Baustein abhängig.
Was Anthropic · OpenAI · Gemini für den Verein verkörpert
- EigenbetriebEigene Infrastruktur, quelloffener Stack.
Was offen ist
- Llama-3-class Modelle auf [mana-gpu](/infrastruktur/mana-gpu) für die einfacheren Anfragen routen, um den Anteil externer Calls zu senken.
- Per-Anbieter Quartals-Audit: was wurde geschickt, wie viel gekostet, was wäre lokal machbar gewesen.
Weitere Infrastruktur dieser Art
Drittanbieter, den wir nicht selbst ersetzen können — beim Namen genannt, mit Mitigation.
- StripeBezahlung — Mana-Käufe und Spenden. SEPA-Lastschrift selbst zu betreiben ist aus Vereins-Größe heraus nicht stemmbar.
- APNs + FCMApple- und Google-Push-Dienste — die einzigen Wege, Notifications an iPhones und Android-Geräte zu schicken. Niemand kann das selbst hosten.
- Cloudflare DNSDNS-Provider für die 41 Verein-Zonen. Austauschbar gegen einen anderen DNS-Anbieter, aber heute aus Komfort dort.
Anthropic · OpenAI · Gemini ist ein Baustein der Vereins-Infrastruktur — eine von drei Schichten unter den Plattform-Services und Apps.