mana-llm
Eine Schnittstelle vor Anthropic, OpenAI, Gemini — ein Ort für API-Keys, ein Cost-Tracking, ein Audit.
mana-llm ist die einzige Stelle im Vereins-Code, an der API-Keys für Anthropic, OpenAI und Gemini liegen. Apps rufen nicht direkt bei den Anbietern an, sondern bei mana-llm — der entscheidet, an welches Modell die Anfrage geht, trackt die Kosten, und schickt sie als Buchung an mana-credits.
Was das bedeutet: wenn ein Modell-Preis bei einem Anbieter um 30% sinkt, können wir das pro Operation an die Mana-Kosten weiterreichen — innerhalb von 30 Tagen, ohne dass jede App ein Update braucht. Wenn ein Anbieter ausfällt, schwenkt mana-llm auf den nächsten um.
Polyglot-Begründung: der Service läuft in Python, weil die Vendor-SDKs und Provider-Bibliotheken dort am besten gepflegt sind. Es war eine bewusste Entscheidung, hier nicht die TypeScript-Konvention der restlichen Plattform durchzudrücken — Werkzeug schlägt Konsistenz.
Stack & Infrastruktur
- Sprache
- Python
- Stack
- Python · FastAPI · Cost-Tracking-Middleware
- Port
- 3004
- Hosting
- Eigenbetrieb auf Vereins-Infrastruktur. Keine Drittpartei, kein Cloud-Anbieter, kein Managed-Service.
- Code
- git.mana.how
Infrastruktur unter diesem Service
Welche Vereins-Hardware, eigenen Dienste und bewussten Externe mana-llm konkret benutzt. Jedes Item hat eine eigene Seite mit Stand und Mitigation.
- Maschinemana-serverApple Mac mini M4 · Tägerwilen (Schweiz)Der Hauptserver des Vereins — ein Mac mini M4 in Tägerwilen (Schweiz), der die ganze Plattform trägt.
- Maschinemana-gpuWorkstation mit RTX 3090 · DeutschlandEigene KI-Inferenz-Workstation für die Workloads, die wir nicht auslagern wollen.
- Bewusste ExterneAnthropic · OpenAI · Geminianthropic.com · openai.com · google.comGroße Sprachmodelle (Claude, GPT, Gemini) sind aus Compute-Größe und Modell-Qualität heraus heute nicht im Eigenbetrieb leistbar.
Was er für den Verein verkörpert
- EigenbetriebEigene Infrastruktur, quelloffener Stack.
- SelbstkostenpreisKeine Werbung, kein Aufschlag.
- OffenheitCode und Mittelverwendung öffentlich.
Was läuft, was nicht
Phase: Live.
- Self-hosted-Modelle (Llama, Mistral) als Fallback einbinden ist Roadmap.
- Provider-Quality-Auto-Routing ist offen.
Weitere Services dieser Kategorie
Sprache, Text und Bild — selbst gehostet, soweit es geht.
- mana-sttSelbst gehostetes Speech-to-Text via Whisper auf eigenem GPU-Server — Sprache verlässt die Vereins-Infrastruktur nicht.
- mana-ttsSelbst gehostetes Text-to-Speech auf eigenem GPU-Server — Vereins-Stimme statt Big-Cloud-Stimme.
- mana-image-editsReference-basierte Image-Edits — Plattform-Service vor OpenAI gpt-image-2 und Gemini-Image-Edits.
mana-llm ist einer von vielen Plattform-Services, die unter den Apps des Vereins laufen. Eigenbetrieb statt SaaS, dokumentiert statt undurchsichtig.