mana-gpu
Eigene KI-Inferenz-Workstation für die Workloads, die wir nicht auslagern wollen.
Was drinsteckt
- GPU
- NVIDIA RTX 3090, 24 GB VRAM
- Workloads
- Whisper STT, TTS, Photon-Geocoder
- Modus
- WSL2 + Docker
- Auslastung
- nur bei Anfrage, sonst idle
Sprache aus Memoro, geocodierte Adressen aus Viadocu, gesprochene Erinnerungen — das sind die Workloads, die wir nicht an OpenAI Whisper oder Google Geocoding schicken wollen. Die landen auf dieser Workstation.
Eine NVIDIA RTX 3090 mit 24 GB VRAM, gebraucht für unter 1000 Euro zu haben, reicht für den Vereins-Bedarf gut aus. WSL2 unter Windows, mit Docker-Containern für Whisper, TTS-Modelle und den Photon-Geocoder.
Im Idle-Zustand zieht die Maschine wenig Strom; unter Last springt der Lüfter an und die Karte arbeitet. Das ist eine pragmatische Antwort auf „KI-Souveränität”: nicht jedes Modell selbst trainieren, aber jedes Modell selbst hosten, das auf einer Consumer-Karte läuft.
Für große Sprachmodelle (Claude, GPT, Gemini) reicht die Karte nicht — das geht über llm-anbieter als bewusste externe Abhängigkeit.
Plattform-Services, die hier aufsitzen
Diese Services nennen mana-gpu in ihrem Infrastruktur-Frontmatter — sie sind direkt von diesem Baustein abhängig.
- mana-llmEine Schnittstelle vor Anthropic, OpenAI, Gemini — ein Ort für API-Keys, ein Cost-Tracking, ein Audit.
- mana-sttSelbst gehostetes Speech-to-Text via Whisper auf eigenem GPU-Server — Sprache verlässt die Vereins-Infrastruktur nicht.
- mana-ttsSelbst gehostetes Text-to-Speech auf eigenem GPU-Server — Vereins-Stimme statt Big-Cloud-Stimme.
- mana-geocodingAdresse ↔ Koordinaten — eigener Photon-Server zuerst, Public-Photon und Nominatim nur als Fallback.
Was mana-gpu für den Verein verkörpert
- DatensouveränitätVerwahrer statt Eigentümer.
- EigenbetriebEigene Infrastruktur, quelloffener Stack.
- UnabhängigkeitSchweizer Verein, keine Investoren.
Weitere Infrastruktur dieser Art
Hardware mit Standort — physisch greifbar, nicht in einer fremden Cloud.
mana-gpu ist ein Baustein der Vereins-Infrastruktur — eine von drei Schichten unter den Plattform-Services und Apps.