KI-Chatbots und andere auf KI basierende Apps und Onlinedienste sind ziemlich datenhungrig. Die Installation einer Open-Source-Alternative zu meiner Haus- und Hof-KI Perplexity hat meine Geduld auf eine harte Probe gestellt – dafür recherchiere ich jetzt mit MichAI (ein besserer Name ist mir bislang nicht eingefallen).
Ausgangspunkt
ChatGPT sammelt Unmengen von Daten, ohne deren konkrete Verwendungszwecke anzugeben. Gemini trainiert mit den Prompts aus seinen kostenlosen Chatbot-Versionen seine KI-Modelle. Und Microsofts Copilot darf alle Eingaben der Nutzer*innen verändern und veröffentlichen. Kurz: KI-Tools sind eifrige Datensammler. Selbst die KI-Suchmaschine Perplexity, die ich bislang häufig für Recherchen im Netz genutzt habe, sammelt ordentlich Daten. Einen Verkauf der Daten oder eine Nutzung zu Werbezwecken schließt das dahinter stehende Unternehmen zwar aus und die Verwendung der Prompt-Eingaben fürs Training der Modelle können Nutzer*innen ausschalten, doch ansonsten bleiben die AGB (und die Antwort auf eine Nachfrage beim Datenschutzteam) schwammig.
Die Idee: KI auf den PC holen
Per Zufall habe ich vor einigen Wochen von Perplexica erfahren. Nicht nur der Name des Open-Source-Projekts ist an das kommerzielle Tool Perplexity angelehnt. Auch die Nutzeroberfläche, bestehend aus einem breiten Eingabefeld und der Möglichkeit, bestimmte Rechercheschwerpunkte zu setzen, ist dem offensichtlichen Vorbild nachempfunden. Anders als der kommerzielle Dienst aber sammelt Perplexica selbst keine Daten. Lediglich die beiden zum Einsatz kommenden KI-Textmodelle, die die Prompts a) in Webanfragen aufteilen und b) deren Antworten zusammenfassen, erhalten Kenntnis von den Anfragen der Nutzer*innen und den Outputs der KI. Das Schöne ist: Beide Modelle können lokal auf dem PC, Mac oder Notebook laufen! So bleiben selbst sensible Inhalte (persönliche Daten) im Arbeitsspeicher des eigenen Computers und kein Datenbroker kann damit Geld verdienen. Doch mit jedem Rechner geht das nicht. Vor allem das Textmodell, das die Webseiten sichtet und deren Inhalte zusammenfasst, benötigt eine Menge Arbeitsspeicher (ab 16 GB aufwärts) und dazu eine flotte Grafikkarte oder einen KI-optimierten Hauptprozessor. Mein Notebook ist dafür leider zu langsam, außerdem möchte ich ja auch von unterwegs meine KI-Suchmaschine nutzen.
Die Lösung: KI auf dem Webserver
Meine Lösung ist ein VPS-Server. Das sind gemietete Serverkapazitäten in einem Rechenzentrum, auf die ich gegen eine monatliche Gebühr Zugriff habe. Weil das sogenannte Embedding Model, das für die Zerteilung des Prompts in Websuchen zuständig ist, mindestens 8 GB Arbeitsspeicher verlangt, habe ich mich für einen VPS-Server mit 12 GB RAM und 6 virtuellen Prozessoren entschieden (heißt: der garantierten Rechenkraft von 6 CPUs). Kostenpunkt: Recht günstige 7 €/Monat. Das zweite Textmodell ist erheblich anspruchsvoller. Zum Glück gibt es frei nutzbare Modelle aus der Open-Source-Community, die es GPT4 oder Gemini 1.5 aufnehmen können, obwohl sie um ein Vielfaches kleiner und effizienter sind. Besonders zu schätzen gelernt habe ich das Textmodell Llama 3.1 70B Instruct aus dem Hause Meta, das aber unter keiner kommerziellen Lizenz steht. Es ist in vielen Leistungsvergleichen auf der gleichen Höhe mit GPT4, dem Long-Time-Arbeitspferd von OpenAI. Gleichzeitig ist es 26x kleiner – statt 1,9 Billionen Parameter (beschreiben die Komplexität des KI-Modells) begnügt sich Llama 3.1 70B mit 70 Milliarden! Der genaue Energieverbrauch des KI-Trainings sowie der Interaktion mit den Nutzer*innen liegt für keines der beiden Modelle vor. Doch da eine geringere Komplexität – das zeigen Modellvergleiche, für die es Daten gibt – mit weniger Energieaufwand einhergeht, erscheint es plausibel, dass Llama die CO₂-ärmere Variante ist.
Kleiner als GPT4 ist gut, aber Webserver sind für Llma 3.1 70B immer noch zu langsam. Ich nutze dafür den Dienst Groq, der mir das gewünschte Modell über eine Schnittstelle (API) zur Verfügung stellt. Groq verzichtet auf jegliche Datensammlung und bietet Llama 3.1 70B sogar kostenfrei an. Perfekt für MichAI!
Die Installation
Perplexica ermöglicht zwar die Nutzung auf einem Webserver, allerdings ist dieser Anwendungszweck nicht sonderlich gut dokumentiert – zumindest nicht für einen Server-Laien wie mich. Kurz: Ich habe eine Woche dran gesessen, eine über den Webbrowser erreichbare Instanz Perplexica samt verschlüsseltem Datenverkehr (SSL) ans Laufen zu bekommen. Und ich bin ehrlich: Ich hätte das nicht geschafft, hätte ich nicht Perplexity nutzen können, also den Dienst, den ich eigentlich ersetzen wollte. Denn eine der großen Stärken von KI-Textmodellen ist ja das Übersetzen zwischen Muttersprachen, sprachlichen Ebenen und auch zwischen Laiensprache und Computersprache. Und da ich mich an der Textkonsole von Linuxservern nicht wirklich gut auskenne, war ich auf die Expertise des Textmodells angewiesen. Mit bestem Gewissen kann ich sagen: Dass es trotzdem so lange gedauert hat, liegt an meiner Unerfahrenheit, nicht an dem Verständnis meines KI-Assistenten.
Erstes Fazit
Ich nutze meine private KI-Suche nun seit einigen Wochen und bin begeistert, wie gut sie funktioniert. Vor allem konkrete Recherchefragen, für die ich sonst lange gegoogelt hätte (ich nutze die Suchmaschine DuckDuckGo, aber dafür gibt’s ja noch kein Verb), beantwortet MichAI schnell und zuverlässig. Bei komplexen Aufgaben greife ich aber weiterhin auf Perplexity zurück. Dessen Algorithmus splittet meine Anfrage besser in Teilprobleme auf und gibt so verständigere Antworten. Weiterhin bezieht Perplexity weitaus mehr Quellen in die Antworten ein und stellt diese auch übersichtlicher dar. Noch. Denn sein Open-Source-Klon Perplexica wird stetig weiterentwickelt.
Für mich ist das Projekt bereits jetzt ein wohltuender Schritt in Sachen Datensouveränität. Es nährt meine Hoffnung, dass die KI-Entwicklung nicht nur von wirtschaftlichen Interessen und energiehungrigen Megamodellen bestimmt wird, sondern dass der Nutzen der Technologie zum Wohle aller in dieser aufregenden Umbruchphase zur Konstante wird.