Benutzer:Erichrueger

lokale LLMs als vollwertiger Ersatz zu Online-Anbietern

Wie komme ich zu meinen Sonntagsbrötchen?

Die Familie ist hungrig, der Bäcker einen Kilometer weit entfernt. Ich bestelle mir also ein Taxi mit viel Platz, am besten eine vollklimatisierte Großraumlimousine, und lasse mich zum Bäcker und auch wieder nach Hause kutschieren. Samuel, der Fahrer, kennt mich schon (er fährt mich auch zum Sport und zum Büro) und ich erzähle ihm auf der Fahrt alle Neuigkeiten von meiner Familie und meiner Arbeit. Er hört immer gerne zu und fragt ab und an ein paar Details nach. Nur von sich selbst mag er nicht erzählen. Eigentlich weiß ich, dass es gesünder wäre mit dem Fahrrad zu fahren, billiger sowieso. Auch für die Umwelt wäre es besser, denn die Limousine verbraucht sicher einiges an Sprit. Aber dafür sind geräumigen Taxen sehr bequem, sauber und werden immer wieder gegen neuere Modelle getauscht. Für nächsten Monat ist wieder ein Wechsel angekündigt. Der Kofferraum soll nochmal größer werden. Das muss ich unbedingt ausprobieren. Das Fahrrad müsste ich erst aus der Garage holen und ab und zu den Reifendruck kontrollieren. Viel zu viel Aufwand.

Nachteile großer KI-Onlineanbieter

Was in der obenstehenden Geschichte merkwürdig und übertrieben klingen mag, spiegelt das Verhalten eines Großteils der Nutzer großer Sprachmodelle (LLMs) wider. Egal für welche Aufgabe, zum Einsatz kommen meist Modelle der Firma OpenAI, deutlich weniger benutzen auch Produkte von Google oder Anthropic. Für diese Produkte gibt es viele gute Argumente: Sie sind bequem zu nutzen und machen einem den Einstieg leicht. Sie werden überall unterstützt und kontinuierlich weiterentwickelt. Jeder kennt sie und die laute Werbung lässt es so wirken, als gäbe es keine Alternativen.

Über Ihre Nachteile wird weniger gesprochen:

• Training und Betrieb verschlingen unglaubliche Mengen Energie und Wasser.
• Ein guter Teil der Trainingsdaten wurden vermutlich rechtswidrig und ohne Zustimmung der Besitzer verwendet.
• Auch die zu Grunde liegende Technik ist Verschlusssache und kann nicht von Außen auf Fehler hin untersucht werden.
• Eingaben der Benutzer werden Teil des Wissensschatzes der Betreiberfirmen, ohne die Möglichkeit die gespeicherten Daten einzusehen und ggf. entfernen zu lassen. Kostet die Ware nichts bist Du die Ware. Benutzer bezahlen mit ihren Daten, oder, bei intensiverer Nutzung, auch zusätzlich mit ihrem Geld.

Besonderheiten lokaler KI (LLMs)

Es wäre falsch zu behaupten, dass frei verfügbare KI-Modelle keine der oben angesprochenen Nachteile hätten. Auch sie müssen trainiert werden, was viel Energie und Wasser kostet, auch sie sind nicht immer in allen Aspekten transparent über die Herkunft ihrer Trainingsdaten. Aber sie haben den Vorteil, dass Benutzer sie unabhängig einer dauerhaft bestehenden Internetverbindung auf eigener Hardware ausführen können und somit niemand ihre Eingaben einsehen, speichern und weiterverwenden kann. Im Umfeld einer Schule sollte dies eine Grundvoraussetzung sein. Lokale Modelle sind darauf ausgelegt nach ihrem Training auch mit geringeren Anforderungen an die Hardware zu funktionieren. Dazu haben sie eine deutlich reduzierte Anzahl an Parametern (in den Größenordnungen von 3 - 70 Milliarden, im Gegensatz zu den Modellen der großen KI-Anbieter, die oft über 100 bis 500 Milliarden Parameter besitzen (die genauen Werte verraten die Firmen nicht)). Außerdem arbeiten sie mit weiteren Optimierungstricks, wie sorgfältig kuratierten Trainingsdaten, Quantisierung oder Pruning, um ihren Hardwarehunger zu begrenzen. Ein positiver Nebeneffekt ist, dass dadurch auch der Energieverbrauch deutlich reduziert wird. Bereits Modelle der Größen 3-10 Milliarden Parametern können Erstaunliches leisten und sind für viele Anwendungsbereiche völlig ausreichend. Viele unerfahrene Benutzer bemerken den Unterschied oft gar nicht. Um die geringere Anzahl an Parametern zu kompensieren, gibt es vor allem bei den kleineren lokalen Modellen einen Trend zur Spezialisierung, während die Modelle der großen KI-Anbieter starke Generalisten sind. Die Spezialisierung führt dazu, dass kleine lokale Modelle, die viel größeren kommerziellen Modelle bei deutlich reduziertem Energieverbrauch bei bestimmten Aufgaben übertreffen können. Beim Einsatz lokaler Modelle lohnt es sich daher Zugriff auf mehrere Modelle zu haben, um diese gezielt nach dem benötigten Einsatzzweck auszuwählen.

Bedeutung von Komfort für den Erfolg lokaler KI (LLMs)

Die Notwendigkeit sich Gedanken darüber zu machen, welches das optimale Modell für einen Anwendungsfall ist, kann als Nachteil empfunden werden, denn Nutzer wünschen sich Komfort. Dieser Wunsch ist nachvollziehbar und muss daher besondere Beachtung finden. Durch die kommerziellen Anbieter wurde ein gewisser Standard gesetzt, der von potenziellen Neunutzern lokaler KI erwartet wird. Diese Erwartung erstreckt sich sowohl auf die Bedienung als auch auf den Funktionsumfang und natürlich ganz besonders auf die Qualität der Ergebnisse. Werden die Erwartungen enttäuscht, ist davon auszugehen, dass die Nutzung nach einer Testphase weitergeht.

Im Folgenden sollen zwei Ansätze beschrieben werden leistungsfähige LLMs mit Komfort unabhängig lokal zu betreiben.

Ein Ansatz bezieht sich auf eine möglichst einfach einzurichtende Lösung für Anwender, die KI, genauer gesagt LLMs auf ihrem eigenen Rechner betreiben wollen. Der zweite Ansatz befasst sich mit einer Möglichkeit LLMs für größere Gruppen -mit einer gefälligen und an die kommerziellen Anbieter angelehnten Oberfläche- zentral in einem Netzwerk oder über das Internet für ausgewählte Personen bereitzustellen. Beide Ansätze basieren ausschließlich auf freier Software. Durch eine sorgfältige Auswahl der Modelle können auch Bedenken in Bezug auf die Erzeugung nicht erwünschter Inhalte auf ein zu den großen Anbietern vergleichbares Maß reduziert werden.