Ein lokales Sprachmodell im Browser sieht beeindruckend aus. Man tippt eine Frage ein, bekommt eine Antwort – und hat das Gefühl, jetzt sei „KI lokal“ erledigt.
Für mich fängt es da erst an.
Der eigentliche Nutzen liegt zwischen Modell und Anwendung
Ein Modell kann Texte verstehen, klassifizieren, zusammenfassen und Vorschläge erzeugen. In einer echten Anwendung braucht es aber Kontext, Regeln und Werkzeuge.
Wenn eine KI ein Dokument als Vertrag erkennt, reicht die Feststellung allein nicht. Interessant wird es, wenn die Anwendung weiß, welche Daten dazugehören, wohin sie dürfen und welche Aktion vorbereitet werden kann.
Agentisch heißt nicht grenzenlos
Ich mag die Idee agentischer Systeme. Trotzdem möchte ich keine lokale KI, die einfach überall schreiben und alles verändern darf.
Ein gutes System gibt einem Modell klar definierte Werkzeuge: eine API aufrufen, etwas klassifizieren, Informationen extrahieren oder einen Vorschlag erstellen. Die Anwendung entscheidet, was wirklich ausgeführt werden darf.
Kleine Modelle sind oft genau richtig
Für solche Aufgaben muss nicht immer das größte Modell laufen. Ein kleiner Spezialist kann für Extraktion oder Klassifikation völlig ausreichen. Programmieren braucht vielleicht etwas anderes.
Ich will keine KI, die mein System übernimmt. Ich will ein System, das KI dort einsetzt, wo sie einen Arbeitsschritt wirklich besser macht.
Das ist für mich die interessante Richtung lokaler KI: weniger Show, mehr Integration.