Bei lokaler KI interessiert mich nicht der Versuch, ChatGPT im Keller nachzubauen. Spannend sind für mich Modelle, die eine klar begrenzte Aufgabe zuverlässig übernehmen können.
Dazu gehören Klassifizieren, Informationen extrahieren, Vorschläge erzeugen, Werkzeuge über APIs benutzen und später auch anspruchsvollere Programmieraufgaben. Die Hardware soll zur Aufgabe passen – nicht umgekehrt.
Auf dieser Projektseite sammle ich den Weg vom Testrechner bis zu einer brauchbaren lokalen KI-Infrastruktur.