Lokale KI wirkt schnell wie ein Thema für sehr teure Hardware. Große Modelle, viel Grafikspeicher, aktuelle GPUs – da kann man glauben, unterhalb eines High-End-Rechners brauche man gar nicht anzufangen.
Ich sehe das anders.
Ein Teststand muss nicht alles können
Mein Ziel ist nicht, die größten Modelle lokal zu betreiben. Ich möchte herausfinden, welche kleinen und mittleren Modelle für konkrete Aufgaben reichen.
Dafür ist ein älterer PC mit einer brauchbaren Grafikkarte plötzlich wieder interessant. Gerade weil er nicht mein Hauptrechner ist, darf dort experimentiert werden.
Die GPU ist nur ein Teil
Grafikspeicher entscheidet mit darüber, welche Modelle sinnvoll laufen. Aber genauso wichtig sind RAM, Datenträger, Stromverbrauch und Stabilität.
Eine ältere, noch brauchbare Karte kann deshalb genau richtig sein, wenn sie den geplanten Zweck erfüllt.
Ein eigener KI-Host schafft klare Grenzen
Ich mag die Idee, lokale KI auf einem eigenen Rechner zu konzentrieren. Andere Anwendungen greifen über eine Schnittstelle darauf zu. So bleibt klar, wo Modelle laufen und welche Last sie erzeugen.
Ein guter Teststand muss nicht beeindruckend aussehen. Er muss Experimente erlauben, ohne den Rest des Systems durcheinanderzubringen.
Wenn daraus später ein fester KI-Host wird, hat ein alter Rechner genau die zweite Karriere gefunden, die ich an alter Hardware so mag.