Hab auch neben meinen 2 Kostenpflichtigen ChadGPT Abos, ne lokale Instanz Zuhause zum rumspielen, allerdings ne Nummer dicker: i9-12900K und 128GB RAM im Homeserver
14b ist ganz okay, 30b schon schleppig, danach wirds schmerzhaft.
Aber ja, sehe es ähnlich wenn mal was ausgearbeitet werden soll, kanns ja ruhig ne Stunde vor sich hinrödeln. Allerdings funktioniert die Websuche noch nicht ganz mit meinen Setup. Bin primär auch auf den coding-modellen Unterwegs.
achso, ne GPU hab ich noch nicht aktiv im Einsatz.. aber wenn 2x quadro irgendwas mit 16GB ist angedacht, hauptsache dicken VRAM.