Habt ihr schon mit KIs Zuhause rumgespielt? Mir gingen die Begrenzungen der kostenlosen Chats etwas auf die Nerven und ich habe mal lokale Versuche angestellt.
ollama auf debian, N100, 16GB RAM, Arc A310
Erst ohne Graka Unterstützung, da liefen die Modelle, die eben in den RAM passen, langsam, aber ok. Sie müssen übrigens nicht in den RAM passen, am Laptop läuft gpt-oss auch mit 8GB, aber sehr langsam, da natürlich geswapt werden muss.
Mit aktiviertem, experimentellen, Vulkan gehts kaum schneller, aber die 4GB der Graka werden genutzt, sowie die GPU etwas. Mehr System RAM frei ist ja auch schon mal was. Außer gpt-oss unf tinyllama geben die Modelle aber nur noch Unsinn aus. Wilde Zeichen oder zusammenhangloses. Schade, da ich ministral und magistral schon gerne genutzt hätte. Vielleich ändert sich ja noch was, Vulkan ist aktuell eben experimentell.
"Produktiv" geht aktuell also am besten: gpt-oss:20b mit Vulkan aktiviert, genug restlicher RAM zum arbeiten, halbwegs gescheite antworten, zusehen beim reasoning-"Denkprozess" wenn auch in englisch. Komplexe Antworten dauern dann schon mal 15min. Als Denkhilfe ganz ok, auch mal was vergleichen oder überarbeiten, überdenken usw.
Am Laptop ohne GPU etwas eingeschränkt, aber gänging mit ministral-3:3b, reasoning wäre natürlich schon schön, gpt-oss ohne RAM allerdings viiiieeeeel zu langsam. 
Womit ich mich noch nicht befasst habe: gibts eigentlich was ähnlich einfaches in Richtung Bildbearbeitung/Erstellung? Bilderkennung gibts, aber habe mich noch nicht mit befasst.
