Ja, bin durch die qwen Geschichte auch mehr auf den lokalen Zug aufgesprungen. Gefühlt ist das kleine 4b schon auf dem Niveau von dem gpt 4mini.Arminus hat geschrieben:Hab endlich mal einen Kollegen gefunden, der via Agenten entwickelt. Privat. Mit OpenCode und qwen 3.5 27b. Lokal.Auf einer RTX 5090. Gerade mal geguckt, wo die preislich steht.
Und da geht schon einiges, was bei mir leider so eine Lust auf so eine lokale KI-Maschine auslöst.
Zusammen mit der Entwicklung der großen LLMs, der Preis-, Usecase- und Nutzerzahlen, gebe ich da einmal meine 2 Cents zu:
• Wir erleben gerade eine starke Trennung zwischen Enterprise (würde die Coder da einmal zuschmeißen) und Endkunden LLMs. Gemini 3 wird persé nicht dümmer, aber man merkt, dass Google hier definitiv an der "Kompaktheit" und retention dreht, was für die meisten Use-Cases, die ein normaler Nutzer in Pro steckt für die 20 € im Monat absolut ausreicht. Gemini 3 Flash ist als umsonst Version noch immer absolut fantastisch, insbesondere mit dem Thinking-Modus. Da ist mal interessant, ob Google hier auch einsparen wird. Aber Google verliert gerade credibility bei den Entwicklern, da Gemini bei großen Projekten nicht liefern kann.
• Anthropic und OpenAI gewinnen gerade bei dieser Zielgruppe enorm und haben auch das bessere Gesamtpaket. Allerdings auch zum Preis: Anthropic ist teuer und für 20 $ bekommt man viel weniger Token als bei der Konkurrenz. Bei OpenAI und Codex. Tjoa, bei denen weiß man halt nicht, wo die Reise hingeht, die sind so all over the place und können einfach keine Kohle damit machen.
• AI Nutzer != Programmierer. Die Geschichte der LLMs wurde bislang immer noch durch Entwickler geprägt. Ist so. Und darin ist die KI auch überragend, aber in anderen Bereichen? Not so much ... Noch nicht. Hier werden wir auch noch eine Entwicklung sehen, die aber eher weg von den kompletten Modellen gehen wird.
• Embedded AI. Wir brauchen nicht überall den Zugang zu den kompletten Modellen im Pro-Modus. Ist ja auch hochgradig ineffizient, aber irgendwie läuft das auch parallel zum Tech-Bro-Gott-Modus. Am besten Roboter, die alles können und hyper-intelligent sind, am Morgen mir php in type set umwandeln und am Abend mir das Abendessen kredenzen. Kann man auch splitten und in spezialisierte Anwendungen packen, die das alles viel besser können.
Die Idee habe ich auch eher hier her:
Kann man gut nebenbei hören. In Teil 1 rantet Hank halt, wie ein Hank das macht, Teil 2 ist dann mit einem IT-Scientist und ist dann sehr viel unaufgeregter.
Finde ich insgesamt von den every day Bedenken ganz gut, ohne AI auf's letzte zu verteufeln. Ein Punkt, der halt noch nicht dabei ist (ist auch etwas älter das Video): Agentic Nutzung und halt OpenClaw (oder so etwas, was da kommen wird), ist halt noch zu wenig drin. Hierfür bräuchte man neben den EAIs noch breitere Modelle (aber wahrscheinlich auch nicht die Mega-Ich-mach-Alles-und-Scharf-Großen).
• Local LLMs. Da geht schon einiges, insbesondere mit den neuen Unified-RAM-GPUs wie von Apple und von AMD. Klar so ein 5er RAM ist deutlich langsamer als eine dedizierte GPU, aber wenn sich die Preise für Hardware hoffentlich wieder beruhigen, könnte diese Nutzung sogar wieder eine Renaissance des PCs bringen. 1.000 € für einen AMD Ryzen AI Max mit 128 GB RAM (zurzeit natürlich nicht in dem Preisraum, aber perspektivisch nicht unmöglich, wenn die Welt nicht untergeht) sind für okayes Gaming (ist jetzt auf 4070er Niveau) und gute LLM-Nutzung möglich.
Damit könnte man auch sehr gut seinen persönlichen Assistenten fahren, der mehr kann als die spezialisierten EAI Tools + die Flash-Geschichten, die die großen Anbieter über kurz oder lang zur Verfügung stellen werden. Und zurzeit machen die OpenSource-Modelle auch wahnsinnige Sprünge.
Aber wie gesagt: Was ich nicht sehe, ist das Hyper-Intelligenz für Alle in den nächsten Jahren.
). Und irgendwann später dann vielleicht auch noch mal Mistral Vibe mit Devstral 2.
