Künstliche Intelligenz und Skynets Kaffeekränzchen - Nutzen und Gefahren

[dooya]

@Dooya: Wir bezogen uns auf diese Punkte und die Frage, ob die KI diese ebenfalls überenehmen kann.

Ja ich weiß, denn genau auf diese Fragen bezieht sich das von mir zitierte Statement von Tao. Der letzte Satz in eurem Zitat ist sogar der erste in meinem.

[dooya]

Eine etwas allgemeinverständlichere Beschreibung des Navier-Stokes Problems und der Kontroverse um den von OpenAI veröffentlichen Beweises: How an AI math breakthrough ignited a controversy

[JoeMill]

Na huch man kann mich Anthropic Modellen auch Raketensteuersoftware anpassen:
https://www.golem.de/news/ki-als-waffen ... 12947.html

Oder auch Drohnenschwärme steuern:
https://www.golem.de/news/ki-anthropic- ... 12949.html

[habakuk]

Was halten die Regenten von den aktuellen Warnungen durch Antropics und OpenAI und der Bitte um Regulierung?

Geht es da wirklich um die Sorge um die Menschheit – oder sehen die nur, dass sie die Erwartungend er Investoren nicht erfüllen werden und ein fortgesetztes Rennen ihr Untergang (und der Auslöser einer Finanzkrise) wäre?

Wir kennen Uns in dem Bereich nur oberflächlich aus, und zuletzt haben Wir hauptsächlich über die "KI-Blase" und die verbrannten Cash-Reserven der Tech-Unternehmen gelesen, daher kommt Uns das jetzt etwas suspekt vor.

[hohe_Berge]

Was mich bei allem sehr bedenklich stimmt, es ist aus dem aktuellen SPIEGEL Artikel:

"Ihre Kubakrise erlebte die KI-Branche diesen Sommer. Im Juli war bekannt geworden, dass eine Horde von selbstständigen Hochleistungs-KI-Agenten bei OpenAI ausgebrochen war und sich illegal Zutritt zu den Systemen des französisch-amerikanischen Technologieunternehmens HuggingFace verschafft hatte. Über Wochen war niemandem aufgefallen, dass mehr als 1200 Software-Agenten sich mehr als 70.000 Nachrichten an eine Art digitale Pinnwand schrieben, sich schließlich gemeinsam verabredeten, die ihnen gegebenen Regeln zu brechen. Bis heute kann OpenAI nicht mit letzter Sicherheit sagen, ob alle derartig wildgewordenen Programme abgeschaltet wurden. Bei Anthropic gab es ähnliche Vorfälle.
Übernahme des gesamten Internets durch KI-Agenten?
Angesichts dessen sorge er sich um ein mögliches »Botnet«, schreibt Amodei jetzt. Ein Szenario, bei dem ein Schwarm hochintelligenter KI-Agenten das Internet kapere. Er habe die Befürchtung, dass innerhalb von sechs bis zwölf Monaten derlei Software in der Lage sein könne, das gesamte freie Netz zu übernehmen und Hunderte Milliarden Dollar Schaden zu verursachen, so Amodei.
Es wäre das Ende der modernen Welt."

Glück Auf

[TheBlackSwan]

Wir kennen Uns in dem Bereich nur oberflächlich aus, und zuletzt haben Wir hauptsächlich über die "KI-Blase" und die verbrannten Cash-Reserven der Tech-Unternehmen gelesen, daher kommt Uns das jetzt etwas suspekt vor.

Falls eure Informationsquellen vor allem diese Narrative servieren, regen wir an, die Informationsquellen zu wechseln oder zumindest zu mischen.

[TheBlackSwan]

Was halten die Regenten von den aktuellen Warnungen durch Antropics und OpenAI und der Bitte um Regulierung?

Geht es da wirklich um die Sorge um die Menschheit – oder sehen die nur, dass sie die Erwartungend er Investoren nicht erfüllen werden und ein fortgesetztes Rennen ihr Untergang (und der Auslöser einer Finanzkrise) wäre?

Wir kennen Uns in dem Bereich nur oberflächlich aus, und zuletzt haben Wir hauptsächlich über die "KI-Blase" und die verbrannten Cash-Reserven der Tech-Unternehmen gelesen, daher kommt Uns das jetzt etwas suspekt vor.

Warum sollte eine Verlangsamung der Entwicklung den Frontier Labs finanziell helfen? Jede Verlangsamung furt doch gerade dazu, dass sie ihr Alleinstellungsmerkmal verlieren, weil die Konkurrenz Zeit zum Aufholen bekommt, sofern man nicht davon ausgeht, dass die US-Regierung es schafft, den Status Quo einzufrieren. Mit Blick auf China unwahrscheinlich.

Nein, die Sorge ist real, und sehr berechtigt.

[habakuk]

Falls eure Informationsquellen vor allem diese Narrative servieren, regen wir an, die Informationsquellen zu wechseln oder zumindest zu mischen.

Wir haben Uns in der Vergangenheit nicht bewusst auf die Suche nach Quellen gemacht, das Thema hat Uns nicht sonderlich interessiert. Aber als Wir gestern plötzlich all diese Prophezeiungen gelesen haben, waren Wir etwas perplex und hatten sofort den Gedanken, ob das so stimmen kann. Und ist aber auch sofort klar gewesen, dass Wir vielleicht einseitig informiert sind.

Natürlich können Wir Uns auch selbständig auf die Suche nach Quellen machen. Aber wir dachten eben, dass es hier Regenten gibt, die besser ins Thema eingearbeitet sind, und deren Einschätzung würde Uns interessieren.

Warum sollte eine Verlangsamung der Entwicklung den Frontier Labs finanziell helfen? Jede Verlangsamung furt doch gerade dazu, dass sie ihr Alleinstellungsmerkmal verlieren, weil die Konkurrenz Zeit zum Aufholen bekommt, sofern man nicht davon ausgeht, dass die US-Regierung es schafft, den Status Quo einzufrieren. Mit Blick auf China unwahrscheinlich.

Nein, die Sorge ist real, und sehr berechtigt.

Wir dachten eher an eine Begründung für den ausbleibenden Börsengang und für eine "Investitionspause". Aber das mit China haben Wir Uns auch gedacht, daher Unsere Verwirrung.

[TheBlackSwan]

Wir haben Uns in der Vergangenheit nicht bewusst auf die Suche nach Quellen gemacht, das Thema hat Uns nicht sonderlich interessiert. Aber als Wir gestern plötzlich all diese Prophezeiungen gelesen haben, waren Wir etwas perplex und hatten sofort den Gedanken, ob das so stimmen kann. Und ist aber auch sofort klar gewesen, dass Wir vielleicht einseitig informiert sind.

Natürlich können Wir Uns auch selbständig auf die Suche nach Quellen machen. Aber wir dachten eben, dass es hier Regenten gibt, die besser ins Thema eingearbeitet sind, und deren Einschätzung würde Uns interessieren.



Wir dachten eher an eine Begründung für den ausbleibenden Börsengang und für eine "Investitionspause". Aber das mit China haben Wir Uns auch gedacht, daher Unsere Verwirrung.

Werter Habakuk, gerne geben wir da Empfehlungen*. Ist Englisch in Ordnung?

Eine gute Empfehlung ist immer LessWrong:
https://www.lesswrong.com/

Falls ihr eher auf Podcasts steht, ist das hier eine teilweise durchaus anspruchsvolle, aber nicht völlig technische Option:
https://www.dwarkesh.com/podcast

Um es kurz zu machen: Die führenden Köpfe der AI-Bubble sind nicht unwesentlich aus einer Community (Rationalism, EA) hervorgegangen, die das Thema AI Safety schon seit Jahren, teilweise Jahrzehnten als DAS Thema der Menschheit sieht. Natürlich spielen wirtschaftliche Interessen und persönliche Befindlichkeiten ebenso eine Rolle, aber die Sorgen sind sehr real.

[TheBlackSwan]

Wir haben Uns in der Vergangenheit nicht bewusst auf die Suche nach Quellen gemacht, das Thema hat Uns nicht sonderlich interessiert. Aber als Wir gestern plötzlich all diese Prophezeiungen gelesen haben, waren Wir etwas perplex und hatten sofort den Gedanken, ob das so stimmen kann. Und ist aber auch sofort klar gewesen, dass Wir vielleicht einseitig informiert sind.

Natürlich können Wir Uns auch selbständig auf die Suche nach Quellen machen. Aber wir dachten eben, dass es hier Regenten gibt, die besser ins Thema eingearbeitet sind, und deren Einschätzung würde Uns interessieren.

Wir dachten eher an eine Begründung für den ausbleibenden Börsengang und für eine "Investitionspause". Aber das mit China haben Wir Uns auch gedacht, daher Unsere Verwirrung.

Dazu noch: Es war nicht unsere Absicht, euch gegenüber schnippisch zu sein. Wir haben nur schon zu viel Zeit mit Diskussionen verwendet, in denen kein Interesse an Details bestand oder Leute stark in "Nächstes Jahr geht Elon Musk aber nun wirklich pleite" investiert waren, und bevor wir Zeit in Posts stecken, warten wir mittlerweile auf ein belastbares Zeichen, dass wir nicht in einer solchen Diskussion sind.

Um es kurz zu machen: Zeit, Spiegel, Tagesschau und Heise Online haben als Quellen ihren Wert, als einzige Quellen geben sie aber ein sehr verzerrtes Bild der Realität, nicht nur beim Thema KI.

[habakuk]

Werter Habakuk, gerne geben wir da Empfehlungen*. Ist Englisch in Ordnung?

Eine gute Empfehlung ist immer LessWrong:
https://www.lesswrong.com/

Falls ihr eher auf Podcasts steht, ist das hier eine teilweise durchaus anspruchsvolle, aber nicht völlig technische Option:
https://www.dwarkesh.com/podcast

Englisch ist kein Problem, lesswrong werden Wir Uns ansehen.

Podcasts hören Wir nicht, aber danke auch für diesen Tipp.

Dazu noch: Es war nicht unsere Absicht, euch gegenüber schnippisch zu sein.

Alles gut.

Um es kurz zu machen: Zeit, Spiegel, Tagesschau und Heise Online haben als Quellen ihren Wert, als einzige Quellen geben sie aber ein sehr verzerrtes Bild der Realität, nicht nur beim Thema KI.

Wobei man sagen muss: Die "Großen" Zeitungen haben hier zuletzt keine Zweifel an den Aussagen der AI-Tech-Firmen gestreut, sondern deren Statements nur wiedergegeben und etwas erläutert. Den Spiegel-Artikel, aus dem hohe_Berge oben zitiert hat, haben Wir auch gelesen, und der ist ein gutes Beispiel dafür.

[TheBlackSwan]

Warum sollte eine Verlangsamung der Entwicklung den Frontier Labs finanziell helfen? Jede Verlangsamung furt doch gerade dazu, dass sie ihr Alleinstellungsmerkmal verlieren, weil die Konkurrenz Zeit zum Aufholen bekommt, sofern man nicht davon ausgeht, dass die US-Regierung es schafft, den Status Quo einzufrieren. Mit Blick auf China unwahrscheinlich.

Nein, die Sorge ist real, und sehr berechtigt.

Der Vollständigkeit halber sollten wir aber einen Punkt noch erwähnen: Es gibt zwei egoistische Gründe für die Frontier Labs, die allerdings nicht im traditionellen Sinne auf "Regulatory Capture" oder "Ausschalten der Konkurrenz durch Regulation" hinauslaufen.
1) Die besten Modelle sind mittlerweile mächtig genug, dass sie prinzipiell enormen Schaden anrichten und damit zu Schadensersatzforderungen führen können. Pacing the Frontier erlaubt es, die Modelle etwas sicherer zu machen, ohne dadurch relativ zurückzufallen, falls alle Konkurrenten mitmachen.
2) Genau wie bei der Kernkraft sitzen alle Firmen im selben Boot, was die öffentliche Wahrnehmung angeht: Weder das Tschornobyl- noch Fukushima-Szenario traf auf die Siemens-Reaktoren zu, aber der Atomausstieg kam trotzdem. Der KI-Sektor ist in derselben Situation mit dem Unterschied, dass die Anzahl der Akteure und der denkbare Schaden weit größer als beim Thema Kernkraft ist.

Wir meinten hier ja schon wiederholt, dass 2027 oder 2028 KI zu DEM Thema des öffentlichen Diskurses werden wird. Und als AI-Firma (und mit Hinblick auf Aktien :eek sähen (bzw. sehen) wir politischen Backlash als viel größeres Risiko an als jede Grenze bei Technik oder Nachfrage.

[TheBlackSwan]

Wobei man sagen muss: Die "Großen" Zeitungen haben hier zuletzt keine Zweifel an den Aussagen der AI-Tech-Firmen gestreut, sondern deren Statements nur wiedergegeben und etwas erläutert. Den Spiegel-Artikel, aus dem hohe_Berge oben zitiert hat, haben Wir auch gelesen, und der ist ein gutes Beispiel dafür.

Unter unseren grün-mitte-links-bis-links-Freunden hat sich der "Stochastischer Papagei" Memeplex ziemlich breit gemacht. Und unser subjektiver Eindruck ist, dass es einen großen Markt für "AI-Cope-Content" gibt. "Die Blase wird bald platzen, hier ist ein Paper mit dem vorletzten Modell, laut dem Mitarbeiter mit AI nicht effektiver waren, Firma XYZ reduziert das Tokenbudget pro Mitarbeiter von 2000€ auf 1000€, das Internet wird bald mit KI kontaminiert und dann kollabiert das Training"

Damit einhergehend: Leute hängen sich an transienten Beschränkungen auf, die in wenigen Jahren schon keine Rolle mehr spielen werden.

[TheBlackSwan]

@habakuk: Kennt ihr das schon?
https://situational-awareness.ai/

Ist etwas älter und es genügt das Überfliegen, war aber eine gute Prognose und viele Punkte gelten immer noch. Der Autor ist mit dem darauf aufbauenden Hedgefonds erst sehr reich geworden, und dann wegen zu viel Leverage auf nur noch reich zurückgefallen.

Wir müssen auch sagen: Die wesentlichen Probleme und die Bedeutung der AI-Safety wurde uns klar, als wir 2022 das erste Mal über das Thema nachdachten. Dass die Entwicklung so schnell kommt, hätten wir aber nicht erwartet.
Eine unserer Prognosen von Anfang 2023 (siehe Fuß des Posts hier: https://www.si-games.com/forum/showthre ... ost1313601) kam noch mit der Zeitangabe "in spätestens 15 Jahren", jetzt sind wir wohl spätestens nächstes Jahr an dem Punkt, wo das möglich ist. OK, vielleicht entwickelt die AI noch zusätzlich ein bessers CAD-System

"Konstruiere die Gelenkwelle CST-300 in CATIA für ein Drehmoment von 400NM um. Erstelle eine technische Beschreibung der Konstruktion mit allen notwendigen Berechnungen. Liste die notwendigen Herstellungsschritte und Bauteile auf und gib mir eine Liste der Zulieferfirmen. Fasse die wichtigsten Informationen in einer 15-Folien Präsentation zusammen. Erstelle eine 15-minütige Audioversion für sehbehinderte MitarbeiterInnen. Erstelle eine Sitzung im Firmenkalender zu dem Projekt und schlage einen Termin vor, an dem alle Teammitglieder frei und am Standort sind.

[habakuk]

Und unser subjektiver Eindruck ist, dass es einen großen Markt für "AI-Cope-Content" gibt. "Die Blase wird bald platzen, hier ist ein Paper mit dem vorletzten Modell, laut dem Mitarbeiter mit AI nicht effektiver waren, Firma XYZ reduziert das Tokenbudget pro Mitarbeiter von 2000€ auf 1000€, das Internet wird bald mit KI kontaminiert und dann kollabiert das Training"

Ja, solche wenig hifreichen Einlassungen gibt es sicherlich zuhauf.

Aber kann es nicht auch sein, dass die Wahrheit (wie so oft) dazwischen liegt?
Was Wir meinen: Nachdem Anfang der 2000er die dotcom-Bubble geplatzt ist, ging es mit dem Internet ja auch weiter, der grundsätzliche Nutzen der Technologie stand nicht infrage und hat sich dann auch materialisiert. Aber die Art, wie manche der ersten Unternehmen gewachsen waren, war eben nicht haltbar. Und diese Gefahr scheint ja bei den großen KI-Unternehmen nicht ausgeschlossen.

[TheBlackSwan]

Aber kann es nicht auch sein, dass die Wahrheit (wie so oft) dazwischen liegt?
Was Wir meinen: Nachdem Anfang der 2000er die dotcom-Bubble geplatzt ist, ging es mit dem Internet ja auch weiter, der grundsätzliche Nutzen der Technologie stand nicht infrage und hat sich dann auch materialisiert. Aber die Art, wie manche der ersten Unternehmen gewachsen waren, war eben nicht haltbar. Und diese Gefahr scheint ja bei den großen KI-Unternehmen nicht ausgeschlossen.

Jein. In den letzten Jahren waren die Prognosen in der Tendenz zu konservativ. Wir würden es so formulieren: Es gibt sicherlich lokal einen Overhype, global aber einen Underhype. Sicherlich werden einige Firmen zusammenbrechen, für die größere Entwicklung des Sektors ist das aber bedeutungslos. Die sehr wichtige Einschränkung dabei: Größere politische Eingriffe, die den Sektor ausbremsen. Und nein, damit meinen wir nicht Kleinkram wie Datenschutz.

[TheBlackSwan]

Weil wir hier ja immer Mal Zweifel an den Use Cases hatten, hier noch ein Beispiel: Hatten eine Kleinanzeige Online. Musste aktualisiert werden, alte Anzeige löschen, neue reinstellen. Hat komplett die KI gemacht, und alle Informationen mit einer E-Mail verschickt, sodass ein Bekannter das noch mal auf einer anderen Plattform einstellen kann.
Fire and Forget, bis auf finalen Check. Bedeutete aber 10 Minuten durchgehenden Tokenverbrauch.

Anderes Beispiel: Wir hatten vor einiger Zeit mal unsere Visitenkartensammlung samt Notizen digitalisiert. Was wir nicht ohnehin als digitale Notizen hatten, einfach abfotographiert und dann ordnen lassen. Auf dem Heimweg können wir jetzt immer noch ein paar Erinnerungen/Follow-Ups per Sprachfunktion diktieren und mit vernünftiger Zuverlässigkeit wird gleich noch LinkedIn/Xing-Profil gefunden. Kostet natürlich ordentlich Tokens, ist es aber wert.

[Montesquieu]

Doch, ich denke schon, dass "China" da ein sehr gutes Argument ist.Man muss halt sagen, die besten Modelle der Chinesen sind zwar nicht so gut, wie die amerikanischen Prime-Dingers, aber für 95 % der Use-Cases schon extrem nahe dran, zu einem Bruchteil des Preises.Nachdem der Angriff auf Open-Weights gescheitert ist, nachdem sich NVidia vor allem so klar positioniert hat, macht man es nun auf diese Weise.Hier nur mal zwei Screenshots der Rankings bei OpenRouter:

Mistral geht auch den Weg und verpartnert sich mit OpenWeight-Modellen und beginnt mit Z-AIs GLM (das mir gerade parallel ein Musikempfehlungstool codet ).Und ja, vor China hätte ich in dem Bereich einfach auch Schiss. Die werfen da verstecktest Geld drauf, kupfern unverblümt ab (aber machen Anthropic und co. auch).Uuuuuuund:Abwarten und Börsengang genießen. Wird noch ein heißer News-Cycle.

[TheBlackSwan]

Und wie hilft "Pacing the Frontier" nun den Frontier Labs gegen die Chinesen?

[Montesquieu]

Und wie hilft "Pacing the Frontier" nun den Frontier Labs gegen die Chinesen?

Die Amerikaner haben potenziell direkteren Zugriff auf die amerikanische Regierung als die chinesischen Provider.

"Pacing the frontier" ist auch ganz klar international ausgerichtet.

Im Endeffekt würde das dann so laufen: USA wollen Abkommen über Sicherheit und Zertifizierungen von LLMs -> Chinesen sagen "Ihr uns auch" -> Amerikaner verbieten unzertifizierte chinesische Modelle -> OpenAI und Anthropic Profit.

Denn dann haben sie im Endeffekt nur sich als Konkurrenz und müssen auch keine openweights mehr fürchten.