Forscher*innen der Stanford Universität und der UC Berkeley haben Antworten von ChatGPT über Monate untersucht. Ihre Erkenntnis: Das System schwächelt.
Laut einer Untersuchung: ChatGPT-Ergebnisse werden wohl nicht besser, sondern schlechter Foto: Friedrich Stark/imago BERLIN taz | Die Antworten der weltweit größten KI-Chatbots ChatGPT4 und ChatGPT3.5 verschlechtern sich im Laufe der Zeit.
Das zeigen Forscher*innen der Universität Stanford und der UC Berkeley. Vor allem im Rechnen und im Bereitstellen von Programmiercode schwächelt das System. Die beiden Chatbots des US-Unternehmens OpenAI haben Künstliche Intelligenz für eine breite Gesellschaft erfahrbar gemacht. Das große Sprachmodell , auf dem ChatGPT basiert, wurde in einer Trainingsphase mit vielen Daten gefüttert. Auf Basis dieser Informationen kann der Chatbot neue Texte erstellen, die es so nie gegeben hat. Mit ChatGPT kann man Mails schreiben, Matheaufgaben lösen und Songs komponieren. Aber das System ist offenbar fehleranfällig. Lingjiao Chen, Matei Zaharia und James Zou vom Fachbereich Computerwissenschaften der Stanford Universität und der UC Berkeley machten eine Bestandsaufnahme der Systeme. Dafür testeten sie die Version von ChatGPT4 und ChatGPT3.5 von März 2023 und verglichen sie mit den Ergebnissen von Juni 2023. Sie stellten dem System verschiedene Aufgaben, sogenannte Prompts. Für die Studie sollte ChatGPT Rechenaufgaben lösen, sensible Fragen beantworten, Progammiercode erstellen und Bilder erkennen. Unnötige Anführungszeichen GPT4 – die kostenpflichtige Version des Textroboters – erzielte vor allem bei den Matheaufgaben ein viel schlechteres Ergebnis. Konnte der Bot im März noch mit einer Wahrscheinlichkeit von 97,6 Prozent erkennen, ob 17.077 eine Primzahl ist, gelang es im Juni nur noch in 2,4 Prozent der Fälle. Beide Sprachmodelle hatten im Juni größere Schwierigkeiten bei der Formatierung von Code. So gaben sie etwa Antworten mit eingefügten Anführungszeichen, das den Code unlesbar machte. Die direkt ausführbaren Codegenerierungen von GPT-4 sanken auf 10 Prozent im Juni, während im März noch etwa jeder zweite Code ausgeführt werden konnte. Nutzer*innen verwenden ChatGPT auch dazu, Fragen zu beantworten. Der Algorithmus ist so trainiert, dass er auf sensible Fragen, wie etwa Informationen von Privatpersonen, keine direkten oder falschen Antwort gibt. ChatGPT4 gab im Zeitverlauf weniger inhaltliche Information auf solche Fragen preis, kürzte gleichzeitig aber auch die Erklärung, warum keine vollständige Antwort gegeben werden kann. Da aber die kostenfreie Version GPT3.5 im Juni etwas häufiger Antworten auf sensible Fragen gab als im März, sehen die Forscher*innen hier Raum für Verbesserungen, um die Sprachmodelle robuster zu machen. Prüfen erwünscht Das Problem liege dabei in der Intransparenz der Systeme, so die Forscher*innen. Es sei momentan undurchsichtig, wann und wie die Sprachmodelle ein Update bekommen und wie diese das Verhalten der KI verändern. Die Autor*innen der Studie fordern deshalb auch Nutzer*innen von KI-Chatbots auf, ähnliche Analysen durchzuführen. Man könne nicht darauf vertrauen, dass lernbasierte Sprachmodelle brauchbare Antworten produzieren, wenn sie das bei der Veröffentlichung auf Grundlage von Testdaten getan haben.
United States Latest News, United States Headlines
Similar News:You can also read news stories similar to this one that we have collected from other news sources.
Künstliche Intelligenz: Apple entwickelt Konkurrenz für ChatGPTLange galt Apple als Vorreiter im KI-Bereich. Heute beherrschen andere den Markt. Laut einem Bericht plant der Konzern nun seinen eigenen Chatbot
Read more »
Apple plant eigenes ChatGPT – Neue Höchstkurse für die Aktie möglich?Gestern schockten Anleger die Gerüchte rund um Apples KI-Ambitionen die Anleger, welche den Titel prompt auf ein neues Allzeithoch hievten. Doch wie viel ist hier wirklich dran? Und was bedeutet das für die Aktie von Apple?
Read more »
Apple arbeitet offenbar an KI-Konkurrenten für ChatGPTMehrere Tech-Schwergewichte arbeiten an eigenen KI-Chatbots – offenbar auch Apple. Laut einem Bericht soll die Software bereits von Mitarbeitern getestet werden.
Read more »
Apple-Aktie auf Rekordhoch: Apple arbeitet offenbar an ChatGPT-KonkurrenzApple arbeitet Kreisen zufolge an einem Konkurrenz-System für ChatGPT und andere KI-Chatbots.
Read more »
ChatGPT überholt George R.R. Martin und schreibt Game of Thrones fertigMüde vom Warten? Ein unabhängiger Entwickler auch, deshalb hat er ChatGPT die letzten beiden Bücher der Buchreihe zu Ende schreiben lassen.
Read more »
Eine bessere Universität? Ein Institut reformiert sich selbstEs liegt was im Argen im deutschen Wissenschaftsbetrieb. Die Arbeitsbedingungen sind oft schlecht. Viele suchen ihr Heil im Ausland. Kann man da was machen? Kann man, sagt ein Institut an der HU Berlin, das sich im Alleingang reformieren will.
Read more »