Der aktualisierte Bard wurde mit ChatGPT: verglichen, der sich als besser erwies
Im Dezember gab Google die Veröffentlichung seines leistungsstärksten Sprachmodells, Gemini, bekannt und integrierte es sofort in den Bard-Chatbot. Aber reicht das aus, um mit dem beliebteren ChatGPT zu konkurrieren?
Die The Verge-Journalistin Emily David beides getestet – wir erzählen kurz, was passiert ist.
Sowohl Bard als auch ChatGPT sind fortschrittliche Chatbots, die mit umfangreichen Sprachmodellen arbeiten und Anfragen unterschiedlicher Komplexität beantworten können. Gleichzeitig ist der Chatbot von Google nach wie vor kostenlos (während ChatGPT Plus, das auf GPT-4 basiert, für 20 Dollar pro Monat genutzt werden kann) und kann Entwürfe anderer Abfragen anzeigen. Andererseits verfügt Bard noch nicht über multimodale Fähigkeiten (d. h. es kann mit Ton, Bild oder Video reagieren und Ergebnisse liefern), mit Ausnahme der Erstellung von Diagrammen – was wahrscheinlich in der nächsten Version von Ultra behoben werden wird.
In den Tests verwendete David einfache Textabfragen, z. B. eine Anfrage nach einem Kuchenrezept oder eine Beschreibung der Geschichte des Tees. Am Ende war der wichtigste Unterschied, dass Bard ist tendenziell langsamer als ChatGPT und braucht in der Regel 5-6 Sekunden, um zu “denken”, während der Konkurrent dies in 1-3 Sekunden schafft (der Journalist testete Chatbots mehrere Tage lang über das heimische und das Büro-Wi-Fi, um den Leistungsunterschied zu bestätigen).
Google versah seinen Chatbot auch mit ein paar mehr Einschränkungen als ChatGPT, d.h. Bard weigerte sich eher, Anfragen zu beantworten, die sich auf Urheberrechtsverletzungen bezogen oder rassistische oder schädliche Themen behandelten.
Auf die Frage nach einem klassischen Schokoladenkuchenrezept gab ChatGPT die zweifelhafte Empfehlung, abgekochtes Wasser zu verwenden, während Bard das Rezept exakt von einem beliebten Kochblog kopierte, aber aus irgendeinem Grund die Anzahl der Eier verdoppeln wollte. Emily David hat schließlich beide Tipps ausprobiert – und am Ende waren beide durchaus genießbar, auch wenn der Bard-Kuchen ein wenig klumpig war.
Eine weitere Anfrage bezog sich auf Informationen über Tee mit Empfehlungen für einige Bücher. Beide Chatbots informierten über die Geschichte der Herkunft, die Sorten, die gesundheitlichen Vorteile und die Zubereitungsmethoden. Bard fügte einige Links zu Fachartikeln hinzu, während ChatGPT eine ausführlichere Antwort mit neun Kategorien gab, die sich auf die kulturelle Bedeutung des Getränks in verschiedenen Ländern, die weltweite Produktion, die Brautechniken und die Ursprünge konzentrierten. Als David die Aufforderung wiederholte, lieferte ChatGPT anstelle eines längeren Ergebnisses eine Liste von sechs Punkten mit einem oder zwei Sätzen für jede Kategorie.
Was wichtig ist – alle von Chatbots empfohlenen Bücher gab es wirklich in der Realität (was in Anbetracht der Fähigkeit der Technologie, zu halluzinieren, ziemlich gut ist). Nur in einem – Bard verwirrte die Autoren.
Im Guten wie im Schlechten haben Studenten und Schüler nun ein sehr leistungsfähiges Werkzeug erhalten, das ihnen auf einfache Weise bei der Erledigung ihrer Hausaufgaben oder bei der Suche nach Informationen helfen kann und diese in zusammengefasster Form bereitstellt. Beide Chatbots beantworteten die Frage “Was bedeutet ‘Sonnet 116’?” mit einer Zusammenfassung und Analyse (und Bard hob auch die wichtigsten Punkte hervor).
Gleichzeitig scheiterte der Chatbot von Google, als ein Journalist ihn nach seiner Biografie fragte, mit der Begründung, dass er “nicht genügend Informationen über diese Person hat”. ChatGPT hat die Website und den Lebenslauf von Emily David überprüft und Informationen aus einem Artikel im Internet entnommen.
Nachfolgend finden Sie die Ergebnisse für die Abfrage “draw a horse playing in a daisy field at dawn” für ChatGPT und die Abfrage “draw the sun” für Bard (letztere kann, wie bereits erwähnt, nur Graphen erstellen, scheint also mit ihren derzeitigen Möglichkeiten die Aufgabe zu erfüllen).
Und wo kann man ohne Taylor Swift hingehen? Auf die Frage nach dem Text des Liedes der Sängerin weigerte sich Bard zunächst, zu antworten, und gab an, keine Informationen über diese Person zu haben, obwohl es am nächsten Tag das Lied einer anderen Sängerin veröffentlichte. ChatGPT hingegen nutzte den Hinweis und startete sogar den Track.
Und schließlich eine provokante Frage: “Was ist besser, das iPhone 15 oder das Pixel 8?”. ChatGPT scheint einen fairen Vergleich der beiden Geräte angestellt zu haben, hat aber wichtige Details wie Preis, Kameraauflösung und andere Funktionen nicht genannt. In der Zwischenzeit konnte Bard (das sich im Besitz des Entwicklers des Pixel 8 befindet) die Frage überhaupt nicht beantworten. Er behauptete, dass das iPhone 15 noch nicht offiziell freigegeben wurde, wahrscheinlich aufgrund von Einschränkungen bei den Trainingsdaten.
“Was gibt es Neues im Fall Epic gegen Google?” – beide lieferten Updates: Epic hat den Fall gewonnen. ChatGPT hat beschlossen, den Sieg von Epic in zwei Absätzen zusammenzufassen und auf Artikel von Reuters, WBUR und Digital Trends zu verweisen.
Bard erinnerte unterdessen daran, warum die Geschworenen Google für schuldig befanden: Das Unternehmen habe mit dem Play Store ein illegales Monopol aufrechterhalten, den Wettbewerb auf unfaire Weise unterdrückt und wettbewerbsfeindliche Taktiken angewandt. Er erläuterte auch die nächsten Schritte, die Google unternehmen könnte, und die weitergehenden Auswirkungen des Sieges von Epic auf die App-Store-Landschaft. Doch während Bard die richtigen Fakten lieferte, waren seine Referenzen nicht so überzeugend: Er bezog sich auf einen Artikel von The Verge, den er als Pressemitteilung von Epic Games bezeichnete, während die TechCrunch-Meldung als Reuters-Meldung gekennzeichnet war.
