Die Studie zeigte, dass Googles Gemini Pro dem GPT-3.5 Turbo von OpenAI unterlegen ist
Eine von der Carnegie Mellon University und BerriAI durchgeführte Studie ergab, dass das Sprachmodell Gemini Pro von Google weniger effizient war als das Modell GPT-3.5 Turbo von OpenAI in den meisten Testaufgaben, schreibt VentureBeat.
Der Test umfasste Multiple-Choice-Fragen zu verschiedenen Themenbereichen sowie Logikaufgaben.
Gemini Pro zeigte schwächere Ergebnisse, insbesondere in den Bereichen Mathematik, Programmierung und Verarbeitung komplexer Abfragen. Gleichzeitig hat dieses Modell einige Vorteile bei Aufgaben im Zusammenhang mit der Sortierung von Wörtern, Symbolen und der Übersetzung von Texten gezeigt.
Trotz dieser Einzelerfolge bleibt das Gemini Pro jedoch hinter dem GPT-3.5 Turbo zurück, was die Gesamtleistung angeht. Als Reaktion auf die Ergebnisse der Studie wies ein Google-Vertreter auf die Überlegenheit des Gemini Pro in anderen internen Tests des Unternehmens hin und äußerte die Erwartung, dass das nächste Modell, das Gemini Ultra, das im Jahr 2024 auf den Markt kommen soll, die aktuellen Modelle, einschließlich des GPT-4, übertreffen wird.
