Apple hat in aller Stille das neuronale Netzwerk Ferret veröffentlicht, das mit Text und Bildern arbeitet
Bereits im Oktober hat Apple mit Unterstützung von Wissenschaftlern der Cornell University sein eigenes multimodales Sprachmodell Ferret veröffentlicht, das Bildfragmente als Abfragen akzeptieren kann.
Die Veröffentlichung von Ferret auf GitHub im Oktober wurde nicht von größeren Ankündigungen seitens Apple begleitet, aber das Projekt zog in der Folge die Aufmerksamkeit von Branchenexperten auf sich. Die Funktionsweise von Ferret besteht darin, dass das Modell den angegebenen Bildausschnitt untersucht, Objekte in diesem Bereich identifiziert und sie mit einem Rahmen umreißt. Das System nimmt die im Bildfragment erkannten Objekte als Teil der Anfrage wahr, deren Antwort in Textform geliefert wird.
So kann ein Benutzer beispielsweise ein Bild eines Tieres auswählen und Ferret bitten, es zu erkennen. Das Modell beantwortet die Frage, zu welcher Tierart das Tier gehört, und Sie können ihm weitere Fragen im Kontext stellen, um Informationen über andere Objekte oder Handlungen zu klären.
Das offene Modell von Ferret ist ein System, das in der Lage ist, “alles, überall und mit jedem Detail zu verknüpfen und zu beweisen”, erklärt Zhe Gan, ein Forscher in der KI-Abteilung von Apple. Branchenexperten betonen, wie wichtig es ist, das Projekt in dieser Form zu veröffentlichen, da es die Offenheit eines traditionell geschlossenen Unternehmens demonstriert.
Einer Version zufolge hat Apple diesen Schritt unternommen, weil es mit Microsoft und Google konkurrieren will, aber nicht über vergleichbare Rechenressourcen verfügt. Aus diesem Grund konnte das Unternehmen nicht auf die Freigabe seines eigenen Konkurrenten ChatGPT zählen und musste sich zwischen einer Partnerschaft mit einem cloudbasierten Hyperscaler und der Freigabe des Projekts in einem offenen Format entscheiden, wie es Meta.com zuvor getan hatte.
