Apple hat ein neuronales Netzwerk entwickelt, das Bilder auf der Grundlage von Textbeschreibungen “photoshoppen” kann
Apple-Forscher haben ein neues Modell der künstlichen Intelligenz entwickelt, mit dem Nutzer in einfacher Sprache beschreiben können, was sie an einem Foto ändern möchten. Gleichzeitig können Sie Bilder bearbeiten, ohne eine Bildbearbeitungssoftware zu benötigen.
Mit dem MGIE-Modell (MLLM-Guided Image Editing), das Apple in Zusammenarbeit mit der University of California, Santa Barbara, entwickelt hat, können Sie Bilder mithilfe von Textanweisungen zuschneiden, in der Größe verändern, spiegeln und mit Filtern versehen. Dieses Modell kann auch für komplexere Bildbearbeitungsaufgaben verwendet werden, z. B. um bestimmte Objekte in einem Foto umzugestalten, um ihnen eine andere Form zu geben oder sie heller zu machen.
MGIE kombiniert zwei verschiedene Arten der Verwendung multimodaler Sprachmodelle. Erstens lernt es, Benutzereingaben zu interpretieren. Dann “stellt es sich vor”, wie die Bearbeitung aussehen wird (z. B. führt die Anforderung eines blauen Himmels in einem Foto zu einer Erhöhung der Helligkeit des Bildteils mit dem Himmel).
Bei der Fotobearbeitung mit MGIE müssen die Benutzer lediglich ausdrucken, was sie an dem Bild ändern möchten. Wenn Sie z. B. ein Bild einer Peperoni-Pizza bearbeiten, können Sie die Aufforderung “Make it healthier” eingeben, und das Modell fügt Gemüsebelag hinzu. Das Foto von Tigern in der Sahara sieht dunkel aus, aber nachdem die Modelle angewiesen wurden, “mehr Kontrast hinzuzufügen, um mehr Licht zu simulieren”, wurde das Bild heller.
“Anstelle von kurzen, aber mehrdeutigen Anweisungen erkennt MGIE explizite visuelle Absichten und führt zu einer intelligenten Bildbearbeitung”, schreiben die Forscher in ihrem Artikel.
Apple hat MGIE über GitHub zum Download zur Verfügung gestellt und auch eine Web-Demo von Hugging Face Spaces veröffentlicht. Das Unternehmen machte keine Angaben zu seinen Zukunftsplänen für dieses Modell.
