Apple-onderzoekers hebben een baanbrekend AI-model geïntroduceerd, MLLM-Guided Image Editing (MGIE), waarmee afbeeldingen kunnen worden bewerkt op basis van tekstprompts. Dit model is ontwikkeld in samenwerking met onderzoekers van de Universiteit van Californië, Santa Barbara en vertegenwoordigt een aanzienlijke vooruitgang in de beeldbewerkingstechnologie. In tegenstelling tot bestaande modellen kan MGIE naar verluidt een breed scala aan bewerkingsscenario’s aan, van eenvoudige kleuraanpassingen tot complexe objectmanipulaties.
De kern van het MGIE is een Multimodal Large Language Model (MLLM), dat gebruikersverzoeken interpreteert en beknopte instructies geeft voor beeldbewerking. Deze aanpak stelt het model in staat om dubbelzinnige opdrachten effectief aan te pakken, waardoor redelijke bewerkingsresultaten worden bereikt. De MLLM begrijpt bijvoorbeeld een verzoek om ‘een pizza gezonder te maken’ en verbindt de term ‘gezond’ met ‘plantaardige toppings’, waardoor het diffusiemodel wordt geïnstrueerd om de afbeelding dienovereenkomstig te bewerken.
De MGIE kan afbeeldingen uit uw tekstbeschrijving bewerken
Wat MGIE onderscheidt van bestaande modellen zoals LLM-Guided Image Editing (LGIE) is de verbeterde visuele perceptie. Hoewel LGIE beperkt is tot één enkele modaliteit, heeft MLLM binnen MGIE toegang tot het invoerbeeld en cross-modaal begrip, waardoor meer beschrijvende instructies mogelijk zijn. Dankzij deze mogelijkheid kan het model specifieke gebieden in het beeld identificeren die moeten worden aangepast, zoals het helderder maken van bepaalde gebieden voor een gewenst effect.
MGIE is nu beschikbaar als open-sourceproject op GitHub en biedt code, data en vooraf getrainde modellen om te downloaden. Bovendien kunnen gebruikers via een webdemo die wordt gehost op Hugging Face-ruimtes de beeldbewerkingsmogelijkheden van het model uit de eerste hand ervaren. Apple heeft echter nog niet zijn plannen bekendgemaakt om MGIE buiten onderzoeksprojecten in zijn producten te integreren.
Tijdens de recente kwartaalcijfers van Apple bevestigde CEO Tim Cook dat het bedrijf voortdurend bezig is met AI-functies voor zijn apparaten. Het bedrijf zal de resultaten waarschijnlijk later dit jaar bekendmaken. Business Standard verwacht dat deze AI-verbeteringen zich zullen uitstrekken tot verschillende Apple-diensten, waaronder Siri, Berichten en Apple Music. Dankzij de integratie van generatieve AI-functies kunnen gebruikers anticiperen op verbeteringen zoals tekstsamenvattingen, gepersonaliseerde suggesties en verbeterde functionaliteit in het hele ecosysteem van Apple.
