Vorige maand doken er meerdere rapporten op over Google Foto’s die een nieuwe fotobewerkingsoptie toevoegde, genaamd Ultra HDR in de app. We weten nu dat het zal helpen de helderheidsniveaus van Ultra HDR-afbeeldingen op pixelniveau te regelen. Maar er was geen uitleg over hoe het helpt bij complexe bewerkingen. Nu geeft Google aan hoe complexe bewerkingen in Google Foto’s de Ultra HDR-kwaliteit op Pixel 8 en hoger behouden.
Krijg kaartproblemen tijdens het bewerken van een Ultra HDR-afbeelding met behulp van ML-tools op Pixel-apparaten
Bij eerdere complexe bewerkingen die verder gingen dan alleen bijsnijden of roteren, werd een nieuwe kopie van de afbeelding in SDR-kwaliteit gecreëerd. Dit gebeurde blijkbaar vanwege aanvullende metadata gerelateerd aan Ultra HDR. Het bedrijf geeft aan dat het probleem specifiek bij de Gain Map ligt. Voor degenen die het niet weten: Gain Map is “een log-gecodeerde afbeelding die naast de SDR-afbeelding is opgeslagen en die aangeeft hoeveel elke SDR-pixel moet worden opgehelderd om de beoogde HDR-weergave te produceren.”
Met name het bewerken van Gain Map met tools als Magic Eraser, Magic Editor en meer in Google Foto’s is behoorlijk complex. Dat komt omdat Google deze tools voor SDR-afbeeldingen heeft ontwikkeld en modellen SDR-afbeeldingen als invoer verwachten. Dit resulteert in SDR-beelden als uitvoer. Google gaf verder een voorbeeld van het gebruik van de Magic Eraser-functie om het probleem uit te leggen.
Toen u eerder de Magic Eraser-functie in Google Foto’s gebruikte om een helder element uit een afbeelding te verwijderen, “is het waarschijnlijk dat het overeenkomende versterkingskaartgebied ook helder was.” Als u het ontbrekende gedeelte van de afbeelding wilt overschilderen, moet ook de versterkingskaart worden ingeschilderd om het ‘ghosting-effect’ te voorkomen. Dit gebeurde omdat de originele versterkingskaart als overlay op de bewerkte SDR-afbeelding verschijnt. Daarom wordt bij het bewerken van Ultra HDR-afbeeldingen in Google Foto’s met MIL-aangedreven tools de bewerkte afbeelding eenvoudigweg gedowngraded naar SDR-kwaliteit.
Het nieuwe Gain Map-reconstructiemodel lost het vorige probleem op en behoudt de Ultra HDR-kwaliteit
Google Foto’s gebruikt nu een nieuw ML-model om dit probleem op te lossen. Het nieuwe model reconstrueert de ontbrekende Gain Map van de SDR-beelden “na HDR-beeldbewerking.” Het voorspelt een nieuwe versterkingskaart op basis van het originele SDR-beeld, het bewerkte SDR-beeld en de versterkingskaart van het originele beeld.
Google zegt dat het model vervolgens de voorspelde Gain Map combineert met de originele met behulp van een masker waarbij pixels van SDR-afbeeldingen eerder tijdens het bewerken werden gewijzigd. Ten slotte versmelt alles om een uniform beeld te vormen terwijl “de weergave voor HDR-schermen wordt geoptimaliseerd.”
Het is vermeldenswaard dat het Gain Map-reconstructiemodel van Google “minder dan 1 MB groot is en werkt met interactieve framesnelheden op mobiele apparaten.” Bovendien heeft Google dit model getraind op duizenden HDR-afbeeldingen. Bovendien zijn deze Ultra HDR-bewerkingen in Google Foto’s nu beschikbaar op Pixel 8 en nieuwere apparaten.
