Jak opisano w artykule naukowców z Google, Max Planck Institute of Informatics i MIT CSAIL, DragGAN umożliwia użytkownikom upuszczenie punktu na obrazie, zmieniając strukturę i całe piksele. To odróżnia go od innych popularnych generatywnych narzędzi AI, takich jak Dall-E i Midjourney, które, choć są w stanie przetwarzać bardzo szczegółowe monity, nie mogą precyzyjnie generować pożądanych póz lub układów.

Przykłady w artykule przedstawiają obraz lwa, którego paszcza jest zamknięta, zmanipulowana tak, aby miała otwartą paszczę, zdjęcie samochodu zmienione tak, że wydaje się, że jest sfotografowane z zupełnie innego kąta, oraz góra rozciągnięta do dwukrotnie większej wysokości. Pomimo tak znaczących zmian, obraz nadal wygląda jak prawdziwy dzięki sile generatywnej sztucznej inteligencji.

Oprócz imponujących możliwości, dokument badawczy DragGAN podkreśla największą zaletę narzędzia – prostotę i intuicyjność jego interfejsu. W ciągu kilku sekund użytkownicy mogą pojąć funkcjonalność bez konieczności poznawania technologii.

Interfejs polega na dodawaniu punktu początkowego i końcowego do obrazu. Na przykład, aby wywołać uśmiech na twarzy osoby, użytkownicy mogą dodać dwa punkty w kącikach ust i dwa dodatkowe punkty nieco dalej. Naciśnij przycisk Start, a narzędzie w animowany sposób rozszerzy usta od punktów początkowych do końcowych.

Tymczasem generatywna sztuczna inteligencja radzi sobie z wszelkimi lukami, które mogą się pojawić, zachowując realizm. „Nasze podejście może wywołać halucynacje zasłoniętej treści, jak zęby w paszczy lwa, i może odkształcić się pod wpływem sztywności obiektu, jak zgięcie nogi konia” — zauważono w artykule badawczym.

DragGAN oferuje również funkcję maskowania, która pozwala użytkownikom wyróżnić określone części obrazu, które chcą zmienić, pozostawiając resztę nietkniętą.

Ale czym różni się to narzędzie od istniejących narzędzi do edycji zdjęć, które mogą zmieniać mimikę twarzy i inne funkcje, możesz zapytać. Oprócz tego, jak dobrze narzędzie pozornie radzi sobie z edycją, wyróżnia się, umożliwiając użytkownikom zmianę kąta, z którego zrobione jest zdjęcie. Aplikacje do edycji, takie jak Snapseed, pozwalają dostosować „Perspektywę”, ale to tylko korekcja zniekształceń w grze. Tymczasem DragGAN symuluje dane obrazu, inteligentnie generując piksele z powietrza, wypełniając luki, które w przeciwnym razie wymagałyby dużo pracy w Photoshopie, aby odświeżyć je do perfekcji.

Podsumowując, DragGAN może pomóc rozwiązać największą wadę narzędzi do generowania obrazów – ich losowy charakter. Jeśli DragGAN zostanie sparowany z narzędziami do generowania obrazu, użytkownicy będą mogli uzyskać wyniki bliższe obrazowi, który mają na myśli. Narzędzie jest obecnie tylko wersją demonstracyjną, ale jego zastosowania będą interesujące, gdy stanie się publicznie dostępne.