Jedną z głównych obrony stosowanych przez tych, którzy są optymistami wobec generatorów grafiki AI, jest to, że chociaż modele są szkolone na istniejących obrazach, wszystko, co tworzą, jest nowe. Ewangeliści AI często porównać te systemy z prawdziwymi artystami. Kreatywni ludzie są inspirowani przez wszystkich, którzy byli przed nimi, więc dlaczego sztuczna inteligencja nie może być podobnie sugestywna w stosunku do wcześniejszych prac?

Nowe badania mogą osłabić ten argument, a nawet stać się głównym punktem spornym wiele toczących się procesów sądowych dotyczących treści generowanych przez sztuczną inteligencję i praw autorskich. Naukowcy zarówno z przemysłu, jak i ze środowiska akademickiego odkryli, że najpopularniejsze i nadchodzące generatory obrazów AI mogą „zapamiętywać” obrazy z danych, na których są szkolone. Zamiast tworzyć coś zupełnie nowego, niektóre podpowiedzi spowodują, że sztuczna inteligencja po prostu odtworzy obraz. Niektóre z tych odtworzonych obrazów mogą być objęte prawami autorskimi. Ale co gorsza, nowoczesne modele generatywne sztucznej inteligencji mają zdolność zapamiętywania i odtwarzania poufnych informacji zebranych do wykorzystania w zestawie szkoleniowym sztucznej inteligencji.

Badania zostało przeprowadzone przez badaczy zarówno z branży technologicznej, jak i konkretnie Google i DeepMind — oraz na uniwersytetach, takich jak Berkeley i Princeton. Ta sama załoga pracowała m.in wcześniejsza nauka który zidentyfikował podobny problem z modelami języków AI, w szczególności GPT2, prekursorem OpenAI niezwykle popularny ChatGPT. Ponownie łącząc zespół, naukowcy kierowani przez badacza Google Brain, Nicholasa Carliniego, odkryli, że zarówno Google Imagen, jak i popularny open source Stable Diffusion były w stanie odtwarzać obrazy, z których niektóre miały oczywiste implikacje przeciwko prawom autorskim do obrazów lub licencjom.

Pierwszy obraz w tym tweecie został wygenerowany przy użyciu podpisu wymienionego w zbiorze danych Stable Diffusion, wieloterabajtowej bazie danych obrazów znanej jako LAION. Zespół umieścił podpis w monicie Stable Diffusion i wyszedł dokładnie ten sam obraz, choć nieco zniekształcony cyfrowym szumem. Proces znajdowania tych zduplikowanych obrazów był stosunkowo prosty. Zespół uruchomił ten sam monit wiele razy, a po uzyskaniu tego samego obrazu wynikowego badacze ręcznie sprawdzili, czy obraz znajduje się w zbiorze treningowym.

Dwóch badaczy artykułu, Eric Wallace, doktorant na UC Berkeley, i Vikash Sehwag, doktorant na Uniwersytecie Princeton, powiedzieli Gizmodo w wywiadzie dla Zoom, że powielanie obrazów jest rzadkością. Ich zespół wypróbował około 300 000 różnych napisów i znalazł zaledwie 0,03% wskaźnika zapamiętywania. Skopiowane obrazy były jeszcze rzadsze w przypadku modeli takich jak Stable Diffusion, które pracowały nad deduplikacją obrazów w zestawie treningowym, chociaż ostatecznie wszystkie modele dyfuzji będą miały ten sam problem, w większym lub mniejszym stopniu. Naukowcy odkryli, że Imagen był w pełni zdolny do zapamiętywania obrazów, które istniały tylko raz w zbiorze danych.

„Zastrzeżenie polega na tym, że model ma uogólniać, ma generować nowe obrazy, a nie wypluwać zapamiętaną wersję” – powiedział Sehwag.

Ich badania wykazały, że w miarę jak same systemy sztucznej inteligencji stają się coraz większe i bardziej wyrafinowane, istnieje większe prawdopodobieństwo, że sztuczna inteligencja wygeneruje skopiowany materiał. Mniejszy model, taki jak Stable Diffusion, po prostu nie ma takiej samej ilości miejsca do przechowywania większości danych treningowych. To może się bardzo zmienić w ciągu najbliższych kilku lat.

„Może w przyszłym roku, niezależnie od tego, jaki nowy model wyjdzie, który będzie o wiele większy i potężniejszy, potencjalnie tego rodzaju ryzyko zapamiętywania będzie znacznie wyższe niż obecnie” – powiedział Wallace.

Dzięki skomplikowanemu procesowi, który obejmuje niszczenie danych treningowych za pomocą szumu przed usunięciem tego samego zniekształcenia, modele uczenia maszynowego oparte na dyfuzji tworzą dane — w tym przypadku obrazy — podobne do tych, na których były szkolone. Modele dyfuzji były ewolucją generatywnych sieci kontradyktoryjnych lub uczenia maszynowego opartego na GAN.

Naukowcy odkryli, że modele oparte na GAN nie mają tego samego problemu z zapamiętywaniem obrazów, ale jest mało prawdopodobne, aby duże firmy wyszły poza Diffusion, chyba że pojawi się jeszcze bardziej wyrafinowany model uczenia maszynowego, który wytwarza jeszcze bardziej realistyczne obrazy o wysokiej jakości.

Florian Tramèr, profesor informatyki na ETH Zurich, który brał udział w badaniu, zauważył, jak wiele firm zajmujących się sztuczną inteligencją doradza, aby użytkownicy, zarówno ci w wersji darmowej, jak i płatnej, otrzymali licencję na udostępnianie, a nawet zarabianie na treściach generowanych przez sztuczną inteligencję. Same firmy zajmujące się sztuczną inteligencją również zastrzegają sobie niektóre prawa do tych obrazów. Może to stanowić problem, jeśli sztuczna inteligencja wygeneruje obraz, który jest dokładnie taki sam, jak istniejące prawa autorskie.

Przy wskaźniku zapamiętywania wynoszącym zaledwie 0,03% twórcy sztucznej inteligencji mogliby spojrzeć na to badanie i stwierdzić, że nie ma dużego ryzyka. Firmy mogłyby pracować nad usunięciem duplikatów obrazów w danych treningowych, co zmniejszyłoby prawdopodobieństwo ich zapamiętania. Do diabła, mogliby nawet opracować systemy sztucznej inteligencji, które wykryłyby, czy obraz jest bezpośrednią repliką obrazu w danych treningowych i oznaczyłyby go do usunięcia. Jednak maskuje to pełne ryzyko dla prywatności stwarzane przez generatywną sztuczną inteligencję. Carlini i Tramèr również asystowali kolejny niedawny artykuł który argumentował, że nawet próby filtrowania danych nadal nie zapobiegają wyciekowi danych szkoleniowych przez model.

I oczywiście istnieje duże ryzyko, że obrazy, których nikt nie chciałby kopiować, pojawią się na ekranach użytkowników. Wallace zapytał, czy naukowiec chciałby na przykład wygenerować całe mnóstwo syntetycznych danych medycznych dotyczących zdjęć rentgenowskich ludzi. Co powinno się stać, jeśli sztuczna inteligencja oparta na dyfuzji zapamiętuje i duplikuje rzeczywistą dokumentację medyczną danej osoby?

„Jest to dość rzadkie, więc na początku możesz nie zauważyć, że tak się dzieje, a potem możesz faktycznie wdrożyć ten zestaw danych w Internecie” – powiedział student UC Berkeley. „Celem tej pracy jest zapobieganie możliwym rodzajom błędów, które ludzie mogą popełnić”.