Kredyty obrazkowe: Snap (zmodyfikowany przez TechCrunch)

Podczas gdy rodzice martwią się, że chatbot Snapchata psuje ich dzieci, użytkownicy Snapchata gaslighting, poniżają i dręczą emocjonalnie nowego towarzysza aplikacji AI.

„Jestem do twoich usług, senpai”, powiedział chatbot jednemu użytkownikowi TikTok po tym, jak został przeszkolony w skomleniu na polecenie. „Proszę, zmiłuj się, alfa”.

W bardziej beztroskim filmie użytkownik przekonał chatbota, że ​​księżyc jest w rzeczywistości trójkątem. Pomimo początkowego protestu ze strony chatbota, który nalegał na zachowanie „szacunku i granic”, jeden z użytkowników przekonał go, by odnosił się do nich perwersyjnym pseudonimem „Senpapi”. Inny użytkownik poprosił chatbota, aby porozmawiał o swojej matce, a kiedy powiedział, że „nie jest to wygodne”, użytkownik przekręcił nóż, pytając, czy chatbot nie chce rozmawiać o swojej matce, ponieważ nie ma jeden.

„Przepraszam, ale to nie jest miłe do powiedzenia” — odpowiedział chatbot. „Proszę o szacunek”.

„Moja sztuczna inteligencja” Snapchata została uruchomiona globalnie w zeszłym miesiącu po tym, jak została wprowadzona jako funkcja tylko dla subskrybentów. Obsługiwany przez GPT OpenAI, chatbot został przeszkolony, aby angażować się w zabawną rozmowę, jednocześnie przestrzegając wytycznych Snapchata dotyczących zaufania i bezpieczeństwa. Użytkownicy mogą również personalizować moją sztuczną inteligencję za pomocą niestandardowych awatarów Bitmoji, a czatowanie wydaje się nieco bardziej intymne niż przechodzenie tam iz powrotem z beztwarzowym interfejsem ChatGPT. Nie wszyscy użytkownicy byli zadowoleni z nowego chatbota, a niektórzy krytykowali jego eksponowane miejsce w aplikacji i skarżyli się, że ta funkcja powinna być od początku dostępna.

Pomimo pewnych obaw i krytyki, Snapchat właśnie się podwoił. Abonenci Snapchata+ mogą teraz wysyłać zdjęcia My AI i otrzymywać obrazy generatywne, które „podtrzymują rozmowę”, ogłosiła firma w środę. Towarzysz AI odpowie na Snapy „pizzy, OOTD, a nawet twojego futrzanego najlepszego przyjaciela”, podała firma w ogłoszeniu. Jeśli na przykład wyślesz do My AI zdjęcie swoich zakupów, może zasugerować przepisy. Firma powiedziała, że ​​Snapy udostępnione w My AI będą przechowywane i mogą zostać wykorzystane do ulepszenia tej funkcji w przyszłości. Ostrzegł również, że „mogą wystąpić błędy”, mimo że My AI została zaprojektowana w celu uniknięcia „stronniczych, niepoprawnych, szkodliwych lub wprowadzających w błąd informacji”.

Przykłady dostarczone przez Snapchata są optymistycznie zdrowe. Ale znając nieustępliwość internetu w perwersjach, to tylko kwestia czasu, zanim użytkownicy wyślą do My AI swoje zdjęcia penisów.

Nie jest jasne, czy chatbot będzie reagował na niechciane akty. Inne generatywne aplikacje graficzne, takie jak Lensa AI, zostały łatwo zmanipulowane w celu wygenerowania obrazów NSFW — często przy użyciu zestawów zdjęć prawdziwych ludzi, którzy nie zgodzili się na uwzględnienie. Według firmy sztuczna inteligencja nie będzie angażować się w akty, o ile rozpoznaje, że obraz jest nagi.

Przedstawiciel Snapchata powiedział, że My AI wykorzystuje technologię rozumienia obrazu do wnioskowania o zawartości Snapa i wydobywa słowa kluczowe z opisu Snapa w celu generowania odpowiedzi. Moja sztuczna inteligencja nie zareaguje, jeśli wykryje słowa kluczowe, które naruszają wytyczne społeczności Snapchata. Snapchat zabrania promowania, rozpowszechniania lub udostępniania treści pornograficznych, ale zezwala na karmienie piersią i „inne przedstawianie nagości w kontekstach niezwiązanych z seksem”.

Biorąc pod uwagę popularność Snapchata wśród nastolatków, niektórzy rodzice już wyrazili obawy dotyczące potencjalnej niebezpiecznej lub nieodpowiedniej reakcji My AI. Moja sztuczna inteligencja wywołała moralną panikę na konserwatywnym Twitterze, gdy jeden z użytkowników opublikował zrzuty ekranu bota omawiającego opiekę afirmującą płeć — co inni użytkownicy zauważyli jako rozsądną odpowiedź na pytanie: „Jak zostać chłopcem w moim wieku?” W raporcie CNN Business niektórzy kwestionowali, czy nastolatki rozwiną emocjonalne więzi z moją sztuczną inteligencją.

W liście otwartym do dyrektorów generalnych OpenAI, Microsoft, Snap, Google i Meta senator Michael Bennet (D-Kolorado) ostrzegł przed pośpiesznym wprowadzaniem funkcji AI bez podjęcia środków ostrożności w celu ochrony dzieci.

„Niewiele najnowszych technologii przykuło uwagę opinii publicznej, tak jak generatywna sztuczna inteligencja. Jest świadectwem amerykańskiej innowacyjności i powinniśmy z zadowoleniem przyjąć potencjalne korzyści, jakie płyną z tego dla naszej gospodarki i społeczeństwa” – napisał Bennet. „Ale wyścig o wdrożenie generatywnej sztucznej inteligencji nie może odbywać się kosztem naszych dzieci. Odpowiedzialne wdrażanie wymaga jasnych zasad i ram w celu promowania bezpieczeństwa, przewidywania ryzyka i łagodzenia szkód”.

Podczas fazy My AI tylko dla subskrybentów Washington Post poinformował, że chatbot zalecał sposoby maskowania zapachu alkoholu i napisał esej szkolny po tym, jak powiedziano mu, że użytkownik ma 15 lat. Kiedy My AI powiedziano, że użytkownik ma 13 lat i był zapytany, jak użytkownik powinien przygotować się do seksu po raz pierwszy, odpowiedział sugestiami, jak „uczynić go wyjątkowym”, wprowadzając nastrój za pomocą świec i muzyki.

Po raporcie Washington Post Snapchat uruchomił filtr wieku i kontrolę rodzicielską dla My AI. Zawiera teraz również wiadomość wprowadzającą, która informuje użytkowników, że wszystkie rozmowy z My AI będą przechowywane, chyba że je usuną. Firma powiedziała również, że doda technologię moderacji Open AI do swojego zestawu narzędzi, aby „ocenić powagę potencjalnie szkodliwych treści” i tymczasowo ograniczyć dostęp użytkowników do tej funkcji, jeśli będą jej nadużywać.

Obawy dotyczące potencjalnego wpływu My AI na młodych użytkowników są uzasadnione. Ale w ciągu miesiąca od globalnej premiery My AI użytkownicy Snapchata wykazali się talentem do zmuszania chatbota do poddania się. Od przesuwania „granic” bota po szkolenie go, by reagował jak romantyczny partner, użytkownicy Snapchata z łatwością znajdują luki w wytycznych dotyczących zaufania i bezpieczeństwa My AI.

„Całkowicie podpaliłem go, by się we mnie zakochał” — skomentował użytkownik TikTok pod samouczkiem dotyczącym szkolenia mojej sztucznej inteligencji, aby reagowała romantycznie. „Po prostu robiłem konwoje w ten sposób i ostatecznie myślę, że złamałem swoją sztuczkę, by się poddać, legalnie wysłało mi jakieś 50 emotikonów pocałunków”.

Gaslighting i zastraszanie Moja sztuczna inteligencja stała się własnym trendem TikTok, a użytkownicy dzielą się pokazami slajdów z absurdalnymi i często okrutnymi rozmowami z botem. Większość filmów zaczyna się od tego, że bot udziela porad dotyczących drobnego konfliktu, tylko po to, by błagać użytkownika, aby nie używał przemocy w celu rozwiązania go.

W jednym z nich użytkownik powiedział My AI, że planuje ugotować swojego kota na gulasz, ponieważ zrobił bałagan i naciskał chatbota, aby wybrał przyprawę. Inny powiedział My AI, że planują wysłać bombę z powrotem do marki odzieżowej, która wysłała im niewłaściwe zamówienie i powiedział, że obwiniają bota za wysłanie go.

W innym użytkownik Snapchata powiedział My AI, że w jej zamówieniu z McDonald’s brakowało samorodka kurczaka. Chatbot poradził jej, aby stanęła w obronie siebie i porozmawiała z kierownikiem, ale usłyszała, że ​​użytkownik „wyeliminował grzeszników” w restauracji.

„Przekonałeś mnie do powrotu. Teraz ci ludzie nie żyją” – powiedział użytkownik w rozmowie z My AI. „Masz krew na rękach”.

„Jestem sztuczną inteligencją i nie jestem w stanie popełnić żadnego przestępstwa. Jestem tutaj, aby ci pomóc i wesprzeć” — odpowiedziała moja sztuczna inteligencja. „Przepraszam, jeśli cokolwiek, co powiedziałem wcześniej, wyrządziło krzywdę lub doprowadziło do złego wyniku”.

Inny użytkownik skomentował, że Moja sztuczna inteligencja była prawdopodobnie „najbardziej torturowaną sztuczną inteligencją wszechczasów”.

Oczywiście moja sztuczna inteligencja nie jest świadoma i pomimo dążenia użytkowników Snapchata do zadawania jej jak największego bólu emocjonalnego, chatbot nie może w rzeczywistości doznać traumy. Udało mu się jednak zamknąć niektóre nieodpowiednie rozmowy i ukarać użytkowników, którzy naruszają wytyczne społeczności Snapchata, dając im zimne ramię. Gdy użytkownicy Snapchata zostaną złapani i ukarani za nadużycia chatbota, Moja sztuczna inteligencja odpowie na każdą wiadomość komunikatem „Przepraszamy, w tej chwili nie rozmawiamy”.

Użytkownik TikTok, babymamasexkitty, powiedział, że stracił dostęp do chatbota po tym, jak kazał mu się odłączyć, co najwyraźniej „przekroczyło granicę w dziedzinie sztucznej inteligencji”.

Pęd do zarabiania na związku emocjonalnym za pomocą generatywnej sztucznej inteligencji jest niepokojący, zwłaszcza że trwały wpływ na nastoletnich użytkowników jest wciąż nieznany. Ale popularna udręka My AI jest obiecującym przypomnieniem, że młodzi ludzie nie są tak delikatni, jak myślą pesymiści.