Kredyty obrazkowe: Obrazy SOPA / Getty Images

Microsoft uruchamia nową usługę moderacji opartą na sztucznej inteligencji, która ma na celu wspieranie bezpieczniejszych środowisk i społeczności online.

Nowa oferta o nazwie Azure AI Content Safety, dostępna za pośrednictwem platformy produktowej Azure AI, oferuje szereg modeli AI przeszkolonych w celu wykrywania „nieodpowiednich” treści w obrazach i tekście. Modele — które rozumieją tekst w języku angielskim, hiszpańskim, niemieckim, francuskim, japońskim, portugalskim, włoskim i chińskim — przypisują oznaczonym treściom ocenę ważności, wskazując moderatorom, które treści wymagają działania.

„Microsoft od ponad dwóch lat pracuje nad rozwiązaniami w odpowiedzi na wyzwanie, jakim są szkodliwe treści pojawiające się w społecznościach internetowych. Zdaliśmy sobie sprawę, że istniejące systemy nie uwzględniały skutecznie kontekstu ani nie były w stanie pracować w wielu językach” – powiedział rzecznik firmy Microsoft za pośrednictwem poczty elektronicznej. „Nowy [AI] modele są w stanie o wiele lepiej zrozumieć treść i kontekst kulturowy. Od samego początku są wielojęzyczne… i dostarczają jasnych i zrozumiałych wyjaśnień, pozwalając użytkownikom zrozumieć, dlaczego treść została oflagowana lub usunięta”.

Podczas demonstracji na dorocznej konferencji Build firmy Microsoft Sarah Bird, odpowiedzialna za sztuczną inteligencję w firmie Microsoft, wyjaśniła, że ​​Azure AI Content Safety to produktywna wersja systemu bezpieczeństwa obsługującego chatbota firmy Microsoft w Bing i Copilot, usłudze GitHub do generowania kodu opartej na sztucznej inteligencji.

„Teraz wprowadzamy go jako produkt, z którego mogą korzystać klienci zewnętrzni” — powiedział Bird w oświadczeniu.

Przypuszczalnie technologia stojąca za usługą Azure AI Content Safety poprawiła się od czasu jej pierwszego uruchomienia na czacie Bing na początku lutego. Czat Bing wypadł z torów, gdy po raz pierwszy pojawił się w wersji zapoznawczej; w naszych relacjach znaleźliśmy chatbota, który rozpowszechniał dezinformację o szczepionkach i pisał nienawistne wybryki z perspektywy Adolfa Hitlera. Inni reporterzy dostali to, by grozić, a nawet zawstydzić ich za upomnienie.

W kolejnym starciu z Microsoftem, firma zaledwie kilka miesięcy temu zwolniła zespół ds. etyki i społeczeństwa w ramach swojej większej organizacji zajmującej się sztuczną inteligencją. Posunięcie to pozostawiło Microsoft bez dedykowanego zespołu, który zapewniłby ścisłe powiązanie zasad sztucznej inteligencji z projektowaniem produktów.

Odkładając to wszystko na bok, usługa Azure AI Content Safety — która według firmy Microsoft chroni przed stronniczymi, seksistowskimi, rasistowskimi, nienawistnymi, brutalnymi i samookaleczającymi się treściami — jest zintegrowana z usługą Azure OpenAI, w pełni zarządzanym produktem firmy Microsoft przeznaczonym dla przedsiębiorstw ma na celu zapewnienie firmom dostępu do technologii OpenAI z dodatkowymi funkcjami zarządzania i zgodności. Ale Azure AI Content Safety można również zastosować do systemów innych niż AI, takich jak społeczności online i platformy gier.

Ceny zaczynają się od 1,50 USD za 1000 obrazów i 0,75 USD za 1000 rekordów tekstowych.

Usługa Azure AI Content Safety jest podobna do innych usług wykrywania toksyczności opartych na sztucznej inteligencji, w tym Perspective, obsługiwanych przez zespół Google ds. (Brak informacji na temat tego, czy został zbudowany na przejęciu przez Microsoft firmy Two Hat, dostawcy moderacji treści, w 2021 r.) Usługi te, takie jak Azure AI Content Safety, oferują ocenę od zera do 100 na podstawie tego, jak podobne są nowe komentarze i obrazy do innych wcześniej zidentyfikowane jako toksyczne.

Ale jest powód, by być wobec nich sceptyczny. Poza wczesnymi potknięciami Bing Chat i źle ukierunkowanymi zwolnieniami Microsoftu, badania wykazały, że technologia wykrywania toksyczności AI wciąż ma trudności z pokonaniem wyzwań, w tym uprzedzeń wobec określonych podzbiorów użytkowników.

Kilka lat temu zespół z Penn State odkrył, że posty w mediach społecznościowych dotyczące osób niepełnosprawnych mogą być oznaczane jako bardziej negatywne lub toksyczne przez powszechnie stosowane modele wykrywania toksyczności i nastrojów społecznych. W innym badaniu naukowcy wykazali, że starsze wersje Perspective często nie były w stanie rozpoznać mowy nienawiści, która wykorzystywała „odzyskane” obelgi, takie jak „queer” i odmiany pisowni, takie jak brakujące znaki.

Problem wykracza poza detektory toksyczności jako usługę. W tym tygodniu raport New York Times ujawnił, że osiem lat po kontrowersjach dotyczących błędnych oznaczeń Czarnych jako goryli przez oprogramowanie do analizy obrazu, giganci technologiczni wciąż obawiają się powtórzenia tego błędu.

Częściowym powodem tych niepowodzeń jest to, że adnotatorzy — osoby odpowiedzialne za dodawanie etykiet do zestawów danych szkoleniowych, które służą jako przykłady modeli — przedstawiają własne uprzedzenia. Na przykład często występują różnice w adnotacjach między osobami, które identyfikują się jako Afroamerykanie i członkami społeczności LGBTQ+, a osobami, które nie identyfikują się jako żadna z tych dwóch grup.

Aby rozwiązać niektóre z tych problemów, firma Microsoft umożliwia dostosowanie filtrów w usłudze Azure AI Content Safety do kontekstu. Ptak wyjaśnia:

Na przykład wyrażenie „przejedź przez wzgórze i zaatakuj” użyte w grze zostałoby uznane za przedstawiające przemoc na średnim poziomie i zablokowane, gdyby system gier został skonfigurowany do blokowania treści o średniej wadze. Dostosowanie do zaakceptowania średniego poziomu przemocy pozwoliłoby modelowi tolerować to wyrażenie.

„Mamy zespół ekspertów językowych i uczciwości, którzy pracowali nad zdefiniowaniem wytycznych, biorąc pod uwagę kulturę, język i kontekst” – dodał rzecznik Microsoftu. „Następnie przeszkoliliśmy modele sztucznej inteligencji, aby odzwierciedlały te wytyczne… Sztuczna inteligencja zawsze popełni jakieś błędy, [however,] dlatego w przypadku aplikacji, które wymagają prawie całkowitego wyeliminowania błędów, zalecamy korzystanie z funkcji człowieka w pętli w celu weryfikacji wyników”.

Jednym z pierwszych użytkowników platformy Azure AI Content Safety jest Koo, platforma blogowa z siedzibą w Bangalore w Indiach, której baza użytkowników mówi w ponad 20 językach. Microsoft twierdzi, że współpracuje z Koo, aby stawić czoła wyzwaniom związanym z moderacją, takim jak analiza memów i nauka potocznych niuansów w językach innych niż angielski.

Nie zaoferowano nam możliwości przetestowania usługi Azure AI Content Safety przed jej wydaniem, a firma Microsoft nie odpowiedziała na pytania dotyczące jej metod ograniczania adnotacji lub stronniczości. Zapewniamy jednak, że będziemy uważnie obserwować, jak funkcja Azure AI Content Safety działa w środowisku naturalnym.