Kredyty obrazkowe: Obrazy Getty’ego

Mimo wszystkich fanfar, modele sztucznej inteligencji generujące tekst, takie jak GPT-4 OpenAI, popełniają wiele błędów — niektóre z nich są szkodliwe. James Vincent z The Verge nazwał kiedyś jedną z takich modelek „kłamcą manipulującym emocjami”, co właściwie podsumowuje obecny stan rzeczy.

Firmy stojące za tymi modelami twierdzą, że podejmują kroki w celu rozwiązania problemów, na przykład wdrażają filtry i zespoły ludzkich moderatorów, aby poprawiać zgłaszane problemy. Ale nie ma jednego właściwego rozwiązania. Nawet najlepsze obecnie modele są podatne na uprzedzenia, toksyczność i złośliwe ataki.

W pogoni za „bezpieczniejszymi” modelami generowania tekstu, Nvidia wypuściła dzisiaj NeMo Guardrails, zestaw narzędzi typu open source, którego celem jest uczynienie aplikacji opartych na sztucznej inteligencji bardziej „dokładnymi, odpowiednimi, na temat i bezpiecznymi”.

Jonathan Cohen, wiceprezes ds. badań stosowanych w Nvidii, mówi, że firma pracowała nad podstawowym systemem Guardrails przez „wiele lat”, ale zaledwie rok temu zdał sobie sprawę, że dobrze pasuje do modeli podobnych do GPT-4 i ChatGPT .

„Od tamtej pory rozwijamy się w kierunku tego wydania NeMo Guardrails” — powiedział Cohen TechCrunch za pośrednictwem poczty elektronicznej. „Narzędzia bezpieczeństwa modeli AI mają kluczowe znaczenie dla wdrażania modeli w przypadkach użycia w przedsiębiorstwach”.

Guardrails zawiera kod, przykłady i dokumentację w celu „dodania bezpieczeństwa” do aplikacji AI, które generują zarówno tekst, jak i mowę. Nvidia twierdzi, że zestaw narzędzi został zaprojektowany do pracy z większością generatywnych modeli językowych, umożliwiając programistom tworzenie reguł przy użyciu kilku linii kodu.

W szczególności Guardrails może być używany do zapobiegania – lub przynajmniej próbowania zapobiegania – modelkom odbiegającym od tematu, odpowiadającym niedokładnymi informacjami lub toksycznym językiem oraz nawiązującym połączenia z „niebezpiecznymi” źródłami zewnętrznymi. Pomyśl na przykład o powstrzymaniu asystenta obsługi klienta przed odpowiadaniem na pytania dotyczące pogody lub chatbota wyszukiwarki przed odsyłaniem do niesławnych czasopism akademickich.

„Ostatecznie programiści kontrolują to, co jest poza zakresem ich aplikacji za pomocą Guardrails” — powiedział Cohen. „Mogą opracować poręcze, które są zbyt szerokie lub odwrotnie, zbyt wąskie dla ich zastosowania”.

Uniwersalna poprawka niedociągnięć modeli językowych brzmi jednak zbyt dobrze, aby mogła być prawdziwa — i rzeczywiście tak jest. Podczas gdy firmy takie jak Zapier używają Guardrails, aby dodać warstwę bezpieczeństwa do swoich generatywnych modeli, Nvidia przyznaje, że zestaw narzędzi nie jest niedoskonały; innymi słowy, nie złapie wszystkiego.

Cohen zauważa również, że Guardrails działa najlepiej z modelami, które są „wystarczająco dobre w wykonywaniu instrukcji” à la ChatGPT i które wykorzystują popularną platformę LangChain do tworzenia aplikacji opartych na sztucznej inteligencji. To dyskwalifikuje niektóre z opcji open source.

I — pomijając skuteczność technologii — należy podkreślić, że Nvidia niekoniecznie wypuszcza Guardrails z dobroci serca. Jest to część firmowej struktury NeMo, która jest dostępna za pośrednictwem pakietu oprogramowania Nvidia AI dla przedsiębiorstw i jej w pełni zarządzanej usługi chmurowej NeMo. Każda firma może wdrożyć Guardrails w wersji open source, ale Nvidia z pewnością wolałaby, aby zamiast tego płaciła za wersję hostowaną.

Więc chociaż Guardrails prawdopodobnie nie szkodzi, pamiętaj, że to nie jest srebrna kula – i bądź ostrożny, jeśli Nvidia kiedykolwiek twierdzi inaczej.