Streszczenie: Naukowcy badają istotną przeszkodę w uczeniu maszynowym znaną jako „katastrofalne zapominanie”, zjawisko polegające na tym, że systemy sztucznej inteligencji tracą informacje z poprzednich zadań podczas uczenia się nowych.

Badania pokazują, że podobnie jak ludzie, sztuczna inteligencja lepiej zapamiętuje informacje w obliczu zróżnicowanych zadań niż tych, które mają podobne cechy. Wnioski z badania mogą pomóc w ulepszeniu ciągłego uczenia się w systemach sztucznej inteligencji, zwiększając ich możliwości w zakresie naśladowania procesów uczenia się człowieka i zwiększania wydajności.

Kluczowe fakty:

1. „Katastrofalne zapominanie” to wyzwanie w systemach AI, w których zapominają informacje z poprzednich zadań, ucząc się nowych.
2. Sztuczne sieci neuronowe lepiej zapamiętują informacje, gdy są przedstawiane z różnymi zadaniami, niż zadaniami o podobnych atrybutach.
3. Spostrzeżenia z badania mogą wypełnić lukę między uczeniem maszynowym a uczeniem się człowieka, potencjalnie prowadząc do bardziej wyrafinowanych systemów sztucznej inteligencji.

Źródło: Uniwersytet Stanowy Ohio

Wspomnienia mogą być równie trudne do utrzymania dla maszyn, jak dla ludzi.

Aby pomóc zrozumieć, dlaczego sztuczni agenci mają dziury we własnych procesach poznawczych, inżynierowie elektrycy z Uniwersytetu Stanowego Ohio przeanalizowali, w jakim stopniu proces zwany „ciągłym uczeniem się” wpływa na ich ogólną wydajność.

Ciągłe uczenie się polega na tym, że komputer jest szkolony w zakresie ciągłego uczenia się sekwencji zadań, wykorzystując zgromadzoną wiedzę ze starych zadań do lepszego uczenia się nowych zadań.

Jednak jedną z głównych przeszkód, które naukowcy wciąż muszą pokonać, aby osiągnąć takie wyżyny, jest nauczenie się, jak obejść ekwiwalent uczenia maszynowego utraty pamięci – proces, który u agentów AI jest znany jako „katastrofalne zapominanie”.

Ponieważ sztuczne sieci neuronowe są szkolone w wykonywaniu jednego nowego zadania po drugim, mają tendencję do utraty informacji uzyskanych z poprzednich zadań, co może stać się problematyczne, ponieważ społeczeństwo coraz bardziej polega na systemach sztucznej inteligencji, powiedział Ness Shroff, wybitny uczony z Ohio i profesor informatyki i inżynierii na Uniwersytecie Stanowym Ohio.

„Ponieważ aplikacje zautomatyzowanej jazdy lub inne systemy robotyczne uczą się nowych rzeczy, ważne jest, aby nie zapomniały lekcji, których już się nauczyły dla naszego i ich bezpieczeństwa” — powiedział Shroff. „Nasze badania zagłębiają się w złożoność ciągłego uczenia się w tych sztucznych sieciach neuronowych, a to, co znaleźliśmy, to wgląd, który zaczyna wypełniać lukę między tym, jak uczy się maszyna, a tym, jak uczy się człowiek”.

Shroff powiedział, że w ten sam sposób, w jaki ludzie mogą mieć trudności z przypomnieniem kontrastujących faktów dotyczących podobnych scenariuszy, ale z łatwością zapamiętują z natury różne sytuacje, sztuczne sieci neuronowe mogą lepiej przypominać informacje, gdy mają do czynienia z różnymi zadaniami po kolei, zamiast tych, które mają podobne cechy.

Zespół, w skład którego wchodzą badacze z tytułem doktora Sen Lin i Peizhong Ju z Ohio oraz profesorowie Yingbin Liang i Shroff, zaprezentuje swoje badania w tym miesiącu na 40. dorocznej Międzynarodowej Konferencji nt.

Chociaż nauczenie autonomicznych systemów wykazania tego rodzaju dynamicznego uczenia się przez całe życie może być trudne, posiadanie takich możliwości pozwoliłoby naukowcom na szybsze skalowanie algorytmów uczenia maszynowego, a także łatwe dostosowywanie ich do zmieniających się środowisk i nieoczekiwanych sytuacji. Zasadniczo celem tych systemów byłoby pewnego dnia naśladowanie zdolności uczenia się ludzi.

Tradycyjne algorytmy uczenia maszynowego są trenowane na wszystkich danych jednocześnie, ale odkrycia tego zespołu pokazały, że czynniki takie jak podobieństwo zadań, ujemne i dodatnie korelacje, a nawet kolejność, w jakiej algorytm jest nauczany, mają znaczenie w czasie, w którym sztuczna sieć zachowuje pewną wiedzę.

Na przykład, aby zoptymalizować pamięć algorytmu, powiedział Shroff, odmiennych zadań należy uczyć na wczesnym etapie procesu ciągłego uczenia się. Ta metoda zwiększa pojemność sieci w zakresie nowych informacji i poprawia jej zdolność do późniejszego uczenia się podobnych zadań w przyszłości.

Ich praca jest szczególnie ważna, ponieważ zrozumienie podobieństw między maszynami a ludzkim mózgiem może utorować drogę do głębszego zrozumienia sztucznej inteligencji, powiedział Shroff.

„Nasza praca zwiastuje nową erę inteligentnych maszyn, które mogą się uczyć i dostosowywać tak, jak ich odpowiedniki u ludzi” – powiedział.

Finansowanie: Badanie było wspierane przez National Science Foundation i Army Research Office.

O tej sztucznej inteligencji i wiadomościach z badań nad uczeniem się

Autor: Tatiana Woodall
Źródło: Uniwersytet Stanowy Ohio
Kontakt: Tatyana Woodall – Uniwersytet Stanowy Ohio
Obraz: Obraz jest przypisywany do Neuroscience News