Eksperci ds. ewaluacji marketingu opublikowali list otwarty ostrzegający przed potencjalnymi zagrożeniami związanymi z wykorzystaniem platformowych rozwiązań AI w modelowaniu miksu rynkowego (MMM) i ekonometrii.

List jest podpisany przez 17 ekspertów w tej dziedzinie, w tym szefa ds. efektywności adam&eveDDB i współautora The Long and the Short of It, Les Binet oraz felietonistkę Tygodnia Marketingu i założycielkę firmy konsultingowej Magic Numbers, dr Grace Kite.

W ostatnim czasie pojawili się nowi dostawcy, którzy oferują zautomatyzowane MMM oparte na platformie oparte na sztucznej inteligencji, ale eksperci w tej dziedzinie zidentyfikowali poważne problemy po przyjrzeniu się algorytmom zasilającym te zautomatyzowane modele.

Sztuczna inteligencja nie wystarczy do tego zadania, potrzebni są prawdziwi ludzie.

Grace Kite, Magiczne liczby

„Przyjrzeliśmy się algorytmom i musimy wam powiedzieć, że są one znacznie prostsze niż powinny” – czytamy w liście.

„W przypadku MMM za każdym razem, gdy nie uwzględnisz czegoś, co ma znaczenie, otrzymasz błędną liczbę dla efektu reklamy, a istnieją modele, które nawet nie uwzględniają Covid-19 ani ceny”.

Sygnatariusze listu są pewni, że ludzie muszą być zaangażowani w modelowanie miksu rynkowego, aby to zadziałało.

„Sztuczna inteligencja nie wystarczy do tego zadania, potrzebni są prawdziwi ludzie”, mówi Grace Kite. „Maszyny nie są jeszcze w stanie zrozumieć niuansów sytuacji, zidentyfikować elementów, których brakuje w danych, ani pomóc ludziom przekonać się, że wyniki są wiarygodne w przypadku ważnych decyzji”.

Chociaż te rozwiązania oparte na platformach są dość nowe, eksperci ds. ewaluacji, którzy podpisali list, informują, że marketerzy już natknęli się na zawodne systemy, co kosztowało ich biznes ogromne koszty.

„Słyszeliśmy historie, w których po 10 miesiącach konfiguracji następowały śmieciowe wyniki, które były całkowicie bezużyteczne” — mówi Mike Cross, współzałożyciel MeasureMonks. „Podejmowanie błędnych decyzji na podstawie złego modelu kosztuje do 40% Twoich przychodów z mediów, w porównaniu do prawidłowego zastosowania MMM, które może przynieść +30%. W surowych czasach jest to dość kosztowne dla CMO”.

Tymczasem Nancy Smith, dyrektor generalny i prezes Analytic Partners, nalega: „Nie bądź królikiem doświadczalnym dla niedoświadczonych dostawców”.

Autorzy listu przepraszają, że nie zgłaszali wystarczającej liczby problemów z atrybucją ostatniego kliknięcia, gdy była to nowość. „Dlatego chcieliśmy napisać do ciebie teraz. Ponieważ na horyzoncie znów pojawiło się niebezpieczeństwo” – czytamy.

List zawiera również porady, jak uniknąć wciągnięcia przez nierzetelnych dostawców. Marketerzy są zachęcani do kupowania MMM w stylu „kupujesz nową kuchnię”, prosząc o rekomendacje, uzyskując co najmniej trzy wyceny i stosując zdrową dawkę cynizmu.

Autorzy listu podają przykładowe pytania, które marketerzy mogą zadać, aby upewnić się, że sprzedawca MMM sprosta wymaganiom. Należą do nich pytania o czynniki uwzględnione w modelu, jak długo on obejmuje, czy można to wytłumaczyć finansowaniem ludzi w organizacji i co by się stało, gdyby wyniki wróciły i nie miały sensu dla zespołu z innego powodu widzieli.

Ogólny komunikat jest taki, aby marketerzy byli ostrożni, zanim przystąpią do rejestracji w automatycznym MMM, co wygląda zbyt dobrze, aby mogło być prawdziwe.

„Nacisk na szybsze i tańsze rozwiązania prowadzi do podejść, które po prostu nie są w stanie objąć złożoności reakcji marki. Takie podejście może raczej wprowadzać w błąd niż pouczać” — mówi dyrektor Holmes and Cook, Louise Cook.