Ile opinii wystarczy, żeby wyciągać wnioski

Najczęstsze pytanie po pierwszym raporcie brzmi: czy sto opinii to dużo. Odpowiedź zależy od tego, o czym chcesz wnioskować — i to nie jest wykręt, tylko istota rzeczy.

Połowa opinii nie mówi nic

Pierwsza liczba, która zaskakuje właścicieli: mniej więcej połowa opinii w Mapach Google to sama ocena gwiazdkowa, bez ani jednego słowa. W różnych branżach wychodzi od czterdziestu do sześćdziesięciu procent.

Te opinie liczą się do średniej i do liczby na wizytówce. Do wniosków nie liczą się wcale, bo nie ma z nich czego wyciągnąć. Ktoś dał trzy gwiazdki — i to wszystko, co wiadomo. Nie wiadomo, czy przez czekanie, cenę, hałas, czy przez to, że parking był pełny.

Stąd pierwszy wniosek praktyczny: kiedy ktoś mówi „mam czterysta opinii", ma około dwustu opinii, z których cokolwiek wynika. I to od tej drugiej liczby zależy, czy analiza ma sens.

Próg to dwadzieścia — ale na temat, nie na obiekt

Powtarzalny problem uznajemy za powtarzalny, gdy stoi za nim co najmniej kilkanaście niezależnych wypowiedzi. Poniżej dwudziestu opinii z treścią na dany temat pojedyncza wypowiedź waży tyle, że jeden wyjątkowo zły dzień wygląda jak stan trwały.

To jest ważne rozróżnienie. Obiekt z tysiącem opinii z treścią ma komfortową sytuację przy skargach na czystość, jeśli jest ich sto pięćdziesiąt. Przy skargach na parking, których jest sześć, nie ma czego analizować — nawet mając tysiąc opinii ogółem.

Nie znaczy to, że sześć skarg jest bez znaczenia. Znaczy, że to jeszcze nie jest dane statystyczne, tylko sygnał do sprawdzenia okiem.

Średnia ocen jest najgorszą liczbą w całym zestawie

Średnia miesza dwie populacje — piszących i klikających — i sprowadza wszystko do jednej cyfry, która nie mówi, co robić. Spadek z 4,6 na 4,4 nie wskazuje ani obszaru, ani przyczyny, ani nawet tego, czy coś się faktycznie pogorszyło, czy po prostu przyszła grupa gości o innych oczekiwaniach.

Liczbą, która mówi coś użytecznego, jest udział opinii poruszających dany temat. „Czterdzieści jeden z dwustu osiemnastu opinii z treścią wspomina o czekaniu przy recepcji" to zdanie, z którego wynika zadanie. „Średnia 4,4" — nie.

Liczby bezwzględne kłamią przy rosnącym ruchu

Druga pułapka jest podstępniejsza, bo wygląda na zdrowy rozsądek. Obiekt patrzy na liczbę skarg miesiąc do miesiąca: było dwanaście, jest dwadzieścia trzy. Wniosek: jest gorzej.

Tymczasem ruch wzrósł trzykrotnie. Udział skarg spadł. Obiektywnie jest lepiej, a decyzja podjęta na liczbie bezwzględnej — na przykład wymiana kierownika zmiany — została podjęta na podstawie błędu pomiaru.

Dlatego trend liczy się na udziale skarg w opiniach z danego okresu, nigdy na ich liczbie. Ta jedna zasada eliminuje większość fałszywych alarmów.

Stare opinie: kiedy je liczyć

Opinia sprzed czterech lat nie opisuje dzisiejszego obiektu. Do wniosku „jak jest teraz" jest bezużyteczna.

Do wniosku „co się zmieniło" jest bezcenna. Skarga na hałas z klimatyzacji, która występuje od 2021 roku do dziś, to inna informacja niż taka sama skarga kończąca się w miesiącu remontu. Pierwsza mówi, że problem trwa. Druga mówi, że remont zadziałał — i to jest jedyny dostępny dowód, że wydane pieniądze coś dały.

Stąd bierze się sens pobierania całej historii opinii, a nie ostatnich dziesięciu. Ostatnie dziesięć nie pokaże żadnego trendu, bo trend potrzebuje osi czasu.

Praktyczny próg do zapamiętania

Trzy liczby wystarczą:

• poniżej 20 opinii z treścią — czytaj po kolei, nie licz niczego,
• 20–200 — da się mówić o powtarzalności tematów, ale nie o sezonowości,
• powyżej 200 — działa i sezonowość, i porównanie okresów, i wpływ konkretnej zmiany.

Jeżeli jesteś w pierwszym przedziale, najlepszą rzeczą, jaką możesz zrobić, jest zacząć zbierać opinie systematycznie — od wszystkich, tak samo, bez selekcji. Za pół roku będzie z czego czytać.