Uśmiechnij się! Albo algorytm będzie zły

Zdjęcie: Kolaż pokazujący z jednej strony bohatera filmu Joker, na siłę unoszącego palcami kąciki ust. Obok widać biały czujnik z namalowanym uśmiechem, a nad nim napis mówiący, że kontrola uśmiechu zakończona

Mawia się, iż uśmiech potrafi rozjaśnić świat. Jest zaraźliwym, naturalnym, ludzkim odruchem.

Jest nie tylko ludzki, ale też praktyczny. Cenny w kontaktach na linii pracownik-klient. Od razu milej się wchodzi w interakcje z kimś, kto wydaje się przyjaźnie nastawiony.

Ale szczery uśmiech wymaga pozytywnych emocji. O to czasem trudno, kiedy komuś niezbyt jest do śmiechu, bo na przykład gniecie go codzienne życie, a menedżer wymaga niemożliwego.

„Uśmiech być musi, a tak jakoś go nie ma”. W jaki sposób to rozwiązać? :thinking:

Można przez poprawę warunków pracy albo danie ludziom powodu do uśmiechu. Ale to brzmi zbyt prosto. Dynamiczni, współcześni liderzy muszą bowiem opierać się na technologii!

Dlatego sięgnęli po nowoczesne algorytmy. Metody, dzięki którym komputery mogą gorzej oceniać osoby pozbawione uśmiechu, nie wpuszczać ich do budynku, a także modyfikować ich zdjęcia.

Nowe możliwości doprowadziły do paru sytuacji żywcem wyjętych z cyberpunkowej dystopii. W tym wpisie zobaczymy niektóre z nich.

Technika rozpoznawania twarzy

Od strony technicznej wykrywanie uśmiechu to zaledwie część bardzo szerokiej dziedziny – komputerowego przetwarzania obrazu (ang. computer vision). Jest też dość mocno powiązana z zagadnieniem wykrywania twarzy (ang. face detection).

Obecnie na topie jest słowo AI. Niektórzy mogliby pomyśleć, iż również analiza obrazu jest czymś nowym, częścią obecnej rewolucji.
Ale w żadnym razie tak nie jest. Zagadnienie towarzyszy ludziom od dawna. Tyle iż dawniej korzystano z „klasycznych” algorytmów – patrzących na zależności między pikselami, a nie wytrenowanych na przykładowych obrazkach.

Znajdziemy choćby przykłady sprzed 2000 roku (PDF, ok. 19 MB). Co więcej, już wtedy istniały sieci neuronowe – używane chociażby w tym „współczesnym” AI. Jedynie możliwości komputerów były dużo uboższe, co stało na drodze postępu.

Ale z każdym kolejnym rokiem rosły, zaś rozpoznawanie twarzy wkraczało do świata konsumenckiego.

Początkowymi niegroźnymi zastosowaniami były te związane z fotografią – już w 2007 roku aparaty, chociażby od Sony, posiadały funkcję robienia zdjęcia po wykryciu uśmiechniętej twarzy. Nie było to jednak coś powszechnego, a firma trzymała kod swojego programu za zamkniętymi drzwiami.

Inny przykład? W 2012 roku badacze z MIT pracowali nad systemem pozwalającym odróżnić uśmiech szczery od udawanego dzięki algorytmów. Według nich samych – w celach badawczych i pomagania osobom autystycznym, a nie kontroli.

W kolejnych latach postępy były coraz większe. Upowszechniły się algorytmy uczenia maszynowego. Które działają na tej zasadzie, iż „karmi się” je przykładowymi zdjęciami i ustala ramy zadania (jak np. rozpoznawanie uśmiechu).

Powstało wiele startupów opierających swoją działalność na tych nowych, przystępnych narzędziach. Jak Quantum CX z Polski.

Przypadek Quantum CX

Flagowym produktem tej firmy był Miłek – czujnik liczący uśmiechy pracowników.

Miłek, słitaśny licznik uśmiechów.

Na początku wdrażano go w firmach zagranicznych, o czym za moment. W Polsce zagościł w 2018 roku w banku PKO BP oraz w urzędzie miasta w Sopocie.

Wywołało to wątpliwości, między innymi ze strony Rzecznika Praw Obywatelskich, uważającego iż „wkracza w prywatność i godność”. Skierował zapytanie do Państwowej Inspekcji Pracy, ale ci nie znaleźli nieprawidłowości.

Wątpliwości miała też prawdopodobnie opinia publiczna – firma wyłączyła komentarze pod swoim filmem promocyjnym.

Ale tyle to moglibyśmy się dowiedzieć z każdego medialnego artykułu. Zanurzmy się nieco głębiej, do Krajowego Rejestru Sądowego. Wpisujemy w ich wyszukiwarkę nazwę quantum cx, pobieramy pełen odpis w formacie PDF (wszystkie większe zdarzenia z życia firmy).
Tam znajdujemy informację, iż Quantum CX jest w likwidacji od lutego 2023 roku.

Na stronie „Dobra Porażka” znajdziemy post mortem od właściciela firmy – pożegnanie i analizę przyczyn zamknięcia interesu. Rzecz popularną w kulturze startupowej.

Założyciel QCX wskazuje następujące przyczyny: wejście przepisów RODO (od ochrony danych osobowych), negatywny odbiór w mediach, Covid i powszechne zasłanianie twarzy maseczkami, ogólne pandemiczne cięcie kosztów przez firmy.

Inny artykuł (polecam Ctrl+F i wpisanie quantum) potwierdza, iż próbowali dopasować się do pandemii, dodając czujnik temperatury. Który mówiłby klientowi, jaką temperaturę ciała ma obsługujący go pracownik, i vice versa. Ale nie wypaliło.

Niewinna ofiara?

Właściciel pisze w swoim tekście pożegnalnym:

Byłem bliski załamania, chciałem dać światu coś dobrego, wprowadzić do życia codziennego trochę uśmiechu

Patrząc dodatkowo na źródła takie jak artykuł ze strony sztucznainteligencja.org.pl, można odnieść wrażenie, iż Miłek był nieszkodliwym urządzeniem demonizowanym w mediach. Do tego pozwalającym wspierać inicjatywy charytatywne.
Właściciel firmy mówił portalowi:

nasze rozwiązanie nigdy nie służyło i nie będzie służyło do śledzenia pracowników. Nie nagrywamy obrazu czy dźwięku.

Można się zastanowić – skoro wymienia przepisy RODO jako współwinne niepowodzenia, to czy nie znaczyłoby to, iż jakieś dane osobowe jednak chcieli gromadzić? Ale z drugiej strony może to być po prostu szukanie winnych, więc taki sobie ten trop.

Ale mam lepszy. Według artykułu z 2017 roku Quantum był wcześniej finansowany przez fundusz z Dubaju. Wdrożyli swój system w Du, tamtejszej firmie telekomunikacyjnej, w dziale obsługi klienta.

W czasach współpracy z Du właściciel Quantum CX, wówczas prawdopodobnie czujący się pewniej niż przed kryzysem, nieco inaczej opisywał swój produkt. Wprost sugerował automatyczne ocenianie pracowników:

Mierzymy emocje rozmówcy i agenta. W czasie rzeczywistym mówimy mu co może zrobić lepiej. Na przykład możemy mu wysłać komunikat „Zaczynasz się denerwować, uspokój się”, „Mówisz za dużo”, „Postaraj się nie przerywać”. Albo „Spróbuj się uśmiechnąć” – za takie zachowania możemy dać mu dodatkowe punkty do oceny.

Przypadek sieci Costa Vida

Znajdziemy również wzmiankę, iż system od Quantum wdrożyła u siebie sieć amerykańskich fast-foodów Costa Vida oraz hotele Accor. Dokładniejsze artykuły, takie jak ten ze stronki ich inwestora, opisują cały eksperyment w samych superlatywach:

Mimo niełatwych warunków, związanych z dużą liczbą osób i krótkimi interakcjami, program od Quantum Lab dobrze sobie poradził z analizowaniem zachowań klientów i personelu. Kierownicy mogli na podstawie tej wiedzy przeszkolić pracowników obsługujących kasy i wpłynąć na ich zachowanie. Pracując nad takimi rzeczami jak uśmiech i mowa ciała, poprawili wskaźniki zadowolenia klientów

Tłumaczenie moje.

Tak to wygląda z punktu widzenia notki reklamowej. A w życiu? Żeby poszukać ludzkich opowieści, wbiem do wyszukiwarki costa vida smile site:reddit.com i znalazłem krótką historię osoby pracującej kiedyś na kasie. W niejasnych okolicznościach dostało się jej za to, iż się nie uśmiecha:

[I] was told that if I wanted more hours I needed to work even harder on being friendly towards customers. And I kid you not, he told me to ‘Smile more’. (I’m not someone who has a resting b**** face, I usually have a pleasant smile so I don’t know why that wasn’t good enough)

Oczywiście możliwe, iż to przypadek i żadnego automatycznego wykrywania tu nie było. Być może kierownik doczepił się na podstawie własnych obserwacji.
Nie zmienia to jednak faktu, iż całkiem możliwy byłby następujący ciąg zdarzeń:

• Startup obiecuje szefostwu firmy doskonały algorytm od liczenia uśmiechów. Wprowadzają go w swoich restauracjach.

• Szkolą kierowników, mówiąc im, iż mogą ufać systemowi. Ile uśmiechów zliczy, tyle było naprawdę.

  A ci mogą w to szczerze wierzyć. W końcu media i firmy big techowe ciągle się rozwodzą nad skutecznością AI, robiąc zwykłym ludziom wodę z mózgu.

• Algorytm przez swoje błędy często nie wyłapuje uśmiechu jakiegoś pracownika.

  Nie byłoby w tym nic dziwnego, niedoskonałości w tym całym AI zdarzają się notorycznie. Zdarzyło się, iż na przykład, iż komputer fałszywie oskarżał studentów o ściąganie podczas egzaminu. A zdjęcie pewnej Chinki na boku autobusu uznano za dowód na to, iż stoi na środku drogi i popełnia wykroczenie.

• Pracownik dostaje opierdziel, bo według wadliwego automatu nie jest good enough. Za mało szczerzy zęby.

  Kierownik wierzy automatowi, a pracownik nie wie o co chodzi. Może choćby nie wie o tym całym liczeniu uśmiechów.

Na dłuższą metę może to choćby doprowadzić do zwolnienia jakiejś osoby. Sytuacji jak z Kafki, kiedy obrywa, ale choćby nie wie za co. Bo tak by wyglądał świat, w którym oddaje się losy ludzi w ręce przereklamowanych automatów.

Skutek? Dla niektórych mniej powodów do uśmiechu.

Przypadek Canona

Osoby znające kulturę startupową wiedzą, iż nieraz powstają tam całkiem odjechane, nieżyciowe pomysły, które weryfikuje rzeczywistość. Czy warto się przejmować jedną firmą, która padła kilka lat temu?

Jak stwierdził pewien zmarły niedawno człowiek (parafrazując): technologia jest ponadczasowa. Organizacje mogą wymierać, ale ona z nami pozostaje.

Tak jest również w tym przypadku. Choć Miłka z nami nie ma, sama koncepcja nadzoru nad emocjami żyje i ma się dobrze. Również po pandemii, również wśród większych firm. Takich jak japoński Canon.

Ich chiński oddział wprowadził w 2021 roku system automatycznej oceny uśmiechu, opisany między innymi przez polski portal IT Hardware. System wpuści do biura i różnych pomieszczeń tylko te osoby, które noszą banana na twarzy.

Pomysł nie ogranicza się też do tej jednej firmy, bo swoje rozwiązanie chcą przekazywać dalej.

firma Canon poinformowała, iż ​​sprzedaje narzędzia firmom, od restauracji, przez szpitale, po banki, i iż „ma nadzieję, iż przyniesie euforia i zdrowie wszystkim w erze po epidemii”.

Źródła: korpografiki, film Smile, manga Berserk, trailer gry Alice: Madness Returns, pewna memiczna teoria spiskowa.

Eksplorujemy branżę

Już w dawnym artykule z trójmiejskiej edycji „Wyborczej” z 2016 roku właściciel Quantum mówił:

W 2015 r. rynek detekcji i rozpoznawania ludzkich emocji został wyceniony na 5 mld dol. Do 2020 r. ma osiągnąć wartość 22 mld dol.

Oznacza to, iż istnieje szersza branża. To podsunęło mi pomysł, żeby ustalić jakiś sposób na znajdowanie informacji o tego rodzaju systemach.

Mogłem oczywiście wpisywać zwykłe, potoczne smile detection, ale chciałem czegoś ogólniejszego. Powiązanych firm. A także bardziej technicznych pojęć, jeżeli jakieś są, żeby znaleźć artykuły naukowe. Dlatego poszperałem.

Na stronie Crunchbase znajdziemy dłuższą listę inwestorów Quantum. Jeden z nich to Black Pearls VC, fundusz venture capital. Pomyślałem sobie, iż może inwestują w więcej podobnych firm.

Poszukałem pod hasłem "black pearls vc" "smile" (kolejno w DuckDuckGo i Google’u) i znalazłem artykuł ze stronki Black Pearls wspominający o nagrodzie za wdrożenie systemu w PKO BP.

Tutaj znalazłem również nazwę, która wydaje się ogólniejszym określeniem rozpoznawania emocji – facial activity labeling system. Krótkie szukanie pokazało, iż inną nazwą jest Facial Action Coding System. Używa się też skrótu FACS.

To już brzmiało całkiem technicznie! Po kolei wbiłem te pojęcia w wyszukiwarkę Hacker News, forum startupowo-technologicznego. A tam znalazłem trochę wątków:

1. Wątek, w którym ktoś zastanawia się, w jaki sposób dałoby się wykrywać socjopatów i nie dopuszczać ich do stanowisk kierowniczych.

   Jedną z propozycji jest właśnie automatyczna analiza wyrazów twarzy. No cóż… Może i autor ma dobre chęci, ale chyba wiemy, co jest nimi wybrukowane.

2. Obszerną dyskusję na temat tego, czy należy uregulować prawnie algorytmy analizujące emocje.

   Opiera się ona na artykule z Nature, niestety ukrytym za paywallem.

   Ale choćby wystająca część wspomina o systemie 4 Little Trees z Hongkongu. Przeznaczonym do analizowania emocji małoletnich uczniów. Mówi również, iż według niektórych szacunków branża automatów od emocji osiągnie do 2026 roku wartość 37 miliardów dolarów.

Przypadek indyjskich protestów

Mieliśmy dotąd przykłady korporacyjnego monitorowania uśmiechu. Na deser spójrzmy natomiast na manipulowanie nim w kwestiach politycznych. Cyfrowe dorabianie uśmiechu tym, którzy się nie uśmiechają.

Kiedyś wymagało to zaangażowania grafików, teraz można zrobić w parę sekund dzięki algorytmom. Taka manipulacja miała miejsce w Indiach, co wyłapała stronka fact-checkingowa Alt News.

Odbył się tam protest kobiet ze świata sportu, domagających się odwołania działacza podejrzanego o molestowanie. Kilka z nich zostało zatrzymanych przez policję za rzekome zakłócanie porządku.

Niedługo potem na Twitterze ukazały się zdjęcia pokazujące zatrzymane kobiety siedzące w autobusie. Uśmiechają się. Zdjęcia udostępniono, a polityczne trolle dodawały szydercze komentarze. „Tak się darły przed obiektywem, a to wszystko teatrzyk dla mas!”. Sugerowano, iż to oszustki, aktywistki, reakcyjne podziemie.

Potem okazało się jednak, iż zdjęcie zostało zmanipulowane, a kobietom dorobiono uśmiechy z użyciem algorytmu. Prawdopodobnie użyto do tego celu aplikacji FaceApp (ktoś wkleił do niej oryginalne zdjęcie i porównał efekty).

Źródło: Twitter (daję link do nitter.cz; gdyby nie działał, to można zmienić na twitter.com).

Na dzisiaj już skończę. Podsumowując: jeżeli pozwoli się firmom i państwom robić co chcą w kwestii tej technologii, to będziemy za nasze uśmiechy oceniani automatycznie, od najmłodszych lat.

A gdyby od tej całej kontroli nie było nam do śmiechu i zdjęcia wychodziłyby ponure, to po prostu algorytm je przerobi.

Jeśli ktoś myślał, iż cyberpunkowe historie albo serial Black Mirror to science-fiction – i iż nie przeżyjemy takich ciekawych przygód za swojego życia – to mam dla takiej osoby promyk nadziei. Możemy jeszcze tego dożyć.

Do zobaczenia, pozdrawiam uśmiechem wartym 100 punktów! :smile: