Twitter i Instagram ujawniają nowe sposoby walki z nienawiścią – ponownie


Twitter i Instagram chcieliby, abyśmy wszyscy byli dla siebie trochę milsi. W tym celu obie firmy ogłosiły w tym tygodniu nowe zasady moderowania treści, które być może będą chronić użytkowników przed niepohamowanym nękaniem i mową nienawiści, którą sami sobie nawzajem obawiamy. Inicjatywa przeciwdziałania zastraszaniu Instagrama będzie opierać się na sztucznej inteligencji, podczas gdy Twitter użyje ludzkich moderatorów do określenia, kiedy język „odczłowiecza innych na podstawie religii”. W końcu obie platformy stoją przed tym samym problemem: w rozmytym świecie moderacji treści, kontekst jest wszystkim, a nasza technologia nie spełnia tego zadania.

We wrześniu Twitter początkowo zaproponował bardziej ambitną politykę ukierunkowaną na odczłowieczenie języka skierowaną do różnych grup, w tym ludzi różnych ras, orientacji seksualnej lub przekonań politycznych. Następnie zapytała platforma użytkowników pomoc w opracowaniu wytycznych do wdrożenia tej polityki. Po 10 miesiącach i 8 000 odpowiedzi Twitter w końcu wprowadził węższą wersję polityka we wtorek. Użytkownicy mogą zgłaszać tweety, które porównują religie do plag lub wirusów, lub opisywać pewne grupy jako owady lub gryzonie. AI Twittera będzie również wyszukiwać te obraźliwe warunki, ale podejrzane tweety będą zawsze sprawdzane przez człowieka, który wykona ostatnią rozmowę. Jeśli zdecydują, że tweet jest nieodpowiedni, Twitter powiadomi o tym przestępcę i poprosi go o usunięcie wpisu; jeśli użytkownik odmówi, Twitter zablokuje konto.

Twitter twierdzi, że bardziej ukierunkowana polityka pozwoli mu przetestować sposób moderowania potencjalnie obraźliwych treści, w których język może być bardziej niejednoznaczny niż osobiste zagrożenia, które są zakazane. Jednak niektórzy krytycy postrzegają węższy zakres jako odwrót. „Dehumanizacja jest wspaniałym początkiem, ale jeśli dehumanizacja zaczyna się i kończy na samych kategoriach religijnych, to nie obejmuje wszystkich sposobów, w jakie ludzie zostali zdehumanizowani”, powiedział Rashad Robinson, prezes organizacji non-profit, Color of Change The New York Times.

Instagram przyjmuje inne podejście do nękania policji, którego rzecznik Stephanie Otway określiła jako najważniejszy priorytet platformy. Oprócz moderatorów, platforma wykorzystuje funkcję AI, która identyfikuje język nękający jak „głupi” i „brzydki” przed wysłaniem przedmiotu i pyta użytkowników „Czy jesteś pewien, że chcesz to opublikować?” Otway mówi, że ta funkcja daje użytkownikom chwila przerwy, odetchnij i zdecyduj, czy naprawdę chcą wysłać tę wiadomość.

Jeśli czujesz, że przeczytałeś te obietnice wcześniej, to dlatego, że te problemy nie są nowe. Znęcanie się i nękanie istnieją w mediach społecznościowych tak długo, jak ludzie wkładają palce w klawiaturę. Instagram walczył z negatywnymi treściami od czasu otwarcia platformy w 2010 r., Kiedy założyciele osobiście usuwali obraźliwe komentarze. Twitter od lat walczy z trollem i mową nienawiści. Ale wraz z rozwojem platform coraz trudniej jest kontrolować zawartość. Platformy potrzebują narzędzi AI do sortowania niesamowitej ilości publikowanych treści. Jednocześnie te narzędzia sztucznej inteligencji są źle przygotowane do obsługi niuansowych decyzji dotyczących tego, co jest uważane za obraźliwe lub niedopuszczalne. Na przykład, YouTube spędził prawie dwa lata, próbując znaleźć skuteczny sposób na usunięcie białej supremacji z platformy, przy jednoczesnym zachowaniu ważnych treści historycznych dotyczących nazistów i ich roli w II wojnie światowej.

„Polityka nie ma znaczenia, jeśli nie możesz jej dobrze egzekwować”.

Kat Lo

Decydowanie o tym, co liczy się jako „dehumanizujące” lub „zastraszanie”, jest równie skomplikowane. Jessa Lingel, profesor z University of Pennsylvania, która studiuje kulturę cyfrową, podkreśla, że ​​język nie jest automatycznie dobry ani zły: „Kontekst ma znaczenie”, mówi. Lingel wskazuje na takie etykiety, jak grobla, które kiedyś były uważane za obraźliwe, ale teraz zostały odzyskane przez niektóre społeczności. To samo można powiedzieć o innych terminach, takich jak ho, tłuszczowe i cipki. Kto może decydować, kiedy dany termin jest odpowiedni i kto może go używać? Kiedy termin przechodzi z ofensywy do dozwolonego lub odwrotnie? Takie decyzje opierają się na poziomie świadomości kulturowej i wrażliwości.

Ten sam problem pojawia się dla nienawistnych warunków. W przypadku niektórych religii określony język może przybierać zakodowane znaczenia. Na przykład odniesienia do wieprzowiny mogą być bardzo obraźliwe dla Żydów lub muzułmanów, chociaż żadne słowa w poście nie naruszałyby zasad Twittera przeciwko treściom nieludzkim. Grupy mogą także rozwijać nowy język, który unika cenzury. W Chinach internauci opracowali wiele alternatywnych pisowni, specjalnych zwrotów i zakodowanych terminów, które krytykują chiński rząd, unikając rządowej cenzury. „Ludzie zawsze będą się dostosowywać”, mówi Kat Lo, badaczka i konsultant, która specjalizuje się w mediacji treściowej i nękaniu online.

Twitter potwierdził te problemy w swoim wpisie na blogu, mówiąc, że firma musi zrobić więcej, aby chronić społeczności marginalizowane i zrozumieć kontekst za różnymi warunkami. Lo twierdzi, że dobrze, że firma dostrzega te niedociągnięcia, ale powinna wyjaśnić, w jaki sposób będzie realizować rozwiązania.

Twitter współpracuje z Radą Zaufania i Bezpieczeństwa składającą się z zewnętrznych ekspertów, którzy doradzają platformie, jak ograniczyć molestowanie i nadużycia, ale rzecznik Twittera nie podał szczegółów dotyczących tego, jak firma lub rada planują odpowiedzieć na te skomplikowane pytania.

„Potrzebujemy ludzi. Technika jeszcze nie ma.

Jessa Lingel, University of Pennsylvania

Oczywiście nowe polityki same w sobie są tylko słowami. „Najważniejsza jest strona operacyjna”, mówi Lo. „Polityka nie ma znaczenia, jeśli nie można jej dobrze egzekwować”. Twitter i Instagram działają w kilkudziesięciu krajach i są domem dla niezliczonych subkultur, od Czarnego Twittera po Twittera Trzęsienia Ziemi. Ponieważ te problemy kontekstowe są tak skomplikowane i często regionalne, żadna z platform nie może polegać wyłącznie na systemach sztucznej inteligencji do oceny treści. „Potrzebujemy ludzi”, mówi Lingel. „Technik jeszcze tam nie jest”.

Ale ludzie są drogie. Wymagają szkolenia, wynagrodzeń, biur i sprzętu. Lo opisuje to jako „górę lodową pracy operacyjnej” pod polityką. Aby nadzorować zawartość tej wrażliwej i kontekstowej, w różnych kulturach i krajach, Lo mówi, że potrzebujesz także lokalnych ekspertów i długoterminowych partnerstw z organizacjami, które rozumieją te grupy. „Nie jestem pewien, czy Twitter ma takie zasoby”, mówi.

W 2018 r. Facebook, który jest właścicielem Instagramu, ogłosił, że ponad dwukrotnie zwiększył swój zespół bezpieczeństwa i ochrony do 30 000 osób, z których połowa przegląda treści zarówno na Facebooku, jak i na Instagramie. Aby sztuczna inteligencja Instagramu pozostała aktualna i ewoluowała w celu uwzględnienia trendów we współczesnym języku, Instagram opiera się na opiniach tych moderatorów, aby zaktualizować język, na który należy zwrócić uwagę.

W styczniu prezes Facebooka, Mark Zuckerberg, powiedział inwestorom, że Facebook inwestuje „miliardy dolarów w bezpieczeństwo”. Otway twierdzi, że firma koncentruje się na zatrudnianiu większej liczby inżynierów i budowaniu modeli sztucznej inteligencji, które mogą bardziej precyzyjnie kierować zachowania związane z prześladowaniem. Na razie jednak mówi, że platformy „nadal bardzo polegają na moderatorach treści”.

Twitter odmówił komentarza na temat tego, ilu moderatorów zatrudnia i ile, jeśli w ogóle, doda. Twitter również nie komentował tego, jakie inwestycje planuje wprowadzić w technologiach, które mogłyby pomóc w monitorowaniu zachowań użytkowników.


Więcej świetnych opowiadań