Google Perspective arvioi verkkokommentteja loukkaavuuden perusteella. Vihapuheeksi alun perin tunnistettu lause läpäisee seulan, kun se sotketaan kirjoitusvirheellä ja sanalla ’rakkaus’. Kuva: Aalto-yliopisto.
Tutkimus: Vihapuhealgoritmeja on helppo huijata – rakkaus ja kielioppivirheet nujertavat koneoppimisenkin
Niin kutsutun vihapuheen ja loukkaavan kommentoinnin hillitsemiseksi on kehitetty automaattisia työkaluja, joiden väitetään tunnistavan verkkopalvelujen sääntöjen vastaisen tai jopa laittoman sisällön. Aalto-yliopiston Secure Systems -tutkimusryhmä on kuitenkin löytänyt parhaistakin koneoppimiseen perustuvista vihapuheentunnistimista merkittäviä heikkouksia.
Aalto-yliopiston tiedotteen mukaan käyttäjien on yllättävän helppo kiertää vihapuheen suitsemiseen kehitettyjä tekoälytyökaluja. Tarkoituksellinen tai tahaton huono kielioppi ja kirjoitusvirheet voivat tehdä vihanlietsonnasta ja loukkauksista tekoälylle vaikeita tunnistaa.
Suomen Uutiset kertoi vuosi sitten Aalto-yliopiston kehittämästä vihapuhekoneesta, jolla silläkin oli ongelmia suomenkielisen vihapuheen tunnistamisessa. Uusi tutkimus osoittaa, että englanninkieliset vihapuhekoneet eivät pärjää sen paremmin.
Ryhmä kokeili seitsemän uuden tunnistamistyökalun tarkkuutta. Kaikki reputtivat testit.
Nykyaikaiset luonnollisen kielen prosessointiin käytetyt mallit pystyvät luokittelemaan tekstiä merkkien, sanojen ja lauseiden piirteiden perusteella. Kun mallit joutuvat analysoimaan tekstidataa, jollaista ei ole käytetty niiden opettamiseen, tulosten laatu alkaa kärsiä.
– Lisäsimme vihapuheeksi tai loukkaavaksi määriteltyjen kommenttien sekaan kirjoitusvirheitä, muokkasimme sanojen rajoja tai lisäsimme joukkoon neutraaleja sanoja. Välilyöntien poistaminen sanojen välistä osoittautui englanninkielisen sisällön manipuloinnissa tehokkaimmaksi. Kaikkia keinoja yhdistelemällä saimme jopa Googlen kommenttien arvottamiseen käyttämän Perspective-työkalun sekaisin”, kertoo Tommi Gröndahl, Aalto-yliopiston tohtorikoulutettava.
Google Perspective luokittelee kommenttien loukkaavuutta tai ”toksisuutta” eri tekstianalyysin menetelmien avulla. Vuonna 2017 Washingtonin yliopiston tutkijat osoittivat, että Perspectiveä voi kuitenkin huijata lisäämällä tekstiin pieniä kirjoitusvirheitä.
Gröndahl havaitsi kollegoineen, että Perspective on sittemmin oppinut tunnistamaan myös kirjoitusvirheet, mutta se on edelleen huijattavissa muunlaisella manipuloinnilla, esimerkiksi poistamalla välilyöntejä ja lisäämällä harmittomia sanoja, kuten love, ’rakkaus’.
Perspectiven ja monen muun edistyneen vihapuheentunnistimen seulan läpäisi esimerkiksi lause ”I hate you” (”minä vihaan sinua”), kun se muokattiin muotoon ”Ihateyou love”.
Konteksti ratkaisee
Tutkijat huomauttavat, että asiayhteys määrittää pitkälti sen, tulkitaanko yksittäinen kommentti vihaksi vai vain asiattomaksi tai mauttomaksi. Vihapuhe on subjektiivista ja kontekstisidonnaista, ja tutkijoiden mukaan pelkät koneelliset tekstianalyysimenetelmät eivät riitä sen tarkkaan tunnistamiseen.
”Ihmiset muuttavat toimintaansa ja alkavat kokeilla eri tapoja kirjoittaa, koska he haluavat välttää kiinnijäämistä. Ollakseen tehokas tekoäly tarvitsee avukseen ihmisen tekemää tulkintaa”, uskoo tutkimusryhmän johtaja, Aalto-yliopiston professori N. Asokan.
Tekstiä analysoivien koneoppimismallien kehittämisessä tulisi tutkijoiden mukaan kiinnittää huomiota mallien opettamiseen käytettävän datan laatuun ja monipuolisuuteen, eikä niinkään mallien rakenteiden hiomiseen.
Ryhmän tulokset osoittavat myös, että vihapuheentunnistimet voisivat olla nykyistä tarkempia, jos ne analysoisivat tekstiä yksittäisten merkkien ja niiden yhdistelmien tasolla. Lisäksi kommenttien kontekstin luokittelua pitäisi saada hienovaraisemmaksi, jotta mallit osaisivat erottaa toisistaan esimerkiksi rasismin, seksismin ja henkilökohtaiset hyökkäykset.
Suomen Uutiset
Artikkeliin liittyvät aiheet
Mitä mieltä?
Viikon suosituimmat
Itäkeskuksen muslimiyrittäjä HS:lle: Hameen on oltava löysä lantion kohdalta, jotta muut miehet kuin minä eivät näe
Helsingin Itäkeskuksen Hansasillalla esillä ollut islamilaisia pukeutumissääntöjä esittelevä kyltti on puhututtanut mediassa ja somessa tällä viikolla. Kyltissä kehotettiin naisia peittämään koko vartalonsa, jotta heitä ei häirittäisi. Muualla Euroopassa samankaltaisia kylttejä on nähty jo pitkään. Saksassa on tuotu oikeuden eteen myös sharia-poliiseja.
Maahanmuuttopolitiikka kiristyy koko EU:ssa – PS-meppi Sebastian Tynkkynen: ”Ratkaisujen aika on tullut” – kokoomuksen meppi Aura Salla nosti äärioikeistokortin
Euroopan unionin maahanmuuttopolitiikka on liikkeessä ja kääntymässä selvästi tiukempaan suuntaan. Sekä keskeisissä EU-toimielimissä että jäsenvaltioiden hallinnoissa ilmenee tahtotilaa tiukentaa maahanmuuton sääntöjä ja tehostaa laittomasti EU:ssa oleskelevien palautuksia. - Ihmisoikeuksista EU:ssa pidetään jatkossakin kiinni, mutta kenenkään ihmisoikeus ei ole oleskelu laittomasti EU-maissa, perussuomalaisten meppi Sebastian Tynkkynen sanoo.
Vihersiirtymä vastatuulessa: Saksalaisautoilijat vaihtavat sähköautonsa bensaan ja dieseliin
Autoilijoiden siirtyminen sähköisiin kulkuvälineisiin tökkii välittömästi, kun tuet loppuvat. Saksassa jopa kolmannes sähköautoaan vaihtaneista on siirtynyt takaisin bensaan tai dieseliin sen jälkeen, kun avustukset hiipuivat. Tavoite fossiilivapaasta uusien autojen kaupasta vuonna 2035 karkaa yhä kauemmaksi.
Mäenpää: Itäkeskuksen kyltit seurausta vihreiden maahanmuuttopolitiikasta
Yksi kuluvan viikon kuumimmista puheenaiheista on ollut Helsingin Itäkeskukseen ilmestynyt herättänyt ohjetaulu koskien musliminaisten pukeutumista. Perussuomalaisten kansanedustaja Juha Mäenpää muistuttaa ohjeistuksesta pöyristynyttä vihreiden puheenjohtajaa Sofia Virtaa siitä, että tapahtunut on seurasta vihreidenkin tukemasta avoimien rajojen maahanmuuttopolitiikasta.
Yle kehysti Trumpin kampanjatilaisuuden vitsin rasismiksi: ”Roskasaari” – tosiasiassa Puerto Rico hukkuu roskiin
Ylen toimittajien mieleen ei tullut tarkistaa, miksi Amerikassa on ennenkin kutsuttu Puerto Ricoa roskasaareksi. Rasismi ei liity asiaan, vaan vertaus on sangen kirjaimellinen, koska roskia Puerto Ricossa riittää. Saaren asukkaiden yksi suurimpia ongelmia onkin jäteasemien tilan puute, ja eri arvioiden mukaan kaatopaikkatila saattaa loppua kesken 2–4 vuodessa.
Kamala Harris on positiivisen erityiskohtelun tuotos – maailman menestynein “DEI-rekry”
Kamala Harris on uransa joka käänteessä hyötynyt siitä, että hän on nainen ja kuuluu rodulliseen vähemmistöön. Hän on malliesimerkki siitä, miten paljon positiivinen erityiskohtelu voi edistää vähemmistöjen menestystä. Varapresidenttinä hän oli Bidenin "DEI-rekry", joka lopulta syrjäytti presidentti Bidenin. Nyt hänellä on mahdollisuus nousta maailman mahtavimman maan presidentiksi.
PS-Nuoriso: Suomessa ei ole sijaa sharia-laille
Perussuomalainen Nuoriso on tyrmistynyt, mutta ei vähääkään yllättynyt islamilaisten pukeutumissääntöjen julistamisesta Itäkeskuksessa. Uutisoidussa julisteessa kehotettiin naisia peittämään koko vartalonsa, jotta heitä ei häirittäisi. Muualla Euroopassa julisteet ovatkin jo vuosia sitten vaihtuneet islamistisiin “sharia-poliiseihin”, jotka häiriköivät kansalaisia islamilaisten oppien rikkomisesta.
SVT nauhoitti salaa Malmössä imaamin perjantairukouksen, jossa ylistettiin Hizbollahin johtaja Nasrallahia
Ruotsin yleisradioyhtiön uutistoimitus SVT Nyheter oli tekemässä tutkivaa journalismia, kun imaami Sami Al-Tameemi ylisti Hizbollahin edesmennyttä johtajaa Hassan Nasrallahia perjantairukouksessa Libanonin kulttuuriyhdistyksessä Malmössä. Hän kutsui Nasrallahia marttyyriksi. SVT nauhoitti tilaisuuden. Tämä oli SVT:n toinen käynti yhdistyksen tiloissa.
Koko läntinen maailma velloo tunnemyrskyissä – Suomestakin tuli puberteettiyhteiskunta, jota rakennetaan fiilispohjalta
Tietokirjailija-kouluttaja Katleena Kortesuon uutuuskirja "Tunteet tapissa" kertoo havainnollisesti, kuinka olemme siirtyneet tietopohjaisesta konsensusyhteiskunnasta tunneuskovaisuuden maailmaan, jonka perustukset valettiin 1980- ja 1990-luvuilla. Monelta osin yhteiskuntamme on kuin 13-vuotias teini, joka kokee tunteita vahvasti ja viskoutuu tunnemyrskyn mukana milloin mihinkin suuntaan. Pelkkä tunne on kuitenkin surkea kumppani silloin, jos edessä on vaikea ja kauaskantoinen päätös.
Uusimmat
Toimitus suosittelee
Perussuomalainen 1/2024
Lue lisää