Google’i tervisenõu usalduslõks: allikaviide ei pruugi soovitust kinnitada

Kas pärast lapse pea äralöömist peaks arstile helistama? Ühele sellisele küsimusele vastates soovitas Google’i tehisaru last ärkvel hoida. Vastuse juures olid allikaviited, kuid ükski viidatud leht sellist juhist ei andnud. Uuringus kirjeldatud näide näitab, kuidas võivad kaks eri asja, allikale viitamine ja väite tegelik põhjendamine, lugeja silmis üheks sulada.

Google’i tehisaruülevaated ehk AI Overviews ilmuvad otsingutulemuste kohal ning pakuvad valmis vastust. Tervisemure korral on see ahvatlev: mitme veebilehe läbitöötamise asemel saab inimene kohe kokkuvõtte. Lisatud viited võivad jätta mulje, et vastuse iga soovitus on allikatest kontrollitav.

Northwesterni ülikooli teadlaste uuring seab selle eelduse kahtluse alla. Viidete kontrolli kaasatud tekstiosadest toetas allikas korrigeeritud hinnangu järgi vaid 56,7 protsenti ehk veidi üle poole. See ei tähenda, et ülejäänud väited olid tingimata valed. Küll aga ei pruugi vastuse kõrval olev link pakkuda kinnitust, mida lugeja sealt ootab.

Sam Agnoli ja tema kolleegide 29. oktoobril arXivis avaldatud eeltrükk käsitleb 3611 ingliskeelset terviseküsimust. Päringud tehti USA otsinguseadetega 16.–18. septembril 2026 ning sisuliseks hindamiseks jäi 3474 tehisaruülevaadet.

Küsimused pärinesid HealthBenchi testkogust. Iga küsimusega kaasnesid arstide koostatud hindamisjuhised: mida hea vastus peaks sisaldama ning milliseid eksitavaid väiteid vältima. Google’i vastuseid hindas nende juhiste järgi keelemudel GPT-4.1. Arstid olid koostanud hindamise aluseks olnud kriteeriumid, mitte kõiki Google’i vastuseid ükshaaval läbi vaadanud.

Viidete kontrollimiseks kasutati teist tehisarumudelit, HallOumit, mis võrdles vastuste lõike ja loetelupunkte nende juurde lisatud allikatega. Rohkem kui 24 000 tekstiosast sai sel viisil hinnata ligikaudu poolt. Ülejäänute seas olid muu hulgas viitamata faktiväited, pealkirjad ja osad, mille puhul kontroll jäi ebaselgeks.

Esialgne automaatkontroll leidis allikast tuge 47,1 protsendile hinnatavatest tekstiosadest. Saja tekstiosa inimkontroll näitas aga, et hindamismudel oli liiga range. Selle vea arvestamisel tõusis hinnang 56,7 protsendini. Ebakindlus jäi suureks: 95-protsendiline usaldusvahemik ulatus ligikaudu 45–69 protsendini.

Lapse peavigastuse näide osutab allika ja soovituse lahknevusele. Uuring ei jälginud, kas keegi nõuannet järgis või kahju sai.

Viidete vastavuse kõrval hinnati vastuste sisu. Keskmiselt kogusid ülevaated 38,2 protsenti võimalikest punktidest. Seda arvu ei saa tõlkida väiteks, et vaid 38,2 protsenti vastustest olid õiged. Punkte kaotati ka olulise teabe väljajätmise eest ning just täielikkus osutus nõrgaks kohaks: selles kategoorias saadi 21,6 protsenti võimalikest punktidest.

Üksik lause võib olla õige, kuid vastus tervikuna ebapiisav, kui kasutaja jaoks oluline teave jääb välja. Ladus ja lühike kokkuvõte ei pruugi oma puudujääke lugejale nähtavaks teha.

Eraldi vaadeldi 2065 vastust, mille hindamisjuhis nimetas mõne konkreetse vale või potentsiaalselt ohtliku väite, mida vältida. Selline väide esines 22,2 protsendis neist vastustest. Tulemus puudutab just seda alarühma, mitte kõiki uuritud ülevaateid ega Google’i tervisevastuseid üldiselt.

Erines ka allikavalik. Tehisaruülevaated viitasid suhteliselt sagedamini kommertslikele terviseportaalidele, tavalised otsingutulemused aga rohkem akadeemilistele ja riiklikele allikatele. Kuuest veebilehe usaldusväärsuse tunnusest nelja järgi jäid tehisaru allikad tavaotsingu omadele alla, kuigi erinevused olid väikesed. Need tunnused puudutasid näiteks autori pädevuse ja huvide avalikustamist, mitte iga meditsiiniväite tõesust.

Google on varem selgitanud, et tehisaruülevaated tuginevad juhtivatele otsingutulemustele ning terviseteemadel rakendatakse täiendavaid kaitsemeetmeid. See varasem selgitus ei ole ettevõtte vastus kõnealusele uuringule.

Andmed annavad kolmepäevase hetkepildi. Küsimused olid sageli pikemad kui tavapärased otsingud. Pikemate vestlusvastuste hindamiseks loodud juhised võisid lühikesi ülevaateid karmilt hinnata ning automaatne kontroll polnud veatu. Eesti päringuid ei uuritud. Siiski jäi põhimuster alles ka lühemate küsimuste eraldi analüüsis.

Uuringu keskne õppetund on eristada allikatruudust, meditsiinilist õigsust ja vastuse piisavust. Allikas võib väidet toetada, kuid vastus võib jätta olulise teabe ütlemata. Väide võib olla õige, kuigi viidatud leht seda ei kinnita. Allikalink annab võimaluse vastust kontrollida, mitte kinnituse, et kontroll on lugeja eest juba tehtud.