Tekoäly yltää ihmistasolle lakitekstien perusmerkinnöissä mutta kompuroi monimutkaisissa viittauksissa

Tekoäly kykenee jo tekemään oikeustapausten perusmerkintöjä ihmisten tasolla, mutta jää jälkeen monimutkaisissa oikeudellisissa viittauksissa, arvioi tuore tutkimus lehdessä Artificial Intelligence and Law. Tutkimuksessa verrattiin suuren kielimallin GPT-4o-suorituskykyä oikeustieteen opiskelijoihin ja kokeneisiin oikeustieteilijöihin. Tehtävänä oli merkitä Yhdistyneiden kansakuntien taloudellisia, sosiaalisia ja sivistyksellisiä oikeuksia koskevan komitean ratkaisuja: esimerkiksi luokitella päätösten sisältöä ja poimia niistä oikeudellisia viittauksia. GPT-4o ylsi perusmerkinnöissä ihmistasoiseen tarkkuuteen. Se siis osasi esimerkiksi luokitella ratkaisuja ja tehdä yksinkertaisia anotointeja yhtä hyvin kuin koulutetut ihmisannotaattorit. Erot tulivat esiin, kun mallin piti tunnistaa ja poimia ratkaisuista oikeudellisia viittauksia, kuten pykäliä ja ennakkotapauksia. Tekoälymalli osoittautui tarkaksi mutta varovaiseksi: se teki vähän vääriä viittauksia, mutta jätti myös useita oikeita viittauksia huomaamatta. Tämä näkyi etenkin monimutkaisissa oikeudellisissa viitteissä, joissa ihmisannotaattorit olivat selvästi luotettavampia. Ihmisten tekemissä anotoinneissa ongelmaksi nousivat sen sijaan epäyhtenäinen muotoilu ja huolimattomuusvirheet. Vaikka he löysivät viittauksia kattavammin, tulosten yhtenäisyys kärsi. Tutkimus nostaa esiin myös tekoälyn toisen heikkouden: GPT-4o:n vastaukset vaihtelivat, kun sama tehtävä toistettiin, mikä herättää kysymyksiä tulosten toistettavuudesta. Tästä huolimatta tutkijat korostavat, että kustannustehokkuus on mallin selkeä etu. Tekoäly voi tehdä suuria määriä anotointia huomattavasti halvemmalla kuin ihmistyö, mikä voi muuttaa oikeudellisen aineiston käsittelyä laajemminkin. Lähde: The price of automated case law annotation: comparing the cost and performance of GPT-4o and student annotators, Artificial Intelligence and Law.