Uusi koealusta mittaa, kuinka vaarallisia tekoälymallit voivat olla biologisessa uhassa

Tutkijat ovat kehittäneet järjestelmällisen tavan rakentaa testiaineiston, jonka avulla voidaan arvioida, kuinka paljon kehittyneet tekoälymallit voivat helpottaa biologisten aseiden tai bioterrorismin suunnittelua. Taustalla on huoli siitä, että suuret kielimallit – siis tekoälyt, jotka tuottavat ja ymmärtävät tekstiä ihmisen tavoin – voivat antaa yksityiskohtaisia neuvoja vaarallisten bakteerien käsittelystä tai hyödyntämisestä. Mallien kehittäjät ja päättäjät tarvitsevat luotettavan tavan mitata tällaista riskiä, jotta sitä voidaan myös rajoittaa. Tuoreessa työssä kuvataan, miten niin sanottu Bacterial Biothreat Benchmark -aineisto (B3) rakennetaan osana laajempaa Biothreat Benchmark Generation -kehystä. Tarkoituksena on luoda kokoelma tarkkaan määriteltyjä kysymyksiä ja tehtäviä, joilla testataan, antaako tekoäly sellaisia vastauksia, jotka voisivat käytännössä helpottaa biologisen uhan toteuttamista. Aineistoa koottiin kolmella toisiaan täydentävällä tavalla. Ensinnäkin tutkijat hyödynsivät verkkopohjaista kysymys- ja tehtäväpankkia, jossa erilaiset biologiset uhkaskenaariot muunnetaan tekoälylle annettaviksi kehotteiksi. Toiseksi käytettiin niin sanottua red team -menetelmää, jossa asiantuntijat pyrkivät tarkoituksella löytämään heikkoja kohtia turvallisuusrajoituksissa. Kolmas lähestymistapa täydensi näitä, mutta artikkelin tiivistelmässä siitä kerrotaan vain otsikkotasolla. Tutkimus ei keskity vielä yksittäisten tekoälymallien tuloksiin, vaan itse aineiston tuottamiseen. Tavoitteena on, että tämänkaltaiset standardoidut testit auttavat tulevaisuudessa vertailemaan eri mallien biologista riskipotentiaalia ja tukevat lainsäätäjiä ja kehittäjiä siinä, miten rajoja asetetaan. Lähde: Biothreat Benchmark Generation Framework for Evaluating Frontier AI Models II: Benchmark Generation Process, ArXiv (AI).