Uusi menetelmä lupaa yksityisempää hienosäätöä suurille kielimalleille pilvipalvelussa

Uusi menetelmä nimeltä PrivTune pyrkii tekemään suurten kielimallien hienosäädöstä turvallisempaa, kun käyttäjät opettavat malleja omilla arkaluonteisilla aineistoillaan pilvipalvelussa. Nykyään monet yritykset tarjoavat kielimallia palveluna: käyttäjä voi ladata esimerkiksi yrityksen sisäisiä dokumentteja tai henkilökohtaisia tekstejä ja hienosäätää mallin omiin tarpeisiinsa. Tämä herättää kuitenkin yksityisyyshuolia, koska aineisto voi sisältää arkaluonteisia tietoja, joihin palveluntarjoajalla ei pitäisi olla pääsyä. Aiemmissa ratkaisuissa on luotettu niin sanottuun differentiaaliseen yksityisyyteen, jossa mallin oppimisprosessiin lisätään satunnaista kohinaa, jotta yksittäisiä syötteitä ei voi tunnistaa. Tutkijoiden mukaan tällaiset laite–pilvi-yhteistyöhön perustuvat mallit ovat kuitenkin tasapainoilleet ongelman kanssa: joko yksityisyys jää puutteelliseksi ja altistaa päätelmähyökkäyksille, tai mallin suorituskyky heikkenee liikaa. PrivTune rakentuu jaetun oppimisen (split learning) varaan. Siinä osa kielimallista ajetaan käyttäjän omalla laitteella ja osa pilvessä. Uutta on tapa, jolla käyttäjän laitteelta lähteviin token-esityksiin – eli tekstin sisäisiin numeerisiin esityksiin – lisätään tarkoituksella suunniteltua kohinaa. Kohinan ansiosta yksittäinen sana tai merkki alkaa muistuttaa verkon rakenteessa omia niin sanottuja n-askeleen epäsuoria naapureitaan, jolloin alkuperäisen syötteen tarkka sisältö hämärtyy. Menetelmä kuvataan optimointiongelmana, jossa lasketaan, millainen n-naapuruston pohjainen kohina parhaiten suojaa yksityisyyttä ilman että hienosäätö kärsii kohtuuttomasti. Tavoitteena on parantaa yksityisyyden ja käytettävyyden välistä tasapainoa suurten kielimallien asiakaskohtaisessa koulutuksessa. Lähde: PrivTune: Efficient and Privacy-Preserving Fine-Tuning of Large Language Models via Device-Cloud Collaboration, ArXiv (AI).