Uusi menetelmä parantaa tekoälyn sujuvuutta pienemmillä kielillä

Uusi menetelmä pyrkii tekemään tekoälypohjaisista kielimalleista sujuvampia myös kielille, joilla on vähän dataa ja vähemmän kehittyneitä työkaluja. Tutkijat esittävät tavan jatkokouluttaa malleja niin, että ne säilyttävät kielen sujuvuuden, vaikka niitä ohjattaisiin arviointimalleilla, jotka itse tuottavat kömpelöä tai epäluontevaa tekstiä. Taustalla on niin sanottu mieltymyksiin perustuva optimointi, jossa kielimallia opetetaan tuottamaan vastauksia, joita ihmiset – tai toista tekoälymallia muistuttavat "palkintomallit" – pitävät parempina. Aiempi työ on keskittynyt pääasiassa englantiin ja kiinaan, joille on saatavilla runsaasti laadukasta opetusdataa ja tehokkaita malleja. Monille pienemmille kielille, kuten norjan kirjanorjalle, ei ole tarjolla vastaavaa aineistoa tai malleja, jotka tuottaisivat luonnostaan sujuvaa tekstiä. Tutkijoiden tavoitteena on rakentaa sujuvasti kirjoittava, käyttäjien mieltymyksiin sovitettu kielimalli ilman, että tarvitaan valmiiksi ohjeistettua opetusdataa kohdekielellä. Heidän lähestymistapansa perustuu niin sanottuun on-policy-koulutukseen, jossa malli oppii palautejaksoissa omien tuottamiensa vastausten perusteella. Menetelmää verrataan kahteen yleiseen ratkaisuun: valvottuun jatkokoulutukseen konekäännetyllä datalla sekä monikieliseen jatkokoulutukseen, jossa malli opetetaan samanaikaisesti useilla kielillä. Tutkimuksessa tehdään tapaustutkimus norjan kirjanorjalla ja arvioidaan erityisesti tuotetun tekstin sujuvuutta. Työ asettuu osaksi pyrkimystä tuoda kehittyneitä tekoälysovelluksia myös pienemmille kielille, joilla ei ole suurten kielten kaltaista dataylellisyyttä. Tutkijat korostavat, että sujuvuuden säilyttäminen on keskeistä, kun malleja hienosäädetään käyttäjien mieltymyksiin sopiviksi niillä kielillä, joille ihmiskirjoittajien tuottamaa opetusmateriaalia on niukasti saatavilla. Lähde: Fluent Alignment with Disfluent Judges: Post-training for Lower-resource Languages, ArXiv (AI).