Pieni kielimalli opetettiin persiaksi ilman jättimäisiä laskentaresursseja

Uusi menetelmä näyttää, että pieni, alun perin vain englanniksi koulutettu kielimalli voidaan mukauttaa vähillä resursseilla toimimaan myös persiaksi. Iranilaistutkijoiden Persian-Phi-malli haastaa oletuksen, että vahvat monikieliset kyvyt edellyttävät valtavia malleja tai valmiiksi monikielisiä lähtökohtia. Lähtökohtana oli Microsoftin Phi-3 Mini -malli, noin 3,8 miljardin parametrin kokoinen niin sanottu suuri kielimalli, joka oli koulutettu yksinomaan englannin kieleen. Tutkijat rakensivat sen ympärille opetussuunnitelmaa muistuttavan koulutusprosessin, jossa malli johdateltiin vähitellen uuteen kieleen sen sijaan, että sitä vain “kaadettaisiin täyteen” persiankielistä dataa. Ensimmäisessä lämmittelyvaiheessa mallille syötettiin kaksikielisiä kertomuksia, niin sanottuja Tiny Stories -tarinoita, sekä englanniksi että persiaksi. Tämän tarkoituksena oli kohdistaa mallin sanastojen numeeriset esitykset eli upotukset (embeddings) toisiaan vastaaviksi ennen raskasta jatkokoulutusta. Lämmittelyn jälkeen malli koulutettiin edelleen persiankielisellä aineistolla ja sitä hienosäädettiin ohjeistuksia seuraaviin tehtäviin käyttäen parametrisesti tehokasta hienosäätöä (parameter-efficient fine-tuning, PEFT). Tässä menetelmässä muutetaan vain pientä osaa mallin parametreista, mikä vähentää laskentatehon ja muistin tarvetta. Tutkijat raportoivat, että Persian-Phi saavutti vakuuttavat monikieliset taidot pienestä koostaan huolimatta. Tulosten mukaan persiankielisen tekoälyn kehittäminen ei välttämättä vaadi jättimäisiä supertietokoneita tai kymmenien miljardien parametrien malleja, vaan huolellisesti suunnitellun oppimispolun. Lähde: Persian-Phi: Efficient Cross-Lingual Adaptation of Compact LLMs via Curriculum Learning, ArXiv (AI).