Farsethås og Tjøstheim lanserer nå et nytt verktøy for evaluering av store språkmodeller på norsk. Norwegian Comma Benchmark (NCB) er laget for å teste modellenes evne til korrekt kommabruk i norske setninger. Dette verktøyet, som også fungerer som en pilot for å utvikle evalueringsmetodikk for godt språk, er nå tilgjengelig for alle på nettstedet Hugging Face.
Hvorfor teste kommaferdigheter?
Komma er et av de mest utfordrende elementene i skriftlig kommunikasjon, spesielt når det kommer til klart og presist språk. Feilaktig bruk av komma kan forandre meningen i en setning og svekke lesbarheten. Særlig innen offentlig forvaltning er tydelig kommunikasjon og et klart språk avgjørende for å sikre at informasjonen er lett forståelig for alle. Derfor er testing av språkmodellers evne til å bruke komma riktig et viktig steg i utviklingen av modeller som kan produsere tekst som oppfyller kravene til klart språk.
Om Norwegian Comma Benchmark
NCB-korpuset består av 840 par med norske setninger, og i hvert par blir en bestemt kommaregel testet. Setningene er hentet fra offentlige tilgjengelige kilder, inkludert artikler og offentlige rapporter, og er nøye utvalgt for å være representative for norsk sakprosa og juridisk-administrativt språk.
Hvert setningspar i datasettet består av en korrekt setning og en setning med feilaktig kommabruk. Dette gjør det mulig å teste både regler hvor det skal være komma, og regler hvor det ikke skal være komma. For eksempel:
- Korrekt: «Eva klatrer, og Ola går på ski.»
- Feil: «Eva klatrer og Ola går på ski.»
Datasettet er delt inn i flere kategorier hvor forskjellige kommaregler blir testet, for eksempel komma mellom helsetninger bundet sammen av sideordnende konjunksjoner eller komma etter innskutte leddsetninger.
Anvendelse av datasettet
NCB-datasettet er utviklet for testing og finjustering av språkmodeller på norsk. Dette gir forskere og utviklere mulighet til å måle hvor godt en modell kan anvende kommaregler, og dermed gi en indikasjon på hvor godt den kan produsere tekster som følger prinsippene for klart språk.
Datasettet er tilgjengelig på https://huggingface.co/datasets/hcfa/ncb.
.jpg?alt=listing)
.jpg?alt=listing)
