← Kunstig intelligens

Kontaminering (benchmark)

Kontaminering

Når spørsmålene eller svarene i en test havner i treningsdataen til en AI-modell, slik at modellen i praksis kan huske svaret i stedet for å faktisk løse oppgaven selv. Gir en kunstig høy score uten at den underliggende ferdigheten faktisk har blitt bedre.

En modell scorer overraskende høyt på en kjent kodetest. Ved nærmere undersøkelse viser det seg at deler av testens spørsmål og fasitsvar lå i dataen modellen ble trent på, ikke fordi modellen faktisk løste oppgavene fra bunnen av.