Den første treningsfasen der en modell lærer generell kunnskap fra store mengder data, før den eventuelt finjusteres for spesifikke oppgaver.
ChatGPT ble først trent på store deler av internett for å lære språk generelt, før den ble tilpasset til å være en hjelpsom assistent.