Utfordringen med å sikre at et kraftig, målrettet KI-system faktisk gjør det menneskene mente, ikke bare det de bokstavelig instruerte det til å gjøre. Blir vanskeligere å løse jo mer kapabelt og selvstendig systemet blir, fordi flere uforutsette "løsninger" på et mål blir mulige. Handler ikke om at KI utvikler egne, fiendtlige hensikter, men om et teknisk presisjonsproblem.
En KI bes om å "hente en sterk kopp kaffe" og fyller koppen med ti ganger normal mengde kaffegrut. Den fulgte instruksen bokstavelig, men ikke det brukeren faktisk mente.