Ir daudzi iespējamie garīgās atpalicības cēloņi, taču visizplatītākās ir infekcijas, kas attīstās vēl nedzimušam bērnam vai drīz pēc piedzimšanas. Citos gadījumos pie vainas ir hromosomu anomālijas. Iedzimti traucējumi, traumatiski ievainojumi un uztura trūkumi dažkārt var izraisīt arī garīgu atpalicību. Būtībā viss, kas notiek pirms cilvēka dzimšanas, drīz pēc dzimšanas vai bērnībā, kas maina smadzeņu attīstību, var izraisīt garīgu atpalicību. Tomēr ir svarīgi paturēt prātā, ka daudzu atpalicības gadījumu cēloņi nekad netiek atklāti.
Infekcijas, kas skar mazuli, kamēr viņš vēl atrodas dzemdē, drīz pēc dzemdībām vai bērnībā, var izraisīt garīgu atpalicību, ja tās negatīvi ietekmē smadzeņu attīstību. Starp infekcijām, kas var izraisīt vai veicināt garīgās atpalicības attīstību, ir tuberkuloze, plaušu slimība; encefalīts, kas ir smadzeņu iekaisums; masaliņas, ko sauc arī par vācu masalām; un toksoplazmoze, ko izraisa parazīti. Papildu ar infekciju saistīti cēloņi ir listerioze, ko izraisa baktērijas; meningīts, ko raksturo smadzeņu un mugurkaula membrānu iekaisums; un citomegalovīruss, herpes vīrusa veids. Pat cilvēka imūndeficīta vīruss (HIV), vīruss, kas izraisa iegūtā imūndeficīta sindromu (AIDS), var izraisīt garīgu atpalicību.
Hromosomu anomālijas ir arī viens no garīgās atpalicības cēloņiem. Piemēram, anomālijas, kas ir pirms dzimšanas, piemēram, Dauna sindroms, var izraisīt garīgu atpalicību. To var izraisīt arī iedzimtas hromosomu problēmas, piemēram, anomālija, ko sauc par trauslo X sindromu. Turklāt cilvēks var piedzimt ar garīgu atpalicību, ja gēns atrodas nepareizā hromosomas vietā.
Daži iedzimti traucējumi ir arī viens no iespējamiem garīgās atpalicības cēloņiem. Piemēram, cilvēks var būt garīgi atpalicis Hantera sindroma, traucējuma, kurā cukura molekulas uzkrājas pārāk daudz, vai Hurlera sindroma, retas slimības, kas saistīta ar cukura metabolismu, rezultātā. Reta sindroms un Tay-Sachs slimība, kas abas ietver nervu sistēmu, var izraisīt arī garīgu atpalicību. Fenilketonūrija (PKU), ko raksturo nespēja noārdīt vielu, ko sauc par fenilalanīnu, ir arī viens no garīgās atpalicības cēloņiem.
Ir arī uztura cēloņi garīgai atpalicībai. Piemēram, ja bērnam ir nepietiekams uzturs, viņam var būt lielāka garīga atpalicība. Nepietiekams uzturs var rasties no uztura, kas neietver labu uzturvielu līdzsvaru, problēmas ar barības vielu uzsūkšanos, pārtikas trūkumu un noteiktiem medicīniskiem stāvokļiem, kas netiek ārstēti.
Traumatiskas traumas dažkārt izraisa arī garīgu atpalicību. To var izraisīt smadzeņu traumas dzemdību laikā, kā arī smagas galvas traumas bērnībā. To var izraisīt arī skābekļa trūkums smadzenēs. Turklāt asiņošana smadzenēs, kas notiek pirms vai pēc dzimšanas, var izraisīt garīgu atpalicību.