A Kolozsváron született Károlyi és felesége, a székelyudvarhelyi Erőss Márta 1981-ben hagyták el Romániát, és az Egyesült Államokban telepedtek le. Legismertebb tanítványa Nadia Comăneci volt, aki az 1976-os montreali olimpián elsőként kapott tökéletes, 10 pontos értékelést. Károlyi az Egyesült Államokban is számos kiváló tornászt edzett, és számos nagy sikert ért el. Kilenc versenyzője nyert olimpiai aranyérmet, míg 15-nek sikerült világbajnoki címet szereznie. 2000-ig vezette az amerikai válogatottat, majd Texasban, saját edzőközpontjában folytatta munkáját. 1997-ben beválasztották a sportág Hírességeinek Csarnokába.