Pochází z Kolína, kde se narodil 28. září 1944 v rodině učitelky a poštovního úředníka. O čtyři roky později ovládli Československo komunisté, v té době byly Zemanovi čtyři roky, již dva roky předtím se jeho rodiče rozvedli, žil s matkou a babičkou (archivní nedatovaný snímek).
