Karel IV. se narodil 14. května 1316 Janu Lucemburskému a Elišce Přemyslovně. I když Přemyslovci vymřeli po meči, je jejich potomkem. Jeho původní jméno bylo Václav, které bylo časté právě u Přemyslovců. Měl neradostné dětství. Do svých tří let žil s matkou a staršími sestrami na hradu Loket. Český šlechtic Jindřich z Lipé však u jeho otce vzbudil podezření, že Eliška chce malého prince postavit proti němu a získat moc v zemi pro něj a pro sebe. Jan Lucemburský proto přijel na Loket a prince Václava nechal zavřít do sklepení, kde pobyl asi dva měsíce. Později ho odvezl na hrad Křivoklát. Malému Václavovi byly teprve tři roky. Svou matku již nikdy nespatřil.
V roce 1323 poslal Jan Lucemburský Václava na francouzský dvůr na vychování. Tam se studoval a učil se vladaření. Mluvil latinsky, francouzsky, italsky a německy.
Ještě jako dítě se oženil. Jeho první manželka byla Blanka z Valois. Ještě před svatbou přijal malý Václav při biřmování jméno Karel. Jeho kmotrem byl francouzský král Karel IV. Sličný.