Ti, kdo na královodvorském zámku ještě poměrně nedávno bydleli (není to totiž tak dlouho, kdy sloužila jako bytovka), ji ještě pamatují. Bílá paní (ne)žila v jednom z hrobů, které jsou v místě zvaném „Česká zahrada". Dřív tu totiž byl hřbitov. Z polozbořené hrobky vystoupila vždy o půlnoci. Prošla celý zámek až do stájí, kde se podle pamětníků zastavila a ukazovala na jedno místo. Někteří tam hledali poklad. Pokud něco našli, nepochlubili se.
Se zámkem ale souvisí i události historicky nezpochybnitelné. Třeba šlechtická vzpoura. Královi odpůrci si ji naplánovali na červen 1397. Na Karlštejně povraždili Václavovy rádce a samotného krále pak zajali na tvrzi, která stávala v místech dnešního zámku. Díky vlivu bratra Zikmunda (Lucemburského) byl sice Václav brzy osvobozen, musel ale potupně podepsat podmínky, které si vzbouřenci nadiktovali.
První písemnou zmínku o „dvoru krále" najdeme z roku 1253. Na konci září tu umírá bratr sv. Anežky České a velký milovník lovu - král Václav I., druhorozený syn Přemysla Otakara I. Mimochodem, o oko (a posléze i život), přišel právě kvůli své vášni pro štvanice a hony.
Na králově dvoru pak pobývali i Karel IV. a jeho syn Václav IV. V roce 1680 se tu zastavuje i císař Leopold I. Aby byl panovník řádně poctěn, postavili mu mezí východním a západním křídlem arkádovou galerii. Sloužila ale především jeho dvorním dámám.
Skutečnost, že tu koncem 13. století skonal český král Václav I., ani žádné další nezpochybnitelné historické argumenty však začátkem osmdesátých let minulého století nikoho z kompetentních nezajímaly. Do zámecké zahrady bezostyšně vjely tatrovky a bagry a netrvalo ani pět let, a z parku byla dálnice D5. Co nezabral asfalt, využili místní pro skladování nepotřebných věcí. V roce 2011 si zámek vzalo za svůj město, kterému patří dík za jeho rekonstrukci. Dnes kolem něj naštěstí kromě dálnice vede i populární cyklostezka „Po stopách českých králů". Ta Králův Dvůr opět důstojným způsobem spojuje například s hrady Točník a Karlštejn.
