V minulosti míval Rýzmburk až 76 obyvatel , jmenovitě při sčítání lidu v roce 1885, kteří žili částečně ve dvoře a částečně v dalších devíti staveních. Katastr Rýzmburku zahrnoval totiž na jedné straně Staré bělidlo s kamennou stavbou prádelny označené čp. 7 a 10, dále pak bývalou pilu (dnes hájovna čp. 6) a na severním konci usedlost u Červené Hory (dle novějšího číslování čp. 1).
Dne 4. listopadu 1923 Žernov vyhověl žádosti obce Červená Hora o urovnání katastrálních hranic, čímž čp. 1 připadlo sousední obci. 1. července 1960 bylo od Rýzmburku resp. od Žernova odtrženo Staré bělidlo a spolu s Ratibořicemi připojeno k České Skalici .
Stavení označená čp. 3 a 4 stojí na místě chalup, které krátce před druhou světovou válkou lehly popelem. Jejich původ sahal až do roku 1591, kdy je nechal postavit hejtman hradeckého kraje a majitel panství Bedřich z Kounic a Ujezdce pro svého kuchaře a lokaje Jako jejich majitelé jsou v urbáři z roku 1628 uváděni Adam Vrabec (čp. 3) a Martin Vondruška (čp. 4.). Obě tato popisná čísla byla po požáru opět postupně obnovena.
V roce 1597, jak je již učiněna zmínka v kapitole Skalka, nechali přestavět poslední majitelé panství, buď Vilém, nebo Jan z Talmberka, krčmu ze Skalky na Rýzmburk proti hradu, ,zjakož až potud stojí“ a v roce 1600 ji posledně jmenovaný pán prodal k dědičnému užívání. (dříve čp. 1, nyní čp.
Historie usedlosti čp. 2 sahá dle piccolominského urbáře do roku 1592. V gruntovních knihách je zaznamenán první kontrakt v roce 1614, kdy koupil Martin Hanušů od Jana Suchého „zahradu s kusem pole jenž vinice slove“ za 47 zlatých míšeňských. V 18. a počátkem 19. století zde žila rodina Mojžíšova. Jan Mojžíš, toho času šafář Rýzmburský, nechal vlastním nákladem před svým obydlím zbudovat v roce 1787 kamenný kříž, o kterém se píše, že byl dva sáhy vysoký a opatřený kamenným zábradlím. Dnes již nečitelný nápis na podstavci tvořily iniciály I. M. a letopočet 1787.
Původní stavení, které se nacházelo za křížem, bylo situováno souběžně s hlavní cestou. V roce 1929 bylo silně poškozeno vichřicí a v době okupace zbouráno. Výměnečná chalupa (nyní čp. 12) směřující kolmo na hlavní cestu byla ve čtyřicátých letech přestavěna.
Cesta z Babiččina údolí na Rýzmburk a dále k Žernovu vede přes Bílý kopec. Nejintenzivněji tato místa návštěvník vnímá, jestliže je nucen právě v uvedeném směru zdolávat prudké stoupání. Jeho pozornosti proto nemůže uniknout rovinka v půli kopce, která bývala místem, kde do roku 1810 stával velký ovčín, v jehož ohradách nacházelo útulek až deset kop ovcí. Na svahu pod ovčínem, kde je nyní les, bývala chmelnice a při ní „zahrada na vaření“, v níž se pěstovala zelenina, kterou byla zásobována hradní kuchyně. Dobové snímky s totožnými záběry jsou dokladem neustále se měnící tváře krajiny a to i v době poměrně nedávné. Zatravněný svah s dominantou pyramidálního dubu na obzoru vystřídal po pětatřiceti letech vzrostlý les.
Stranou zmíněné cesty zůstává hájovna pod Rýzmburkem (čp. 6). Dříve na jejím místě stávala pila, postavená kolem roku 1800. Později k ní přibyla stoupa na drcení kostí, stroje na dělání šindele a konečně i zařízení na výrobu třísla9 . Posledním nájemcem byl pan Vavřina. V lednu 1890 při dělání třísla se neopatrností některého z dělníků od lampičky tříslo vzňalo a celý objekt vyhořel. V následujícím roce byl na tomtéž místě postaven domek pro panského cestáře, nazývaný dnes hájovnaIO
Na opačném konci Rýzmburského katastru se nachází Šibeniční rokle. Pro postrach a potrestání zločinců byla zde v minulosti postavena šibenice. O tom, že sloužila svému účelu, nasvědčují lidské kosti nalezené v roce 1862 panem Mikšem z Červené Hory při skopávání panského úhorull . Popraviště se nejspíš nacházelo poblíž kamenného mostku, přes který od nepaměti vedla stará cesta původně spojující hrady Rýzmburk a Červená Hora. Nejenže mimo nalezených kostí po šibenici nic nezbylo, ale i stará cesta spolu s mostkem propadá zkáze, zatímco za roklí ji definitivně pohltilo rozorané pole.
Dlouhou historii má také Rýzmburský rybník, který v 50. a 60. letech byl na čas mimo provoz, ale v roce 1967 došlo opět k jeho obnově. Jedná se sice o neověřený předpoklad, ale celý ten široký dolec, který napříč protíná hráz a v jehož hořejší části se onen rybník nachází, přiipomíná původní lom, kde se těžil kámen na výstavbu hradu.
Pozoruhodným přírodním úkazem je bohatý zdroj pitné vody vyvěrající ze stráně pod Rýzmburkem nad cestou mezi bývalým splavem a Cerveným mostem. Většinou jej známe pod názvem „Mergl“, přestože jeho oficielní označení uváděné na lesnických mapách zní: „Pramen Jakuba Míly”. Z geologického hlediska činí prostředí prameniště slín, což je vápenitá hornina žluté až šedé barvy obsahující menší procento hlinitých součástí. V minulosti se zde ve značné míře těžil a používal se k vápnění polí. Je dokonce možné z něj vyrábět i cementi. Jaký je původ pramenů a jejich podzemní bludiště, není zcela jasné, protože ve směru předpokládaného toku leží Rýzmburk, kde byl vždy vody nedostatek. Tento problém pomáhal v minulosti řešit trkač, zbudovaný poněkud výše nad cestou, který vodu potrubím tlačil do Rýzmburského dvora. Ještě v padesátých letech se ozývalo jeho pravidelné trkání. Místní označení je pouze německý ekvivalent horniny, o kterou se zde jedná. Svoje kouzlo mají tato místa v každém ročním období.

Zdroj: www.knihovnazernov.webk.