František Josef měl o 2 roky mladšího bratra Maxmiliána, se kterým neměl nejlepší vztahy, protože zatímco František Josef byl konzervativního smýšlení (ctil staré pořádky), Maxmilián byl liberálního (svobodomyslného) smýšlení. Rád se věnoval botanice a podnikl cestu do Brazílie za studiem exotických rostlin.

Latinská Amerika se mu bohužel stala osudnou: roku 1859 mu byla mexickými povstalci nabídnuta mexická koruna. Maxmilián nejprve váhal, ale po vojenské podpoře francouzského císaře Napoleona III. ji nakonec roku 1863 přijal. V Mexiku se však rozhořela krvavá válka mezi stoupenci císařství a stoupenci republiky, které hojně podporovaly sousední USA. I francouzská vojska Napoleona III. se musela stáhnout zpět do Evropy, protože se očekávala nám již známá prusko-francouzská válka. Maxmilián byl nakonec republikány zajat a zastřelen.

Manželkou Františka Josefa byla princezna Alžběta z bavorského rodu Wittelsbachů, která je známá pod zdrobnělým jménem Sissi. Alžběta Bavorská platila za jednu z nejkrásnějších dam tehdejší Evropy. Není divu, že František Josef byl do ní velice zamilovaný, ale ona se necítila ve Vídni příliš šťastná a jejich manželství po narození korunního prince Rudolfa postupně ochladlo. Alžběta začala cestovat, ale stala se obětí atentátu. Roku 1898 ji ve švýcarské Ženevě probodl pilníkem italský anarchista.

Jediným synem, který se z manželství Františka Josefa a Alžběty Bavorské narodil, byl korunní princ Rudolf. Jeho život byl jedním velkým neštěstím. Jeho matka Sissi se věnovala hlavně cestování, jeho císařský otec mu nedokázal projevit lásku a příliš se o něj nezajímal. Měl rád ženy a nakazil se kapavkou, kterou později nakazil i svou manželku Štěpánku Belgickou, takže po první dceři již další děti mít nemohli. Nemoc mu způsobovala bolesti kloubů, které tlumil alkoholem a morfiem. Uvědomoval si, jak je Rakousko-Uhersko po prohrané prusko-rakouské válce závislé na Německu a kritizoval to, což mělo za následek jednak jeho špiclování německými agenty, jednak další hádky s otcem. Manželství s belgickou princeznou Štěpánkou, přezdívanou ve Vídni "chladná blondýna", nebylo vůbec šťastné. Manželé se neustále obviňovali a hádali, což Rudolf řešil vyhledáváním dalších milenek. Nakonec se s jednou ze svých milenek na rakouském zámku Mayerlingu zastřelil. Jeho otec prý strávil u synovy rakve celou noc a když ráno vyšel z krypty, údajně zcela zešedivěl...

Po sebevraždě císařova syna Rudolfa se následníkem trůnu po Františku Josefovi měl stát jeho synovec František Ferdinand d'Este. S císařem se ale vyloženě nesnášeli: František Ferdinand se netajil tím, že až se stane císařem, zvolí úplně jinou politiku než František Josef. Nenáviděl Maďary a sliboval, že Rakousko-Uhersko přetvoří ve federaci, ve které každý národ bude mít rovnocenné postavení... Jinak byl ale František Ferdinand cholerický, výbušný a konfliktní člověk: byl schopen se rozzuřit kvůli každé hlouposti, například, že mu nějaká babka v oboře zámku Konopiště ukradla otýpku dříví... Císaři dělal i starosti tím, že si prosadil sňatek s "pouhou českou hraběnkou" Žofií Chotkovou. Císař nakonec sňatek povolil, ale vymínil si, že jejich synové budou vyloučeni z nástupnictví na trůn... Manželství Františka Ferdinanda a Žofie bylo jinak velmi harmonické, protože byli oba cholerických povah :-) Nakonec se však František Ferdinand nástupu na trůn stejně nedočkal: v červnu 1914 se s Žofií stali obětí atentátu v Sarajevu, kterým začala první světová válka.