Majitelů hradu se v průběhu 14. – 16. století vystřídalo mnoho. Z těch významnějších to byli Vartenberkové (prvními vlastníky), páni z Dubé nebo Šlejnicové ze Saska. Jiří Šlejnic v roce 1548 založil hornické město St. Georgenthal, tedy dnešní Jiřetín pod Jedlovou, který se nachází severně pod hradem. V období třicetileté války v roce 1642 Tolštejn oblehla švédská vojska. Hrad nejen že dobyli, ale i vypálili pomocí zápalných koulí.
Po této události již nebyl Tolštejn obnoven. V pozdějších konfliktech sloužil jen jako pozorovací místo. Značnou část hradu poté rozebrali obyvatelé z blízkých vsí. Zříceninu hradu zviditelnil místní rodák Johann Josef Münzberg. Ten nechal v roce 1865 postavit hradní restauraci. Provoz živnosti byl podmíněn ochranou zbytků zdiva před krádežemi. Rod Münzbergů vlastnil restauraci až do roku 1992. V roce 1996 začala postupná oprava hradu, která pokračuje až do dnešních dnů.
Na Tolštejn vede červená značka z obce Lesné (1,5 km). Červená pak pokračuje na Jedlovou (2,5 km) – výlet tak můžete prodloužit o výstup na kopec. Pod hradem vede cyklotrasa č. 3015 a na kole jde vyjet až k hradní restauraci. Přímo pod hradem je i parkoviště. Přístupová cesta na hrad je lemována zachovalými zdmi a torzy věží. Vstup na hrad se platí o kousek dál v restauraci. Od restaurace vede na hlavní vyhlídku strmé železné schodiště. Pěkný výhled je zejména na Jedlovou a okolní vrcholy Lužických hor.
