Ud over sin familie efterlod Tøger Seidenfaden sig også tre halvsøskende, Annelise Seidenfaden (født 1937), Judith Kaastrup-Olsen og David Emil Kaastrup-Olsen. Hans halvsøster [[Snu Seidenfaden|Ebba Merethe "Snu" Seidenfaden]] (1940-1980) døde i et attentat i 1980.
'''Eftermæle'''
Efter Tøger Seidenfadens død tiltrak han sig atter stor opmærksomhed i den offentlige debat. Det skyldtes bogen "Tøger", som er en biografi skrevet af journalist Stig Andersen. I bogen røber Tøger Seidenfaden blandt andet, at det var Folketingets mangeårige ombudsmand, Hans Gammeltoft-Hansen, der var kilde til journalist Niels Ufers opsigtsvækkende artikler i Weekendavisen under Tamil-sagen. Dette er af mange blevet kritiseret, fordi det bryder med den journalistiske kildebeskyttelse.
I bogen kalder Tøger Seidenfaden også Per Stig Møller for fordrukken, ligesom han retter angreb imod flere tidligere kollegaer.
Han afslører også, at han blev tilbudt en ministerpost af Mimi Jacobsen, samt at hun i en samtale gav udtryk for, at hun ønskede han skulle overtage hendes parti, Centrum-Demokraterne, som hun på daværende tidspunkt var formand for.
Dertil kommer, at Tøger Seidenfaden i bogen fortæller om møderne i den hemmelige Bilderberg-gruppe, hvilket strider imod det referatforbud, som der er i denne.
