Il libro si compone di due scritti speculari. Il primo, "Il ritratto di un uomo invisibile", è una meditazione sulla scomparsa del padre, scritta qualche settimana dopo la sua morte. "Niente è più terribile che trovarsi faccia a faccia con gli oggetti di un morto. Le cose di per sé sono inerti: assumono significato solo in funzione della vita che ne fa uso", scrive Auster nel passare in rassegna le carte e gli oggeti del padre. Nel secondo "pezzo", "Il libro della memoria", l'autore sposta la sua attenzione dalla sua identità di figlio a quella di padre: riflette sulla condizione solitaria dello scrittore e prova a immaginare quella che sarà fatalmente la separazione dal figlio che cresce.