Meskipun penuh kasih, menurut sebagian besar, beberapa orang berpendapat bahwa J. Robert Oppenheimer, yang meninggal pada tahun 1967 karena kanker tenggorokan, tidak pernah sepenuhnya terhubung dengan salah satu anaknya, dan kurangnya komunikasi mungkin telah memengaruhi putranya (per AHF). Hal yang sama dapat dikatakan untuk hubungan bermasalah Toni dan Peter dengan ibu mereka Kitty, yang hidup dengan masalah penggunaan alkohol. Kitty (foto) meninggal pada tahun 1972 karena emboli paru.

Kitty merasakan kehamilan Peter di awal hubungannya dengan Oppenheimer membuat pernikahan keempat dan terakhirnya menjadi tegang, dan akibatnya, dia bersikap keras terhadap Peter, yang memiliki sifat pemalu dan tertutup seperti ayahnya. Menurut “109 East Palace: Robert Oppenheimer dan Kota Rahasia Los Alamos,” seorang teman Kitty menyebutkan dia menikahi Oppenheimer dengan cara kuno: “Dia hamil” dan Oppenheimer “cukup polos untuk melakukannya.”

Tidak seperti ayahnya, Peter tidak pernah unggul dalam bidang akademis, baik di sekolah asrama swasta Quaker Pennsylvania, di mana dia gagal lulus, dan di sekolah umum Princeton, New Jersey, di mana dia menulis di papan tulis bahwa anggota pemerintah AS yang menuduhnya ayah Komunisme harus “pergi ke neraka.” Di kemudian hari, Peter dilaporkan bekerja sebagai tukang kayu, dan dia memiliki tiga anak sendiri. Terlepas dari titik-titik masalah itu, dia diduga berbicara positif tentang orang tuanya.