Eduqué de façon libérale mais stricte, Jean d'Ormesson a connu les femmes assez tardivement. C'est à l'âge de 21 ans qu'il commence à s'y intéresser et commence à rattraper son retard dans le domaine des sentiments et des relations intimes : J'ose à peine vous dire à quel point j'ai connu les femmes. Ça m'est venu à 21 ans et, à partir de là, ça a eu des conséquences désastreuses," explique l'écrivain dans les colonnes de "Gala" avant d'ajouter qu'il a aussi connu pas mal d'hommes, même s'il n'est pas homosexuel. Trop distant avec les femmes, Jean d'Ormesson explique avoir été de "chagrin d'amour en chagrin d'amour".
C'est finalement en 1962 – alors qu'il a déjà 36 ans, que Jean d'Ormesson décide de se marier avec Françoise Béghin avec laquelle il est aujourd'hui toujours en couple. Au sujet du mariage, l'auteur se veut particulièrement clair : " Pour le reste, le mariage c'est quarante mauvaise années à passer et puis après, c'est épatant. La vie devient délicieuse à partir de soixante ans. On ne se lasserait pas de vivre, si l'on ne tombait malade."
Très attaché à son épouse qui l'accompagne depuis de si nombreuses années aussi bien dans les bons moments que dans les moments plus compliqués, Jean D'ormesson ne se prive pas pour souligner combien elle est formidable " Il n'y a rien d'autre que les femmes. La mienne est merveilleuse, elle a été formidable pendant ma maladie. Elle n'est jamais au-devant de la scène et a toujours été d'une grande patience."
La preuve s'il en fallait que certaines histoires d'amour arrivent à passer les années sans se détériorer.