Jean-Michel Baylet est le fils de Jean Baylet, député-maire radical de Valence-d’Agen et d’Évelyne Isaac, qui ont assuré successivement la direction du groupe de presse La Dépêche du Midi.

Marie-France Marchand-Baylet, qu’il a épousée en 1985, dirige le comité financier du groupe La Dépêche, ainsi que l’hebdomadaire d’annonces légales La Gazette et dirige la Fondation La Dépêche . Marie-France a repris la direction des magazines d’Hima Média, après la destitution de Jean-Christophe Tortora, considéré trop proche de Dominique Baudis, « le plus grand adversaire de La Dépêche ».

Jean-Michel Baylet a trois enfants : Victoria, chargée de mission à la Fondation « La Dépêche », Jean-Nicolas, nommé directeur délégué de La Dépêche du Midi en janvier 2011 auprès de la direction générale du groupe, puis directeur général adjoint et directeur de la publication en septembre 2012 et Jean-Benoît, qui copossède la société Vicking avec sa mère.

Au moins, cet "homme de gauche" aura évité le chômage à quelques personnes... Ses enfants certes, mais c’est toujours ça...