En 1663, il apparaît clairement à la cour que le ventre de la maîtresse de Louis XIV, Louise de la Vallière commence à s'arrondire. Elle disparaît soudain de la cour et se réfugie au palais de Brion, acheté par Colbert sur ordre du roi pour sa favorite. Mademoiselle de la Vallière y met au monde son premier enfant dans le plus grand secret. Le 19 décembre, Louise est accouchée d'un garçon qui est baptisé sous une fausse identité : Charles, fils de M de Lincourt et d’Elisabeth de Beux. C'est Mme Colbert qui prend soin de l'enfant.

Le 7 janvier 1665, la favorite donne naissance, toujours dans son palais de Brion, à un second fils qui fut comme son frère aîné baptisé sous un faux nom : Philippe, fils de François Dercy et de Madeleine Bernard. Il rejoignit le jeune Charles chez les Colbert aux Tuileries.

Les deux fils aînés de Louise et du roi moururent avant d'avoir été légitimé. Charles succomba à la fin de l'année 1665 d'une grippe. Il n'avait jamais vu ses parents. Philippe recevait rarement les visites du roi son père mais  plus souvent celles de sa mère qui essayait toujours de passer un maximum de temps avec lui. Louise qui aimait le calme et la discrétion fuyait la cour autant que possible pour rejoindre son fils à l’hôtel de Brion  ou dans son appartement à Vincennes où elle pouvait voir Philippe en toute intimité. Auprès de son enfant, la favorite royale faisait de la broderie entre deux cajoleries.   Philippe, qui était avec Mme Colbert quand sa mère n’était pas là, fut emporté au mois juillet de l'année 1666 un soir d'orage où le tonnerre grondait. Louise de la Vallière devait encore mettre au monde deux enfants, Mlle de Blois et le comte de Vermandois légitimés par Louis XIV.

Charles et Philippe n'ayant jamais "existés" pour la cour, il n'y a pas de portraits d'eux.