Francois Clary var en mycket förmögen köpman, som handlade med parfymer, silke och textilier över hela östra Medelhavsområdet. Familjen ägde ett hus vid Place Saint Michel i Marseille, Frankrike. Francois var gift 2 gånger och hade 13 barn. Ett av barnen var Désirée, som blev drottning i Sverige