儿子潘惟德，官至宫苑使。潘惟固，官西上阁门使。潘惟清，官拜崇仪使。潘惟熙，娶秦王女（赵德芳之女），官拜平州刺史。从子潘惟吉（后周纪王柴熙，为潘美养子）惟维吉为刺史（将军），其子潘夙，字伯恭，大名人。宋开国功臣 潘美从孙。仁宗天圣中，上书论时政，授仁寿主簿。知韶州，擢江西转运判官，转提点广西、湖北刑狱。因平邵州蛮之叛，破其围峒九十，徒知滑州，改湖北转运使、知桂州。入为司封郎、知昭问馆，历度支监铁副使、知河中府，迁光禄卿、知荆南、鄂州，卒于70。夙以将家子，而能留心旁务，用当其才。潘夙子潘必正为举人，词人《潘必正词选》。女儿潘氏，即章怀皇后也。宋太宗把潘美的第八个女儿聘为儿媳，封莒国夫人。但她22岁死去，赵恒即位真宗后谥为庄怀皇后（后改为章怀皇后）。