裴氏家族的始祖为赢秦始祖非子之后，在周僖王时，第六世的孙陵被封为解邑君，便去“邑”从“衣”，以“裴”为姓，汉朝时，裴晔为追求家族的兴旺发达，选中了裴柏这块地方定下祖庄，从此裴氏家族成为千年兴旺之族。

裴氏家族传承两千年，是中国封建社会史上最负盛名的第一大世家，其家族人物之盛、德业之隆，在历史上十分罕见。

在历代所修的县志、州志、府志、省志中，裴氏名人几乎占了乡贤录中四分之一强的条目，由此可见其家族之盛。

据《裴氏世谱》统计，裴氏家族在历史上曾先后出过宰相59人，裴氏家族的裴柏村也被称为宰相村。