潭柘寺始建于西晋愍帝建兴四年(316年)，是佛教传入北京地区后修建最早的一座寺庙。始创时规模不大，名叫嘉福寺。

唐代会昌年间，唐武宗李炎崇信道教，在道士赵归真和权臣李德裕的怂恿下，唐武宗下令在全国排毁佛教。

辽代时期由于幽州地区律宗大盛，而禅宗则发展缓慢，潭柘寺的香火衰微。