孔子死后，弟子们把他葬于曲阜城北泗水之上，那时还是“墓而不坟”（无高土隆起）。到了秦汉时期，虽将坟高筑，但仍只有少量的墓地和几家守林人后来随着孔子地位的日益提高，孔林的规模越来越大。东汉桓帝永寿三年（157年）， 鲁相韩勅修孔墓，在墓前造神门一间，在东南又造斋宿一间，以吴初等若干户供孔墓洒扫，当时的孔林“地不过一顷”。到南北朝高齐时， 才植树600株。宋代宣和年间，又在孔子墓前修造石仪。元文宗至顺二年（1331年），孔思凯主修了林墙，构筑了林门。明洪武十年（公元1684年）将孔林扩为3000亩的规模。雍正八年（1730年）， 大修孔林耗帑银25300两重修了各种门坊，并派专官守卫。