大运河开掘于春秋时期，完成于隋朝，繁荣于唐宋，取直于元代，疏通于明清。漫长的岁月里，经历三次较大的兴修过程。最后一次的兴修完成才称作京杭大运河。

从先秦到南北朝，中国古代劳动人民开凿了大量运河，其分布地区几乎遍及大半个中国。西到关中，南达广东，北到华北大平原，都有人工运河。这些人工运河与天然河流连接起来可以由河道通达中国的大部分地区。例如从现在北京不远的通县起，可乘船顺潞水由泉州渠到沟河口入海，经过一段短短的海程，进入泒河，经过平虏渠，入漳水，经过利漕渠和白沟而入黄河，进入汴渠上游，沿蒗荡渠而下，由颍水入汝水，由汝水的支流舞水入泚水，入淯水，入汉水，入杨口渠，入长江，入洞庭湖，入湘水，入漓水，入西江，沿西江可达番禺城；或由江陵溯长江达巴蜀，以通西南。这四通八达的水道为后世开隋唐大运河奠定了基础。