清朝末年，朝廷筹建卢汉铁路。卢汉铁路是北京卢沟桥至湖北汉口的铁路，是中国第一条南北铁路干线。天津关道盛宣怀被任命为督办大臣，统筹卢汉铁路的修建。盛宣怀在对卢汉铁路进行勘察时，将郑州列为最高等级的一等站。郑州随即成为卢汉铁路的重要枢纽。 不仅如此，1905年动工建设的陇海铁路，也将郑州作为重要的站点。这样一来，郑州就成为中国两条南北铁路干线的交汇点，有“中国铁路心脏”的美誉。南来北往的铁路干线，让郑州变得繁荣昌盛起来，成为当时中国有名的铁路枢纽和商品集散中心地之一。或许正是因为此，1954年，河南省将省会从开封迁往郑州。这一举动，再次促进郑州的发展。所以，人们称郑州是一座“火车拉来的城市”。

郑州依然保持着中国铁路心脏的美誉。除了京广铁路和陇海铁路外，还有京广高铁、郑西高铁、郑徐高铁、郑渝高铁、郑合高铁、郑济高铁、郑太高铁等7条高速铁路交汇于郑州。郑开城际铁路、郑焦城际铁路、郑机城际铁路、郑洛城际铁路、郑登洛城际铁路、郑许城际铁路、郑平城际铁路、郑新城际铁路等8条城际铁路，织成了一道密密麻麻的铁路网。 郑州城区及其周边，分布着27个各种级别和类型的火车站。其中，包括郑州站、郑州东站、郑州北站、郑州南站、圃田西站5个特等站。郑州北站是亚洲最大的列车编组站，圃田西站则是中国最大的零担货物转运站。