公元1278 年，南宋爱国名将文天祥被俘，解往大都时，曾经过济宁所在的济州。他曾在诗中这样描述当时的济宁：“百草尽枯死，黄花尽秋色”、“路上无行人，烟火缈萧瑟”。
不过，这样的情况也许仅仅只持续了几年甚至十几年的时间，济宁就顺利地完成了一个华丽的转身，当年在元朝担任枢密副使的马可·波罗，曾在游记里这样描述济宁：“济宁，这是一个雄伟美丽的大城，商品与手工艺制品特别丰富”，“河中航行的船舶，数量之多，几乎令人不敢相信。河中航行的船舶往来如织，仅看这些运载着价值连城的商品的船舶吨位与数量，就会令人惊讶不已”。
因为大运河的开通，济宁从“百草尽枯死”瞬间转身为“运河重镇”，而到了明代永乐年间，济宁已形成“舟东临四达之衢，商贾集五都之市”、“冲繁遂甲山东”的要冲之地。
更为重要的是，就在济宁以北不远的南旺，修建了南旺分水枢纽工程，因此这时候的济宁无比重要，可以说关乎着运河的生死。
也正因为如此，明永乐九年，朝廷在济宁设总理河道、总督河道，简称“总河”，成为了运河最高行政管理机构。而清顺治年间，则在济宁设立了河道总督衙门，主要负责运河的行政管理，总理运河营防，掌管催调、护送粮船等工作。
在史料记载中，河道总督衙门的大体规模可谓不小：“旧址东西约140 米，南北约260 米，占地面积约为36400 平方米。旧衙分左、中、右三路，门、亭、楼、房等各类建筑100 余间，中路的前三进院是官衙，后部是官员内宅，两侧为下属厅堂的办公用房。”不过遗憾的是，最终这座衙门毁于日军的炮火之中。
在济宁太白楼中路的百货大厦北侧一路向东而行，就会来到南北晁家街，济宁一中的西校区即坐落于此，而这里就是当年河道总督衙门的遗址。一中旁边就是暖气厂房，从一中的操场到暖气厂房这一大片，就是衙门的全部遗址所在。
从2001 年开始，济宁市运河文化研究会的专家学者们就开始不断地呼吁，希望可以对河道总督衙门进行保护：“比如说把居民迁走，在原址上重新修复衙门。”济宁市文物局也在近年来对于衙门进行了发掘工作，发现了多处建筑基础和砖铺地面：“甚至连衙门的院墙根基也通过科技手段探测到了。”但是由于各种原因，此事至今未能成行。被占压的“衙门”，或许成了济宁运河谈资里的一个难以启齿的遗憾。
类似的遗憾似乎还很多。在如今的济宁，如果说起大运河，当地人往往首先想到的是济宁市西边的梁济运河。1855 年，也就是清咸丰五年，黄河自铜瓦厢决口改道，古京杭大运河被黄河截断。黄河以南到南四湖一段的大运河，河道弯曲，水源不足，又因年久失修，河床淤淀，导致京杭大运河停运。
好在随着新中国的建立，京杭大运河又有了新的使命——向南方输送煤炭等物资。因此从1958 年开始，政府开始开挖梁济运河，这也使得京杭大运河改道，从济宁市西边绕城而过。原本流经济宁城区的古运河河道，则成为了济宁市的一条景观河，当地有岁数的老人，都喜欢将这条古河道称为“运粮河”。
而在这条运粮河畔，则坐落着京杭大运河上唯一一座“国宝”级清真寺——顺河东大寺，该寺占地7200 平方米，建筑面积达到了4000 多平方米，寺中的建筑保存完好，是国家级重点文物保护单位。当地信奉伊斯兰教的民众，运河上的回族水手和河工，他们促使东大寺逐渐繁荣起来。
当繁华渐逝，往往是落寞寂然。历史风烟中飘过的很多遗憾，莫过如此。出济宁城区一路向北，老的京杭大运河基本已经死去。随着时间的迁移，运河故道大多化作良田、道路甚至农房的宅基地，仅存的断流河道也多是泥沙淤积，难见当年运河风采。