隋朝大運河的前身是由公元前5世紀由吳國開鑿的邗溝，它從如今的揚州附近的邗溝將長江水引流向北，經高郵、淮安等地進入淮河，進而成功溝通了長江和淮河兩大江河。
隋朝大運河由于公元7世紀初定都洛陽的隋朝開始修建。于公元605年開通濟渠，將洛水東引進入黃河，再引黃河水至如今的河南滎陽北，經鄭州等地與邗溝相通。又于公元608年開鑿永濟渠，北上天津、河北涿郡。公元610年，開鑿了一條長約400km的江南運河，從江蘇鎮江直達杭州，至此，隋朝大運河全部開通，全程達2700多km。
而后，隋朝大運河歷經山河變遷到了元代。在元代將全國政治中心遷移至北京后，為縮短隋朝大運河的航線，與公元1283-1293年間，先后挖通了通惠河、會通河、濟州河，將運河縮短900多km，改為直線。