金水区是郑州市中心城区，因流经辖区、起源于春秋战国时代的金水河而得名。

解放前，辖区属郑县管辖。1948年郑州解放，郑县分为郑州市和郑县，辖区城区部分属市、农村部分属县。1953年撤销郑县，成立郊区，辖区城区部分归陇海区、二七区和建设区，农村部分属郊区。 1960年4月，金水人民公社成立；1961年8月更名为金水区，区辖9个街道办事处和海滩寺农业公社。1987年3月，郑州市进行区划调整，撤销郊区、金海区，原郊区的柳林乡、祭城乡、姚桥乡和原金海区的庙李乡划归金水区，金水区的刘砦街道办事处划归邙山区。