1960年4月金水人民公社成立，由七一、紫荆山、人民路、杜岭、黄河路、文化区、郑纺机、岗杜、南阳新村9个街道分社和一个农业分社组成。1961年8月，金水人民公社改成金水区，9个街道分社改成杜岭、人民路、花园路、经八路、文化路、南阳路、南阳新村7个街道办事处，农业分社改建成金水农业公社。1980年成立刘寨街道办事处，1984年成立大石桥街道办事处。 1987年全市进行区划调整，撤销金海区、新密区和郊区，成立邙山区。金水区刘寨街道办事处划归邙山区，原郊区的柳林乡、祭城乡、姚桥乡，原金海区的庙李乡划归金水区。2000年5月，金水区撤销海滩寺乡，成立丰产路街道办事处。2002年8月，金水区进行区划调整，成立未来、北林、东风路等3个街道办事处。 2002年底，区辖杜岭、人民路、花园路、文化路、南阳路、南阳新村、大石桥、丰产路、未来路、北林路、东风路、经八路等12个街道办事处，136个社区居民委员会；庙李镇、柳林镇、祭城镇、姚桥乡4个乡镇，70个行政村村民委员会，175个自然村。2005年11月，撤销姚桥乡，设立龙子湖街道办事处。2006年6月，撤销祭城镇，同时设立祭城路街道办事处、凤凰台街道办事处。2000年9月，区四大班子机关由文化路106号迁至东风路16号新址办公。