玄武湖的历史最早可追溯到距今2220多年前的先秦时期。从公元前221年的先秦到西汉玄武湖分别称作秣陵湖、蒋陵湖。南朝时，玄武湖进入它在历史上的鼎盛时期。出于帝王都“四神布局”的需要，又由于宋元嘉年间湖中两次出现所谓的“黑龙”，湖名开始改为“玄武”。从东晋到梁代，玄武湖先后有过昆明湖、饮马塘、练湖、习武湖、练武湖等名称。隋唐以后，玄武湖随着都城的北移，逐渐衰落下来。 

 到明朝玄武湖的命运再度发生变化，明洪武十四年（1381年），朱元璋选中玄武湖作为明朝中央政府黄册的存放地，建后湖黄册库（相当于现在的中央档案馆）。玄武湖从此作为一代禁地，与外界隔绝了二百六十多年。明亡以后，玄武湖重新对外开放，清朝的皇帝康熙、乾隆均曾来此游历并留下诗词。清朝同治以后，玄武湖有了一些园林建筑，其两江总督曾国藩在梁洲重修湖神庙，并增建湖心亭、大仙楼、观音阁、赏荷厅。后清大臣左宗棠还修筑了连通孤凄埂与梁洲的长堤，解决了游玄武湖“必自太平门出，令舟而行”的不方便状况。清宣统元年（1909），端方、张人骏开辟丰润门（今玄武门），筑新堤，扩大湖内绿地，徐绍桢又建陶公亭及湖山览胜楼。 进入民国，玄武湖开始有了相应管理机构，1928年9月又改园名为“五洲公园”。1934年4月，重改“五洲公园”为“玄武湖园”，绿地面积进一步扩大，花卉品种增多，一批建筑如玄武厅、诺那塔、 凇沪抗战纪念塔等先后落成。 解放以后，人民政府对玄武湖进行了大规模的扩建改造，迁出湖民，广植花草，多增景点，面貌全新。