军博兴建于1958年10月，1959年7月建成，1960年8月1日正式开放，是向国庆十周年献礼的首都十大建筑之一，也是我国第一个综合类军事历史博物馆。
本报1959年8月17日1版的报道《军事博物馆建筑雄伟》中记载，座落在复兴门外玉渊潭旁的这座博物馆，从破土动工到施工建成只用了9个多月。新落成时，军博就气势雄伟，差不多相当于两个1954年建成的北京饭店新楼。其平面呈山字形，正面中央是7层建筑，顶上又矗立着37.37米高的塔座，承托了一个直径6米、重达8吨的中国人民解放军军徽。从军徽到地面，高度是94.7米，比上一年竣工的中央广播大厦高15米。
军博每一层楼房的高度相当于一般民用建筑的两倍、三倍甚至更多。整个博物馆的建筑面积是6万多平方米，有20个式样大致相同的展览厅，展览面积达2.9万多平方米，比北京展览馆的展览面积大一倍多。而且，军博内部要安装大量的大理石、石膏花饰，要描绘细腻的油漆彩画。能够在9个多月的时间内完工，军博的建设速度是空前的。
军博建设速度之所以这么快，重要原因是得到了全国的大力支援，这里面，既凝结着四千名解放军官兵的辛勤劳动，也凝结着来自21个省市的三千名支援建设的工人和无数承担订货制造、材料运输任务的劳动者的出色劳动。
