明清时期，渑池全县编为30里，后并为25里。义马市所属村庄，分属东一里（石河、礼召、马岭、裴村一带）、东二里（付村、石门、茂岭一带）、东三里（千秋、三十里铺、河口、梁沟、二仙洼一带）和南二里（义马、常村、程村、霍村、石佛、方沟一带）。

民国二十年（1931年）办理自治，划渑池全县为6个区，义马市区各村镇分属于第三区（区政府设笃忠）、第四区（区政府设仁村）。民国二十五年（1936年）改区设乡镇，渑池县原三、四区合并为新二区（区署设常村），辖有义马市大部分地区。民国三十一年（1942年）废区设署，渑池全县划为11个乡镇，义马市区各村分属常村乡和千秋镇。

1956年，撤区并乡，义马属渑池县千秋镇，一部分地区（石佛一带）属洪阳中心乡。

1958年，实现公社化。

1963年，成立千秋人民公社，同年12月，划出义马、常村、三十里铺三个大队成立义马镇。

1968年，千秋公社与义马镇合并为义马公社。

1970年7月，成立义马矿区，辖有原义马公社的石佛、马庄、南河、常村、河口、苗元、程村、湾子、霍村、义马、千秋、礼召、二十铺、马岭、裴村、郭庄、付村、石门、梁沟、三十里铺等20个大队，分设千秋公社、常村公社和义马镇。

1981年，义马市成立，下设两个乡（常村乡、千秋乡）和四个（新义街、朝阳路、常村路、千秋路）。

1982年，经上级批准在千秋乡裴村、马岭建新市区。

1985年4月，市政府机关由东工地搬迁至新市区，市区逐渐形成规模。

1995年，千秋乡撤乡建镇。

1996年，常村乡撤乡建镇。

1998年，设立泰山路。

2006年，全市下辖新区、东区两个涉农街道和千秋路、朝阳路、常村路、新义街、泰山路五个街道。

现义马下辖7个街道：新区街道、东区街道、千秋路街道、朝阳路街道、泰山路街道、常村路街道、新义街街道。