臺兒莊運河在明萬歷年間修通后，臺兒莊遂成南北漕運咽喉要塞，于是“商賈輻輳”，其中不少是外來的回教徒。為有一個禮拜之處，他們便在臺兒莊城東門里修建了一座小型的清真寺。清朝初年，漕運的繁榮帶來了臺兒莊的興盛，“商旅所萃，居民饒給，村鎮(zhèn)之大，甲于一邑，俗稱天下第一莊”，在臺兒莊定居的回族客商越來越多，原來的清真寺已不能滿足其朝拜之需要。時至清乾隆年間，阿訇李中和倡議重修清真寺，以發(fā)揚光大伊斯蘭教。據(jù)寺前石碑記載：“李中和拋卻浮屠，純講救理。南走蜀閩，北走豫燕，蓄款數(shù)年，功成一旦?！敝匦藓蟮呐_兒莊清真寺，位于臺城大北門內(nèi)的郁記花園舊址，占地38畝。臺兒莊清真寺寺院前大門向東，過廳5間，南北講堂各5間，東西小講堂各3間，西水房3間，大殿25間。后大門向西，門樓兩旁有大理石紫花石鼓一對，光彩照人。院內(nèi)蒼松翠柏，花草葳蕤，清雅宜人。清朝末年，又將南講堂改建成大門樓，大門改為面南，“清真古寺”的門額也換成了“回教堂”。據(jù)考，清真寺大都大門朝東，朝向伊斯蘭圣城耶路撒冷所在的方向，唯有臺兒莊清真寺面南。時至民國初年，阿訇陳性真和鄉(xiāng)老馬振堂先后2次募款修繕，古寺樓堂玉宇，頗為壯觀，蜚聲魯南蘇北，禮拜教民紛至沓來，一時門庭若市。

然而，兵燹之災(zāi)卻將它毀于一旦。1938年春，中日臺兒莊大戰(zhàn)爆發(fā)。臺兒莊清真寺建筑高大堅固，而且偏據(jù)北城，距火線最近，我守軍186團將指揮所設(shè)置于此，遂為中日雙方爭奪的焦點。歷經(jīng)七天七夜的拉鋸爭奪，臺兒莊清真寺淪為焦土，斷壁殘垣上的尸山血河，凝固成極為慘烈的悲壯畫卷。四株古柏，有兩株化為灰燼。幸存的兩株也燒損過半，其中西側(cè)那株主枝缺損，干枯龜裂，煎熬60多年之后死亡，于今只成枯干，依舊傲然立于堂前。另一株雖彈痕斑駁，卻頑強生長，依然枝繁葉茂。西小講堂彈痕累累，其彈痕特別密集的80平方厘米之磚墻，已于1988年10月被中國革命歷史博物館移去陳列。

臺兒莊大戰(zhàn)后，鄉(xiāng)老馬振堂向臺兒莊十幾家糧行募捐，于1942年重修了臺兒莊清真寺。除恢復(fù)原建筑外，又新建了一座高28米的望月樓。望月樓瓷磚綠瓦，翹檐走廊，四面展角，雕梁畫棟，好不氣派，為當(dāng)時臺兒莊最高建筑物。但是，這些建筑在“文革”十年中慘遭浩劫，復(fù)又陷于破敗窘境之中。

黨的十一屆三中全會后，黨的民族宗教政策如雨后春風(fēng)，讓清真古寺再度煥發(fā)了青春。1983年，區(qū)政府斥資5萬元，回族群眾捐資3.5萬元，按原樣重修臺兒莊清真寺大殿。該殿建筑面積120平方米，琉瓦紅墻，金碧輝煌，具有鮮明的民族色彩。此后，區(qū)政府又撥款修建了院墻和水房、門樓以及門外場地，原來的“回教堂”又換成了“清真古寺”門額。重修望月樓，耗資50萬，

2006年大功告成。重建的望月樓為7層建筑共28米高，巍峨聳立的飛檐走壁，為古色古香的臺兒莊清真寺平添幾分清幽壯麗。與此同時，在城區(qū)南部也修復(fù)了古有的清真南寺。方便了伊斯蘭教眾的宗教生活。

在臺兒莊清真寺重建、修建、改建的一系列工程中，臺兒莊區(qū)始終注重保存當(dāng)年臺兒莊大戰(zhàn)的風(fēng)物見證，那斑斑駁駁的墻壁及其密實的彈洞，半枯半榮的古柏及其軀干內(nèi)殘存的彈頭，每天都在無言地吟誦著當(dāng)年慘烈的慷慨悲歌，向世人昭示著中華民族威武不屈的精神和侵略者失敗的必定結(jié)局。