清光绪八年（1882年），普陀山慧根法师朝五台，历峨眉，入西藏，到印度，礼佛后过缅甸，在当地华侨的赞助下，开山取玉，雕成五尊玉佛，并请回普陀山。路经上海时，留下坐佛、卧佛各一尊，即在江湾镇造庙供奉，称玉佛寺。

最早的玉佛寺是清光绪二十六年（1900年）建立在吴淞江湾车站之侧，由慧根法师的弟子本照法师任持。辛亥革命后，寺毁于兵火，仅玉佛幸存。一度以盛宣怀舍殚根路（今维安路）别墅为寺，供奉玉佛。

民国七年（1918年），佛寺毁于兵火，故择现址重建，新寺易名为“玉佛禅寺”。民国七年（1918年）起，佛教禅宗支派临济宗僧人可成法师在今址建新寺。经过十年的“躬营奋筑”，相继落成了佛殿、楼阁、斋厨等仿宋寺庙建筑群，使玉佛寺“丹艧觚绫，崇闳壮丽，蔚为巨刹，甲于海上。”

民国三十一年（1942年），玉佛寺住持远尘法师曾在寺内创办了上海佛学院。邀请镇江竹林寺震华法师任院长兼教务长，招收学僧30人。后因种种原因办。

新中国建立后，国家多次进行拔款进行维修。

1963年1月8日，周恩来总理亲自陪同斯里兰卡总理班达拉奈克夫人来到玉佛寺，参加为纪念斯里兰卡前总理班达拉奈克诞辰64周年举行的纪念法会。

“文化大革命”中，在市委的保护下，各级政府、有关单位和广大干部群众及寺内僧人相互配合，使整个寺院建筑完好地保存下来，经卷佛像、法器法物也安然无恙，两座玉佛完好无损，一切佛教活动都停止。

1976年10月以后，为落实宗教信仰自由政策，玉佛寺又重新作为佛教活动场所恢复开放，成立了“玉佛寺管理委员会”，流落僧人纷纷回寺。还拔出资金，对年久失修的寺庙进行了维修。十一届三中全会以来，玉佛寺交从自己管理，由上海市佛教界人士按寺庙体制推了方丈、监院等僧职。

1979年，由真禅法师担任玉佛寺的住持，恢复了佛教十方丛林制度。

1981年起，恢复举办各类佛事法会。

1983年，上海市佛教协会在玉佛寺恢复了上海佛学院。

2006年7月，玉佛禅寺与华东师范大学联合，发起成立“华东师大觉群佛教文化研究所”，并出版《人间佛教的都市发展模式》、《西藏佛教与和谐社会》两部研究专著。