Sur l'emplacement du bâtiment actuel, s'élevait au XVIe siècle l'hôtel de François d'O, gouverneur de Paris, favori de Henri III. En 1656, les religieuses hospitalières de Saint-Anastase, ou de Saint-Gervais, achètent l'hôtel d'O pour en faire un hospice pour les pauvres. En 1795, la communauté est supprimée. En 1811, le gouvernement impérial décide de faire construire à Paris cinq marchés de quartier. Le 21 mars 1813, l'empereur Napoléon signe le décret impérial suivant : « Le marché qui, aux termes de notre décret du 30 janvier 1811, devait être construit sur la place Saint Jean1, sera transféré dans l'emplacement de l'ancien hospice Saint Gervais situé rue Vieille-du-Temple, en face de celle des Blancs-Manteaux. Cet emplacement qui appartient aux hospices sera acheté par notre bonne ville de Paris ». La première pierre est posée le 15 août 1813, par Éloi Labarre et l'édifice est achevé par Pierre-Jules Delespine en 1819. Pour faciliter la circulation autour du marché, de nouvelles rues sont créées, la rue des Hospitalières-Saint-Gervais, qui relie la rue des Rosiers à la rue des Francs-Bourgeois, et la rue du Marché-des-Blancs-Manteaux, rue en deux tronçons séparés, qui longent les deux façades latérales du marché. Pour des raisons d'hygiène, la boucherie est installée dans une halle séparée, édifiée de l'autre côté de la rue des Hospitalières-Saint-Gervais ; elle est inaugurée le 5 juin 1823. La façade de cette halle de la boucherie est décorée de deux fontaines dont l'eau se déverse dans des bassins, par deux têtes de taureaux en bronze de style assyrien antique, dues au sculpteur Edme Gaulle.