五芳斋得名于清道光年间，创始人姓沈，浙江吴县人。起初沈氏在吴县齐门外开了一家甜食铺，以玫瑰、桂花、莲心、薄荷、芝麻等五种苏州人爱吃的东西作为原料，制作桂花圆子、赤豆糖粥焐酥豆、莲心羹、冰雪酥、玫瑰糕等甜食小吃。
沈氏膝下生有五个女儿，分别取名玫芳、桂芳、莲芳、荷芳和芝芳，恰好和店里常用的原料在字面上有相通之处，街坊邻居就开玩笑地称他的店叫"五芳斋"。