La concession du terrain remonte à 1794, alors que Les RRPP Jésuites concèdent le terrain à Louis Bazinet. Il y bâtit une maison de pièces sur pièces ainsi qu'une grange. Joseph Guérin, dit Lafontaine ainsi que Joseph Decombre, dit Porcheron en sont les brefs acquéreurs jusqu'à ce que Robert Sheldon, chirurgien, bâtit, entre 1807 et 1825, une maison de pierre, à pignons de colombages lambrissés de planches verticales et un toit couvert de bardeaux de cèdre. Une partie de la maison est utilisée comme "bureau de consultation".

En 1825, Joseph Twiss, marchand et horloger fait l'acquisition de la propriété qu'il partage deux (2) ans plus tard avec son frère Austin; l'ancien bureau de consultation devient alors une boutique.

Lors du grand feu du mois d'août 1846, la maison subit de sérieux dommages, ainsi que la plupart des maisons du bourg.

Joseph Tremblay achète la propriété en 1847. Il utilise la brique américaine pour rebâtir les pignons. Le toit aura une charpente plus simple, à chevrons et sera à nouveau de bardeaux percé de quatre (4) lucarnes. L'ancien magasin deviendra un logement avec les années et conserve cette vocation encore aujourd'hui.

En 1977, Monsieur et Madame R. Cuillerrier, alors propriétaires, décident de restaurer cette splendide demeure car le poids des années se fait sentir. La maison reprend alors les allures que lui avait conférées son propriétaire cent trente (130) années plus tôt. Depuis le coin des rues St-Georges et St-Jacques est devenu un centre d'intérêt des plus convoité.