Das imposante Haus wurde 1803 vom Grossvater, dem Tierarzt Rudolf Anker, im Stil der Seeländer Bauernhäuser gebaut. Es gehört der Familie Brefin, Nachfolger der Ankers, und wird von der Stiftung Albert Anker-Haus unterstützt, welche 1994 gegründet wurde. Die Anordnung der Einrichtung sowie die Möbel sind zum grössten Teil noch so, wie Anker und seine Nachfolger das Haus überlassen haben.

Bevor Albert Anker eine Ausbildung der klassischen Malerei in Paris begann, studierte er gemäss dem Wunsch seines Vater – der wie auch der Grossvater Tierarzt war – Theologie. Jahrelang lebte er während der Wintermonate mit seiner Frau Anne, geborene Rüfli, später auch mit seinen Kindern in Paris. Den Sommer verbrachte er in Ins, im Familienhaus, wo er die meisten seiner berühmten Bilder mit Einwohnern des Dorfes als Model zeichnete. Ab 1890 wohnte und arbeitete er in diesem Hause bis zu seinem Tode.