Der stattliche Gasthof ist im Jahre 1821 vom damaligen Bürgermeister und vermögenden Johann Breidenbach erbaut worden. Das in Ständerbauweise errichtete Gebäude zählte viele Jahre neben der Kirche, der Burg Olpe (Haus Olpe), dem Wiedenhof und dem oberhalb des Friedhofs 1816 errichteten Gebäudes zu den einzigen Häusern im Dorf Olpe.

Nach seinem Tode am 1.1.1832 konnten sich seine Erben nicht über die Vermögensaufteilung einigen. Deshalb kam es 1834 zur Versteigerung der Vermögenswerte von Johann Breidenbach. Die Witwe aus der zweiten Ehe des Johann Breidenbach ersteigerte u.a. das 1821 errichtete Gebäude.

Später, im Jahre 1840, kam es in den Besitz des Georg Schmitz. Dieser hatte die jüngste Tochter des Bürgermeisters geheiratet. Im Jahre 1844 verkaufte Georg Schmitz das Gebäude an die Brüder Wilhelm Haasbach aus Olpermühle und Adolph Haasbach aus Kotterhof. Offensichtlich betrieb zuerst Adolph Haasbach in dem erworbenen Haus eine Gaststätte. Des Weiteren wurde in drei getrennt voneinander liegenden Gebäuden eine Pasche, in der Äpfel zu Apfelkraut verarbeitet wurden, eine Krautpasche und eine Obstkrautfabrik betrieben.

1932 entstand der Saalanbau, der den früheren Festsaal im Obergeschoss des Hauses ersetzte. 1980 wurde der neue Saal verkleinert und die zwischenzeitlich errichtete Kegelbahn vergrößert.

2018 wurde der Gasthof verkauft und der Saalanbau wurde abgerissen, dieser wurde 2019 durch einen Neubau mit Wohnungen ersetzt. Die Gaststätte wurde Ende 2019  mit dem neuen Namen
"Landgasthof Zum Haus Olpe" wiedereröffnet.

Quelle:     Büchel, Josef: 825 Jahre Olpe im Bergischen Land. Eine Dorfchronik, Lindlar 1996