In 1711 was in genoemd huis een bierbrouwerij gevestigd. In 1794 was het tijdens het beleg van Pichegru militair hospitaal. Er werden 89 zieke of gewonde Zwitserse huursoldaten van het garnizoen verpleegd. Franse granaten hebben het huis tweemaal zwaar beschadigd maar van de zieken liep niemand enige verwonding op slechts een vrouw die de soldaten verzorgde kreeg een houtsplinter in een van haar benen.
Van Heurn schrijft dat het gebouw in zijn tijd een geweldige steenhoop was met aan de straatzijde een hoge spitse gevel voorzien van meerdere torentjes. Er oefende toen nog een bakker zijn bedrijf in uit. In 1800 is alles afgebroken op het terrein werden winkelhuizen gebouwd. Maar toen die op hun beurt in 1966 gesloopt werden bleek dat het Hooghuis in 1800 toch niet helemaal verdwenen was er kwam onder meer nog een torentrap voor de dag.
Het bekende 'Pand' achter in de Louwse Poort waar al meermalen over geschreven werd is nog een overblijfsel van het Klooster der Zusters van Orthen. Afgezien van het mooi gerestaureerde huis genummerd 2 en 4 is de ingang van de Louwse Poort tegenwoordig alles behalve een voorbeeld van stadsschoon. Daar zou best eens aandacht aan besteed mogen worden.