Twee ooggetuigen spreken zich uit over wat ze van de Keenenburg gezien hebben. De eerste is Lieve van Ollefen in 1793. Hij schrijft in ‘De Nederlandsche stad- en dorp-beschrijver, deel II (Delfland)’ het volgende: ‘Het tegenwoordige huis werd, na den jaare 1770, door eene allerzwaarste reparatie, meerendeels vernieuwd door wijlen den Wel. Ed. Geboren Heere W.H. van Steenbergen, heer van Kenenburg, enz. Naast tegen de huizinge is een zwaare vierkante toren aangebouwd; op ieder der vier hoeken staat een zwaare en tamelijke hooge spits uitgebouwd, waardoor het van verre kan gezien worden. Achter aan is nog een laage toren, met een leien spits. [Dit is het torentje dat in 1991-1992 voor een deel is gereconstrueerd.] De huizingen en torens zijn uitwendig eveneens gebleven als de ouden geweest zijn; alleenlijk zijn de glasen naar den hedendaagschen smaak veranderd.’
Een tweede ooggetuige kennen we alleen van de initialen L.J. Hij schreef een tekst in het blad ‘De Navorscher’ uit 1863 en vertelt dat hij in zijn jeugd meerdere malen in kasteel Keenenburg heeft gelogeerd. De auteur schrijft: ‘Het kasteel, omgeven van eene, aan de zijde van de trekvaart door Schipluiden, dubbele gracht en toegankelijk over eene steenen brug – voorheen ophaalbrug – stond op het tweede binnenste voorplein, aan welks naar de landzijde gekeerde hoeken lage ronde torentjes stonden, van omstreeks 8 of 10 voet middellijn, waaruit of waardoor de verdedigers zich verweerden. [Deze torentjes, die kijkgaten hadden, dateerden uit 1619.] De vierkante toren, het hoofdgebouw, had hoog gewelfde, maar niet diepe kelders (de landstreek is laag) en slechts twee zalen boven elkander. De rondgaande trans met kanteelen had aan de vier hoeken overdekte met vensters voorzien torentjes.
Het jongere aan den toren aangebouwde en, naar den stijl te oordelen, omstreeks het begin der XVIIIde eeuw [Dit moet begin 17e eeuw zijn] vergroote woonverblijf besloeg in mijn tijd de breedte van het pleine en bevatte eene dubbele rij van kamer, in twee verdiepingen, en eene ruime vestibule.’
Auteur Jacques Moerman.