De Kolperstraat heeft in de loop der tijden meerdere namen gehad. In 1450 heette zij 'Dat Cort Colfstraetken' later Colverstraat en Colpertstraat. Mosmans zegt dat de naam voortgekomen is uit een perceel land dat 'Colpel' heette maar beweerde later mèt Van Sasse van Ysselt dat de straatnaam ontstaan zou zijn omdat er zoveel colporteurs woonden. Deze verklaring lijkt nogal gezocht en is o.i. ook onjuist. Volgens ons is de oorsprong van de naam te zoeken in het huis 'De Kolf' op de hoek van de Fonteinstraat en de Verwersstraat. Daar was een bakkerij in gevestigd en het bovenlicht vertoonde een gesneden houten kolfje. Als die bakker nu 's morgens zijn brood gebakken had blies hij staande voor zijn deur op een hoorn en op dat sein kwamen de huismoeders uit de omliggende straten naar 'De Kolf' om het dagelijks brood in te slaan. En natuurlijk ook wel om het laatste nieuws te bespreken. Zodoende raakte de naam Kolf zeer ingeburgerd dusdanig dat ook de huidige Krullartstraat en de Verwersstraat zij het dan met een kleine variatie naar 'De Kolf' genoemd werden. Later zijn de namen Colf en Colvert verdwenen het Bossche dialect heeft er Kolper van gemaakt.
Iets bijzonders in de Kolperstraat is het lage bouwsel dat voor het huis no. 2 staat. Het is het laatste pothuis van Den Bosch. Zo'n pothuis was, schrik niet, een woning waarin dan ook nog dikwijls