Benjamin van den Bosch had Wouter Visser aanbevolen op 7 juni 1820. Nadat de pc op 20 april 1821 de provisionele (voorlopige) aanstelling had goedgekeurd, begint Johannes de nieuwe directeur vanaf 5 mei lof toe te zwaaien en op 2 juni besluit de pc tot de vaste aanstelling wat Visser blijkbaar op 7 juni te horen krijgt, want hij schrijft die dag eerst een brief als ‘fungerend directeur’ en later op de dag een bedankbrief voor het in hem gestelde vertrouwen als gewoon ‘directeur’.
Over zijn instelling bij dit soort werk schrijft Visser, nog als adjunct-directeur van de Ommerschans, aan de onderdirecteur daarvan, luitenant Fenner, in januari 1821 (welke brief zich in gekopieerde vorm bevindt bij een brief van Fenner dd 14 februari 1824).

Vissers ontroering bij Veenhuizen staat in een brief van hem aan de permanente commissie dd 5 juni 1823. Die steen is er gekomen en siert nu de ingang van het Gevangenismuseum Veenhuizen.

Die Amsterdamse kolonisten hadden Vissers irritatie gewekt door na hun aankomst eerst een tijdje de boel aan te kijken, niets op schuld te nemen en de beslissing om te blijven of terug te keren voor zich uit te schuiven. De subcommissie Amsterdam klaagt over hun behandeling en de vreselijke vloeken van Visser dd 11 september 1821.

Die kolonist die de deur voor zich dicht gesmeten kreeg toen hij verlof vroeg was Jacob Kuit. Het wordt 3 september 1822 beschreven door een andere kolonist, Nicolaas Verhulst uit Delftshaven, die vervolgt: ‘Deze man kwam schreijende bij mij, en verzogt voor hem een brief te willen schrijven aan de Hr. Drieling woonende in ‘s Hage, omdat dien Heer hem zeer wel kende, en ook wel zoude bewer­ken dat er verlof kwam.’ Door het schrijven van die brief raakte Verhulst op zijn beurt weer zwaar in de problemen.