Construit en briques et silex, le bailliage est détruit en grande partie en 1472 par les troupes de Charles le Téméraire. Reconstruit durant les deux dernières années du règne de Louis XI, il est achevé en 1483 par Roger Goujon. Il est inspiré par le style du Plessis-Lès-Tours, résidence de Louis XI.

La croissance de Dieppe entraîne sa disparition comme centre administratif et juridique jusqu’à la révolution de 1789, qui achève de lui ôter ses anciennes fonctions. En Haute-Normandie, c’est le seul bailliage intact qui demeure. Les présences royales de François Ier, d’Henri II et d’Henri IV témoignent de son importance. Il a ainsi porté le nom de bailliage d’Henri IV.