Le château de Montmirey ou Montmirel, mont d'où l'on mire, d'où l'on regarde, était assis ou plutôt enraciné sur un monticule aride, dominant une vaste plaine qu'entrecoupent des forêts et qu'arrosent la Saône et l'Ognon. Cet antique manoir n'est plus aujourd'hui qu'un amas de ruines. On a prétendu que sainte Clotilde y était née, mais rien ne le prouve. Il est plus probable qu'une autre princesse, Béatrix, fille de Raynaud III, y fut enfermée par son oncle Guillaume, comte de Vienne et de Mâcon, frère puiné de Raynaud, et qu'une douairière, Blanche de Genève, y résida longtemps.

Quoiqu'il en soit, le peuple de la contrée crut longtemps et croit peut-être encore que la reine Blanche, mère de saint Louis, a habité ce manoir. On y parle toujours d'une dame blanche qui y apparaît encore de temps en temps. Ce qui a pu donner cours à cette tradition populaire, que l'on retrouve dans un certain nombre de nos vieux châteaux, c'est qu'au moyen-âge, les veuves portaient le deuil en blanc. Lorsque les bergers, ajoute la tradition, voient apparaître la dame blanche sur les ruines du manoir, et qu'ils lui crient: Dame blanche de Montmirey, que mires-tu là-haut? La dame répond, en disparaissant, ces mots qui composèrent longtemps la devise des comtes de Montmirey « Je ne mire que le ciel ! »