Le préfet peut, à tout moment, effectuer les contrôles nécessaires pour vérifier que les conditions requises pour l'agrément sont toujours remplies. Dans le cas contraire, le préfet peut donner un avertissement ou prononcer un retrait provisoire ou définitif de l'agrément après avis de la commission départementale de l'action touristique. Un recours contre cette décision peut être formé auprès du ministre chargé des affaires sociales.
De telles sanctions ne peuvent être prononcées sans que l'intéressé ait été préalablement avisé des mesures envisagées et invité à se faire entendre personnellement ou par mandataire.