Évaluations interne et externe

Une approche singulière pour les évaluations internes et externes

la position d’EFFICIO

« faire prévaloir le qualitatif et l’éthique sur l’approche normative »

« évaluer pour ne pas simplement s’acquitter d’une obligation »

« on peut inventer seul on n’innove bien qu’à plusieurs »

Hervé SÉRIEYX

Des objectifs spécifiques et des contenus ciblés pour l’évaluation interne :

  • poser la qualité d’un service sur deux aspects interdépendants :
    • la qualité managériale et la qualité de la communication
    • le cycle de la qualité :
      • entre mesure de satisfaction (service attendu / service perçu),
      • et mesure de conformité (service voulu / service réalisé)
  • mesurer l’importance des éventuelles difficultés rencontrées et de leurs impacts physiologiques, psychologiques, psychiques, économiques, par la prise en compte de la double interaction :
    • entre structures et comportements
    • entre orthofonctionnement et dysfonctionnements
  • appréhender la notion de coûts cachés et de performances cachées pour optimiser le fonctionnement :
    • dans une logique de projet et non de structure
    • dans une détermination sans failles pour mettre à plat tous les dysfonctionnements

« l’avenir n’est jamais que du présent à mettre en ordre. À quoi bon discuter cet héritage. L’avenir tu n’as pas à le prévoir mais à le permettre »

Antoine de SAINT-EXUPÉRY

Quelques conditions pour prévenir les risques de dérives dans l’évaluation interne :

  • n’aborder l’évaluation que sur la base d’un diagnostic partagé débouchant sur un pacte d’engagement collectif pour progresser ensemble
  • s’appuyer résolument sur les principes définis par l’ANESM pour que l’évaluation soit :
    • « une démarche éthique et déontologique, garantissant la liberté de parole et d’expression, la reconnaissance de la légitimité de chacun
    • un exercice de prise de distance, en prenant en compte la pluralité des points de vue à partir d’une dynamique collective et plurielle
    • une démarche privilégiant le croisement et la confrontation des regards, à partir d’une posture de reconnaissance mutuelle, aucun point de vue ne pouvant être surdéterminé par rapport à un autre
    • une démarche contradictoire et critique, les points de vue en tension et en confrontation conduisant à envisager des perspectives novatrices, à l’appui d’un espace « d’analyse critique » permettant de dégager des marges d’amélioration et de progrès à investir… »

« on ne juge pas un homme sur ses qualités mais l'usage qu'il sait en faire »

LA ROCHEFOUCAULT

Les étapes prévisionnelles proposées par EFFICIO pour l’évaluation externe (amplitude de 3 à 4 mois) :

Première phase de l'évaluation externe : négociation et contractualisation entre les parties

  1. rencontres en vue de l’établissement du document de mise en concurrence entre le demandeur et les organismes habilités pressentis
  2. choix de l’organisme évaluateur après la rencontre de l'étape 1 de la phase 1
  3. établissement et signature du contrat entre l’organisme gestionnaire et l’organisme habilité

« les faits ne cessent pas d’exister parce qu’on les ignore »

Huxley ALDOUS

Deuxième phase de l'évaluation externe : analyse documentaire

  1. préparation et envoi à l’organisme habilité des documents généraux et des éléments techniques d’évaluation
  2. étude documentaire pour le (les) établissement(s) et/ou le (les) service(s) concerné(s) :
    • projet associatif
    • projet d’établissement
    • projet du service
    • évaluation interne et plan d’actions
    • dossier usager
    • fonctionnement du CVS (compte-rendu)
    • projets personnalisés
    • DIPEC ou contrat de séjour
    • livret d’accueil
    • règlement de fonctionnementétude documentaire pour le (les) établissement(s) et/ou le (les) service(s) concerné(s) :
    • prévention des risques, etc…
  3. élaboration d’un rapport sur l’étude documentaire sur tous les documents remis lors de l’étape 1 de la phase 2 :
    • points forts
    • points à améliorer
    • commentaires

« on n’exécute pas tout ce qui se propose et le chemin est long du projet à la chose »

MOLIÈRE

Troisième phase de l'évaluation externe : éléments recueillis sur site

  1. présentation des questions évaluatives et lancement des entretiens relatifs à l’évaluation externe :
    • rencontre avec le comité de pilotage
    • présentation du processus de consultation
    • planification des rencontres envisagées
  2. réalisation de l’évaluation externe par :
    • des entretiens avec les acteurs de la mise en œuvre des projets
    • des observations directes sur site (participation à une réunion, à un temps d’accompagnement
  3. traitement des données recueillies dans le cadre de l’évaluation externe :
    • analyse des entretiens
    • élaboration du pré-rapport d’évaluation externe, intégrant l’analyse des entretiens, les observations directes et l’analyse documentaire

« penser la qualité, c'est repenser l'organisation, mettre à bas les organisations informelles, les territoires corporatifs et les pré-carrés »

Jean-René LOUBAT

Quatrième phase de l'évaluation externe : conclusion de l'intervention

  1. ajustement du pré-rapport d’évaluation externe et du pré-rapport sur l’analyse documentaire
  2. présentation de l’analyse documentaire et de l’analyse des entretiens à l’ensemble des acteurs consultés
  3. rencontre entre l’intervenant, le directeur de la structure et le président de l’organisme gestionnaire pour valider les documents présentés lors de l’étape 2 de la phase 4
  4. finalisation du rapport d’évaluation externe puis envoi au Président de l’organisme gestionnaire, en prenant en considération les remarques et suggestions formulées lors des étapes 2 et 3 de la phase 4
  5. envoi du rapport final par l’organisme gestionnaire à ses autorités de contrôle et de tarification