Page 263 - Revol6

Evaluación de resultados de la rehabilitación psicosocial
Clarificación de los propósitos de la evaluación y conocimiento
del programa.
Identificación de los dominios relevantes y otros criterios a con- del resto del personal del mismo, siempre compleja pero
siderar.
Definición, evaluación y selección de los indicadores.
Desarrollo de los procedimientos de recogida de información y
asignación de responsabilidades y tareas.
Entrenamiento a los profesionales, usuarios y otras personas
implicadas.
Realización de un estudio piloto.
Implementación a gran escala y evaluación y modificación en
caso necesario.
Análisis y elaboración de los resultados.
A continuación se abordará el proceso de evaluación de
resultados especificando brevemente los aspectos y deci-
siones a considerar en cada uno de ellos.
3.1. Clarificar los propósitos de la evaluación y
conocimiento del programa
En primer lugar es fundamental conocer qué se persi-
gue con la evaluación de resultados de un programa deter-
minado. Es decir, cuales son los objetivos concretos, qué
tipo de información se quiere obtener y qué uso se le pre-
tende dar. Esta información debe ser tenida en cuenta a la
hora de llevar a cabo los pasos siguientes y tomar las deci-
siones pertinentes. Este es el momento de tomar contacto
con el programa y conocer sus características, funciona-
miento, población objetivo y todas aquellas variables que
pudieran resultar de interés. El tener un conocimiento en
profundidad sobre el programa es un requisito previo al
diseño de la evaluación. Cada evaluación es única, es decir,
debe ser diseñada a medida, estando su desarrollo guiado
por un cuidadoso análisis del contexto de evaluación.
La evaluación requiere recursos para su puesta en mar-
cha y desarrollo: profesionales dedicados a las actividades
de evaluación (recogida de datos, codificación, análisis de
los mismos, elaboración de informes), materiales y equipa-
miento (Rossi et al, 1999). En este primer momento es
importante definir de qué recursos se dispone para llevar a
cabo dicha evaluación ya que los recursos disponibles mar-
carán las posibilidades y la planificación de la misma.
También en este momento habrá que tomar decisiones
respecto a los agentes de evaluación. Habitualmente se
consideran dos posibilidades en función de dónde se sitúe
el agente de la evaluación: externa o interna. Por evalua-
ción interna se entiende aquella en que el evaluador es
parte del propio programa evaluado y por evaluación
externa se entiende aquella otra en que el evaluador no
forma parte del propio programa. En principio, ambos
tipos presentan ventajas e inconvenientes, siendo difícil
decidir que estrategia es mejor en cada ocasión.
Por un lado, resulta evidente que los evaluadores deben
tener un conocimiento en profundidad sobre los distintos
aspectos del programa y sus diferentes mecanismos de
aplicación. Es mucho más fácil conseguir ese dominio del
programa cuando el evaluador forma parte del mismo, es
decir, en el caso de la evaluación interna. Además, siempre
será más sencillo para alguien implicado en la estructura
del propio programa conseguir la colaboración necesaria
imprescindible en cualquier proceso de evaluación que
pretenda conseguir un nivel de calidad aceptable.
Finalmente, la implicación de los técnicos evaluadores en
el propio proceso de intervención y planificación puede
facilitar la realización de los cambios derivados de la eva-
luación, no siempre fáciles de aceptar por los gestores y el
personal de los programas evaluados.
En el otro lado de la balanza, debe colocarse el hecho de
que solamente los observadores o evaluadores externos
pueden llegar a garantizar la independencia respecto a los
gestores o principios del programa. En esa línea, es posible
que la evaluación realizada por personal de los propios pro-
gramas haga «sospechar» de la utilidad real de los resulta-
dos de la evaluación. Es conocida, además, la dificultad en
la identificación de problemas y relaciones para las perso-
nas implicadas, de forma que, siempre será mejor que los
evaluadores mantengan la mayor independencia posible
respecto a la puesta en marcha y funcionamiento de los
programas evaluados. Finalmente, en muchas ocasiones
algunas administraciones pueden mostrarse más dispues-
tas a aceptar e incorporar propuestas de agentes externos
que de sus propios empleados. Por ejemplo, factores como
la búsqueda de ventajas por las distintas secciones o perso-
nas implicadas puede llegar a crear situaciones engorrosas
para los gestores.
Sin embargo, existiría un tercer tipo de evaluación que
soluciona gran parte de los problemas señalados (King,
2005; Rossi et al, 1999): la evaluación participativa.
Este tipo de evaluación implica la existencia de un equipo
evaluador (externo o mixto) que dirige el proceso y que
moviliza y facilita la participación de los agentes internos
al programa, generalmente los profesionales, pero cabe
destacar el papel de los usuarios y sus familiares en este
tipo de procesos. De esta forma, los profesionales están
involucrados en la planificación, realización y análisis de la
evaluación lo que desemboca en una optimización de los
recursos y una mejora sustancial en la calidad de las solu-
ciones. Lo importante es que la evaluación de programas
sea realizada por un equipo técnico que disponga de un
conocimiento completo del funcionamiento del programa
y todos sus componentes, que tenga acceso a los distintos
elementos del programa, que sea capaz de conseguir la
colaboración de los profesionales implicados, pero que
mantenga una independencia de los gestores y principios
del programa. Por ello, quizá la evaluación participativa
parece la mejor alternativa para garantizar el cumplimien-
to de estos requisitos y, ha sido el acercamiento elegido por
los autores para la evaluación del Plan de atención social a
personas con enfermedad mental grave y crónica que se presenta
en este capítulo.
3.2. Identificación de los resultados relevantes
y otros criterios a considerar
Además de considerar el propósito de la evaluación, la
estructura del programa y sus circunstancias y los recursos
disponibles para la evaluación, así como el estado de desa-
rrollo del programa (Rossi et al, 1999), hay que conocer
Evaluación en Rehabilitación Psicosocial 273