Page 270 - Revol6

Manuel Muñoz López, Sonia Panadero Herrero y Abelardo Rodríguez González
balizador posible, sin perder de vista el rigor metodológi-
co que garantizase la calidad de los datos obtenidos. En
este sentido, no se restringió la evaluación a un único
modo o acercamiento, sino que se combinaron estrategias
propias de la evaluación de la evaluabilidad, de la imple-
mentación y cobertura, del proceso y funcionamiento y de
los resultados de las intervenciones. Se combinaron tam-
bién estrategias cualitativas y cuantitativas con el objetivo
de lograr una mejor aprehensión de la realidad social com-
pleja que implicaba la puesta en marcha del Plan. Además,
se prefirió implicar a los propios servicios en la evaluación,
de forma que puedan combinarse visiones externas e inter-
nas y pudiera implicarse a los propios profesionales en la
continua labor de transformación de los centros propia de
las actividades de evaluación.
Dada la complejidad y variabilidad de los centros y pro-
gramas y considerando aspectos éticos y metodológicos se
decidió organizar la evaluación global sobre diseños espe-
cíficos para cada ocasión, centro o variable. Es decir, no se
propuso un diseño único que evaluase todo el Plan, sino
que se sugirió la posibilidad de utilizar diseños ad hoc en
cada tipo de evaluación realizada, lo que supone un esfuer-
zo de adaptación importante tanto para el equipo evalua-
dor, como para los propios recursos. De esta forma, la
metodología combina la recogida de datos sistemática y
continuada por parte de los centros, la explotación de
documentos y la recogida de datos específicos por parte del
equipo evaluador en aquellos casos en que se considere
conveniente para la elaboración de informes con carácter
anual acerca de la situación y evolución del Plan. El fun-
cionamiento central anual se ve reforzado con la elabora-
ción y puesta en marcha de investigaciones evaluativas
específicas con diseño propio que permitan profundizar en
diversos temas a lo largo del período de vigencia del Plan.
Principios de actuación
Antes de continuar es importante destacar aquellos
principios de actuación que han dirigido tanto la planifi-
cación de la evaluación como el proceso en sí, rigiendo en
todo momento la actuación del equipo evaluador. Estos
principios han sido fundamentalmente:
Flexibilidad.
Énfasis en la utilidad práctica de la evaluación.
Implicación de los «interesados» en el proceso de eva-
luación.
Minimizar en lo posible la interferencia en el trabajo de
los profesionales.
Facilitar en lo posible el trabajo de los profesionales.
Dominios e instrumentos de evaluación
Para la puesta en marcha de una evaluación de este tipo
se contemplaron diversos instrumentos y estrategias de
evaluación susceptibles de ser utilizadas y combinadas a lo
largo del trabajo. Las estrategias o instrumentos de eva-
luación a utilizar en este proceso de evaluación concreta-
mente son las siguientes:
El primer instrumento básico de evaluación selecciona-
do fue el análisis y explotación de los datos incluidos en las dis- nos. Partiendo de esto, y con el objetivo de simplificar el
tintas memorias elaboradas por los centros de forma anual.
280 Evaluación en Rehabilitación Psicosocial
Las memorias incluyen generalmente información cuanti-
tativa sobre el funcionamiento de los centros (número de
usuarios, número y tipo de atenciones, horarios, diagnós-
ticos, etc.), información que tiende a ofrecer unos altos
niveles de fiabilidad y validez que hacen de este instru-
mento una de las fuentes de información más valiosas con
las que cuenta el evaluador. Para optimizar la utilidad de
la información contenida en las mismas se contempló la
posibilidad de dotar al servicio con una serie de indicado-
res a incluir en las mismas y, si fuera necesario, entrenar a
los profesionales de los centros para la correcta observación
y recogida de datos. Sin embargo, gran parte de las varia-
bles a considerar venían, de hecho, siendo contempladas en
muchas de las memorias actuales de los centros y otros
indicadores eran derivaciones directas de datos ya inclui-
dos o significaban cambios menores. Desde el principio se
decidió extraer y explotar la información incluida en las
memorias aunque para lograr sacar el mayor partido a esta
información fue necesario trabajar previamente con los
contenidos de las mismas.
La realización de las memorias exhaustivas anuales
suponía una importante carga para los responsables y pro-
fesionales de los centros pero la utilización de esos datos
era a menudo muy escasa. Tras la revisión de las memorias
de todos los centros se observaron algunos problemas a
solucionar antes de poder explotar estas memorias en su
totalidad y con unas correctas garantías de calidad de los
datos. Los principales aspectos identificados tras esa pri-
mera revisión fueron los siguientes:
Existía un importante acuerdo en cuanto a las áreas glo-
bales a abordar en las memorias pero no así respecto a los
datos concretos a incluir. Por ejemplo, sobre la duración de
la fase de evaluación del usuario algunos centros aportaban
la información desde la incorporación del usuario hasta el
comienzo de la intervención, mientras que otros lo especi-
ficaban hasta la junta de evaluación.
Parecía necesario consensuar algunos términos que
podían estarse utilizando de diferente manera en las dife-
rentes memorias (por ejemplo, tutoría).
También se hacía necesario acordar las categorías de res-
puesta para agregar la información (por ejemplo, igualar
los intervalos en los que se codificaban los ingresos econó-
micos de los usuarios o la edad de los mismos).
Este trabajo de homogeneización de los datos fue, por
tanto, un aspecto muy importante del proceso de evalua-
ción. En este caso en particular, se aprovechó la oportuni-
dad, además, para simplificar los contenidos de las memo-
rias. Para ello el equipo de evaluación elaboró una pro-
puesta de memoria para los diferentes tipos de recursos
basada en los propios contenidos de las memorias de los
centros. Esas propuestas fueron discutidas en reuniones
con los directores de cada tipo de centro y con los respon-
sables de Plan de la Consejería hasta lograr consensuar un
guión de memoria en el que se establecían de forma deta-
llada los contenidos mínimos de las memorias (se les podí-
an añadir además otros contenidos que se consideraran
interesantes) y se elaboró un pequeño glosario de térmi-
trabajo de elaboración de memorias se elaboró un formu-
lario de memoria para cada tipo de recurso.
Además de la explotación de los datos de las memorias
también se utilizaron otras estrategias para la obtención de
la información relevante para la evaluación. Entre ellos