Esta sección del cuestionario estuvo dirigida a: i) determinar el grado en que el impacto ha sido evaluado así como la metodología usada, y ii) recoger información que ayude a guiar hacia el éxito a planificadores de otros proyectos así como a prevenir los problemas. Esto es discutido bajo la evaluación del impacto y proceso de evaluación.

Disponibilidad de informes de evaluación y hallazgos generales

De los proyectos que habían concluido, poco más de la mitad realizaron una evaluación formal, y de 18% a 27% de aquéllos que estaban todavía en ejecución ha realizado esa actividad. Sin embargo, sólo 11 proyectos de países desarrollados y 2 de países en desarrollo enviaron una copia de su evaluación; esto refleja claramente las dificultades encontradas en el trabajo de comunicación y educación al público para obtener reportes escritos de proyectos nacionales y locales.

Las evaluaciones variaron en objetivos. Algunas intentaron medir el impacto del proyecto. La mayoría observaban el logro y progreso de las actividades del proyecto. Las siguientes son ejemplos de evaluaciones tal como fueron informadas por los proyectos participantes.

• El proyecto sueco, Young People and Medicines, llevó a cabo una evaluación cuidadosa que se centró en la ejecución de las actividades del proyecto (cuánta educación sobre medicamentos bajo prescripción se había hecho a los varios niveles del sistema escolar). No observó el conocimiento adquirido o las nuevas conductas en la audiencia objetivo.

• Una “evaluación” enviada por una ONG de consumidores en Bolivia es realmente un informe de progreso del proyecto.

• Un artículo publicado en una revista acerca de un proyecto en Perú (estudio-intervención sobre la morbilidad y uso de medicamentos) describe el estudio en detalle pero no identifica el impacto sobre la conducta.

• Un proyecto canadiense, Wise Use of Medicines Campaign, ofrece una descripción cualitativa de aparentes cambios de conducta de parte de personas ancianas, pero también afirma que “la amplitud a la cual (estos cambios de comportamiento) ha llegado, requiere futuras mediciones”

• El proyecto australiano Be Wise With Medicine Month, 1992, envió una revisión y evaluación muy completas. La campaña consistió en algunos de los proyectos listados como participantes individuales del presente survey, incluyendo la campaña SHAPE, el Medicines Information Project (MIP) y el Pills and Olders Persons Project (POPP). La evaluación incluyó el progreso, los logros y el impacto sobre la conducta de las actividades realizadas. De manera interesante, aunque la ejecución fue excelente y el logro fue relativamente alto, el “Omnibus Survey” mostró un nivel moderado de conciencia adquirida (consistente con otras campañas sobre conciencia pública) pero ningún efecto sobre conductas que estaban en práctica.

• El Hai Phong Health Financing Project en Vietnam suministró otro ejemplo de evaluación comprehensiva. Aunque este proyecto tiene muchas facetas, una evaluación aparte se hizo sobre su componente Información-Educación-Comunicación (IEC). Este proyecto comunicó cuatro mensajes muy específicos a través de una variedad de canales. La evaluación consistió en entrevistas de hogares, entrevistas en profundidad y discusiones en grupos focales. La evaluación intentó evaluar la exposición a los mensajes, la efectividad relativa de los diferentes canales utilizados, la calidad de los mensajes y los cambios de conducta. La duración del proyecto me demasiado breve (4 meses) como para cambiar efectivamente las conductas. Sin embargo, la evaluación fue capaz de medir los tres primeros indicadores. Los resultados de usar trabajadores de salud y medios masivos de comunicación (principalmente radio y parlantes comunales) como canales para informar sobre URM en el Vietnam rural son alentadores.

Evaluación del impacto

A pesar del bajo porcentaje de proyectos que hizo evaluaciones, cerca de dos tercios de ellos de países en desarrollo y tres cuartos de los pertenecientes a países desarrollados respondieron a la pregunta sobre estimación de los resultados del proyecto. Dos tercios de todos los proyectos participantes ofrecieron sugerencias respecto a los factores que favorecen el éxito, factores limitantes, problemas y lecciones aprendidas durante la ejecución.

De aquéllos que respondieron, 40% de países en desarrollo estimó que sus proyectos habían alcanzado sus objetivos, comparado con 60% de aquéllos de países desarrollados. El 60% y 30% dijeron que los objetivos habían sido parcialmente logrados. Ningún proyecto de país en desarrollo y sólo 4% de los proyectos de países desarrollados admitió que el proyecto no había sido exitoso. Estas apreciaciones fueron principalmente determinadas a través de evaluaciones informales y surveys. En países en desarrollo estas acciones fueron básicamente encuestas de hogares, mientras que en los países desarrollados utilizaron variados tipos de encuestas, incluyendo aquellas llevadas a cabo en escuelas y farmacias. Pocos proyectos observaron pautas de ventas de medicamentos específicos o categorías de medicamentos. Algunos métodos adicionales de evaluación incluyen contar el número de llamadas telefónicas a la línea de información, o contar las solicitudes de materiales del proyecto, así como mediciones de indicadores de proceso (v. g. actividades ejecutadas).

Criterios de evaluación

Los proyectos de países en desarrollo basaron sus evaluaciones en proporciones de cambios evidenciados en conocimientos (54%) y conducta (43%). Sin embargo, pocos participantes enviaron efectivamente evaluaciones que incluían cambios de conducta. Los proyectos de países desarrollados usaron más frecuentemente el criterio de exposición a los mensajes y a los materiales (40%). Esto es consistente con el hallazgo de que los proyectos de países en desarrollo estuvieron más inclinados a usar encuestas de hogares. Hay una muy uniforme distribución entre ciertos otros criterios tales como cambios en la satisfacción del consumidor, o cambios en patrones de venta.

Algunos criterios adicionales usados en casos particulares incluyen cambios en la legislación, retroalimentación de farmacéuticos participantes y respuestas de la audiencia. Por ejemplo, la legislación fue mencionada por la campaña “Safety in Medicines” en los Estados Unidos y por el proyecto “Consumer Education” en Malasia. La retroalimentación de farmacéuticos participantes fue medida por el proyecto francés sobre tarjetas de información al paciente y por un proyecto que desalentaba el mercado negro de medicamentos en Costa de Marfil. Algunas versiones diferentes de respuestas de la audiencia fueron informadas, incluyendo el aplauso a las presentaciones de teatro callejero de Buko en Alemania, la retroalimentación de estudiantes en Mauricio y el pedido de información acerca del DES en Canadá.