Tema: Este artículo se inscribe en una serie de documentos que proporcionan insumos para el diseño y el desarrollo la Estrategia de Acción Exterior, prevista por la recientemente aprobada Ley de Acción del Servicio Exterior, enfocándose de manera concreta en el ámbito de la evaluación.
Resumen: La Ley de Acción y del Servicio Exterior contempla la elaboración de una Estrategia de Acción Exterior que, con una vigencia prevista de cuatro años, contendrá la expresión ordenada, sectorial y geográfica, de las prioridades y objetivos a medio plazo de la acción exterior española, y recogerá el conjunto de actuaciones de los órganos, organismos y entidades públicas en el exterior, a las que dotará de coherencia interna.
Este artículo se inscribe en una serie de documentos que proporcionan insumos para el diseño y el desarrollo de dicha estrategia, enfocándose de manera concreta en el ámbito de la evaluación. Más que una aportación académica o conceptual, se pretende ofrecer una reflexión desde la experiencia en la evaluación de la cooperación internacional para el desarrollo, que constituye hasta la fecha la única práctica de evaluación con cierta trayectoria institucional en el ámbito del Ministerio de Asuntos Exteriores y de Cooperación.[1]
Análisis: Muchas de las reflexiones que aquí se plantean tienen como punto de partida el proceso de revisión de la Política de Evaluación de la Cooperación Española, actualizada en 2013 tras un proceso participativo de consultas, y se articulan en torno a tres grandes cuestiones:
- La necesidad de partir de un entendimiento común acerca de la evaluación, de manera que se clarifique cuál es su especificidad respecto de otras funciones con las que comparte algunos elementos y puedan ajustarse las expectativas sobre lo que cabría esperar de la evaluación de la acción exterior española.
- Los desafíos vinculados a las características singulares de la acción exterior en cuanto ámbito susceptible de evaluación.
- La estructura y las capacidades organizacionales que requeriría la implantación de una función de evaluación sólida, útil y creíble en el seno del Ministerio de Asuntos Exteriores y de Cooperación.
(1) Naturaleza y valor añadido de la evaluación de programas y políticas públicas
Qué es (y qué no es) la evaluación de programas y políticas públicas. “Evaluación” es un término de uso frecuente, tanto en la vida cotidiana como en el ámbito de las políticas públicas. Sin embargo, o quizá justamente debido a su empleo habitual en diversos contextos, la evaluación ha atraído sobre sí significados tan distintos que algunos autores la consideran un “imán semántico” (Vedung, 1996). Por ello, en primer término convendría aclarar a qué se hace referencia al hablar de evaluación de la acción exterior española.
En el ámbito de la cooperación internacional para el desarrollo existe un consenso generalizado acerca de cómo entender la naturaleza y las finalidades de la evaluación, que se ha plasmado en diferentes documentos elaborados en el seno del Comité de Ayuda al Desarrollo de la OCDE. Así la evaluación del desarrollo se define como:
“Apreciación sistemática y objetiva de un proyecto, programa o política en curso o concluido, de su diseño, su puesta en práctica y sus resultados. El objetivo es determinar la pertinencia y el logro de los objetivos, así como la eficiencia, la eficacia, el impacto y la sostenibilidad para el desarrollo. Una evaluación deberá proporcionar información creíble y útil, que permita incorporar las enseñanzas aprendidas en el proceso de toma de decisiones de beneficiarios y donantes. La evaluación también se refiere al proceso de determinar el valor o la significación de una actividad, política o programa. Se trata de una apreciación, tan sistemática y objetiva como sea posible, de una intervención para el desarrollo planeada, en curso o concluida” (OCDE, 2002, pp. 21-22).
A su vez, respecto a la evaluación de las políticas públicas en España, la Agencia Estatal de Evaluación de las Políticas Públicas y de la Calidad de los Servicios (AEVAL) ofrece la siguiente definición:
“La evaluación de políticas públicas se concibe, así, como un proceso institucional, que es conveniente adoptar en todas las fases del ciclo de intervención pública, aplicando métodos sistemáticos y rigurosos de recogida y análisis de información, con el énfasis puesto en la comprensión integral de los impactos, resultados, procesos y teorías de las intervenciones públicas en relación con los objetivos trazados a fin de servir, tanto al aprendizaje y a la mejora gerencial de los servicios públicos, como a la estrategia sobre decisiones futuras, fundamentándose este proceso sobre el juicio de valor de la acción pública evaluada y basándose en criterios establecidos por los principales actores implicados, con la finalidad última de servir a la ciudadanía” (AEVAL, 2010, p. 76).
Partiendo de estos dos referentes, la Política de Evaluación de la Cooperación Española (2013) entiende la evaluación como:
“Un proceso sistemático y planificado de recogida de información con el objetivo de analizar, interpretar y valorar de manera crítica y objetiva una intervención, programa, política o estrategia de cooperación para el desarrollo, incluyendo su diseño, su puesta en práctica, su estructura de gestión y sus resultados” (MAEC, 2013, p. 3).
La evaluación no es, por tanto, una herramienta destinada principalmente a proporcionar datos sobre la acción pública, sino la expresión de un juicio de valor sobre la misma resultante de un procedimiento sistemático de análisis basado en información rigurosa. Ello convierte la evaluación en una actividad técnica que requiere un conocimiento especializado y que implica la exigencia de una metodología robusta y un manejo adecuado de las técnicas de investigación para generar hallazgos sólidamente fundados.
Por otra parte, dado que no existen referentes únicos de valor a la hora de emitir una apreciación crítica y puesto que sus resultados pueden utilizarse para diferentes propósitos, la evaluación se desarrolla en un entorno político (Chelimsky, 1995), lo que requiere asegurar una independencia de funcionamiento que ofrezca las mayores garantías de imparcialidad. La libre valoración crítica, argumentada sobre la base de evidencias sólidas, constituye así un puntal clave sobre el que se asienta la credibilidad de la función de evaluación.
A pesar de estos elementos característicos de la evaluación de programas y políticas públicas, debido probablemente a la trayectoria de la evaluación en otros ámbitos y al uso generalizado del término, la evaluación de la acción pública se identifica a menudo con cualquier esfuerzo de racionalidad y reflexión sistemática, sin que quede clara su especificidad respecto a otras funciones gerenciales afines pero de naturaleza distinta, como el seguimiento, la auditoría, la inspección, la investigación o la evaluación del desempeño (AEVAL, 2010, p. 73). Conviene, por tanto, subrayar algunas diferencias.
El seguimiento es una actividad descriptiva sobre el progreso de los elementos de una política, programa o intervención, con el propósito de obtener datos sobre su marcha, por lo general sobre la base de un sistema de indicadores definido previamente en la etapa de planificación. A diferencia de la evaluación, que se realiza de manera puntual, el seguimiento es una actividad permanente y suele llevarse a cabo por los propios responsables de la ejecución. Mientras que el seguimiento indica sobre todo qué ocurre, la evaluación –salvo en el caso de las evaluaciones experimentales, que algunos autores equiparan a la investigación– valora críticamente lo que ocurre, identificando habitualmente los elementos que explican cómo y por qué se ha llegado a una situación determinada.
En la medida en que proporciona periódicamente información sistematizada sobre las actividades, sobre los resultados y sobre los cambios en el entorno, el seguimiento es una herramienta valiosa que debería alimentar la toma de decisiones, orientar la gestión, contribuir a la rendición de cuentas y facilitar la función de evaluación. Sin embargo, ha sido durante mucho tiempo uno de los principales puntos débiles de la política de cooperación internacional para el desarrollo. Por ello, a nuestro juicio, la conformación de un sistema de seguimiento que permita integrar diferentes niveles de información constituye un elemento de primer orden al que la Estrategia de Acción Exterior debería prestar una especial atención.
El control, a su vez, consiste principalmente en la verificación del respeto a las normas, tomando como referencia reglas y criterios preestablecidos. La auditoría o la inspección, con sus peculiaridades propias, se inscriben en este ámbito. Frente a ellas, la evaluación es una actividad holística, que no tiene como objetivo principal valorar la conformidad de las actuaciones o los resultados respecto a procedimientos o pautas normativas de comportamiento predeterminados ni desemboca en la exigencia jurídica de responsabilidades.
A diferencia de la investigación, la evaluación no se dirige en primer término a la generación de nuevos conocimientos. Ello no implica negar su potencial innovador, pero exige tener claro qué tipo de aprendizajes pueden derivarse de una evaluación para valorar en cada caso si convendría, en su lugar, promover un estudio, llevar a cabo una sistematización o solicitar el dictamen de especialistas en la materia.
Por último, la evaluación del desempeño es un proceso sistemático y periódico de valoración del modo en que las personas llevan a cabo las actividades y responsabilidades que desarrollan en el marco de una determinada organización. Su finalidad principal es mejorar la calidad del trabajo, para lo cual facilita la comunicación entre los distintos niveles organizativos; ayuda a aclarar y ajustar las tareas y cargas de los diferentes puestos y equipos; permite identificar rendimientos insatisfactorios, pero también talentos y nuevos potenciales; y constituye una herramienta de motivación que, en función del grado de flexibilidad de las organizaciones, promueve el desarrollo de carreras profesionales y vincula el desempeño con incentivos económicos, simbólicos o de otro tipo.
Funciones de la evaluación. Sin ser, como hemos visto, la única herramienta ni para la gestión del conocimiento ni para la rendición de cuentas, la mayoría de los autores sitúan la función de la evaluación a caballo entre ambos.
Por una parte, dado que por lo general la evaluación implica una revisión retrospectiva, permite aprender de la experiencia y contribuye a la extracción de lecciones para la mejora de la gestión y para la toma informada de decisiones. Este aspecto es particularmente relevante si se entiende la evaluación no sólo como un producto –el informe final de evaluación– sino también como un proceso orientado a la acción que ha de resultar útil a los diferentes actores implicados, de manera que les ayude a reflexionar críticamente sobre sus resultados y sobre su actividad sin sentirse inspeccionados y sin temor a resultar perjudicados por reconocer potenciales errores, debilidades o ámbitos de mejora que, por lo general, tienen más que ver con aspectos sistémicos que con conductas individuales.
Por otro lado, al suministrar una valoración rigurosa sobre la base de determinados elementos de juicio –criterios estandarizados en el ámbito internacional, referentes de valor consensuados de manera específica para cada caso, la propia teoría subyacente al programa evaluado, etc.–, la evaluación proporciona elementos para la rendición de cuentas. No obstante, la rendición de cuentas no debería concebirse como una fase final del ciclo de las intervenciones o de las políticas públicas vinculada únicamente a la evaluación.
Entendida en un sentido amplio (Shedler, 2008), la rendición de cuentas remite sobre todo a la noción de “responsabilidad”, que implica tanto el derecho de los ciudadanos a recibir información y la obligación correspondiente de los responsables públicos de divulgar todos los datos necesarios, como el derecho a recibir una explicación argumentada y el deber correspondiente de justificar el ejercicio democrático del poder. En este sentido, la rendición de cuentas alimenta el debate político y su práctica debería atravesar todas las fases, incluyendo la conformación de la agenda pública, la toma de decisiones, la planificación, la implementación, los resultados y el propio desempeño de la función de evaluación.
De lo anterior cabe apreciar, y así lo hacen tanto la Política de Evaluación de la Cooperación Española como las recientemente revisadas o aprobadas por otros donantes, que el principal valor añadido de la evaluación no radica en el suministro de información o en el control de la actuación de la Administración, sino en su potencial de contribuir al cambio para la mejora, ya sea a través del aprendizaje, ya sea por medio del debate público. El desarrollo de la evaluación de la acción exterior debería considerar este equilibrio entre ambas dimensiones, que resulta clave a la hora de decidir qué evaluar –el objeto de evaluación: las estrategias, programas o actuaciones concretos–, por qué y para qué evaluarlo en un momento dado –el propósito, los objetivos y la utilidad prevista de cada evaluación–, cómo evaluarlo –la estructura de gestión, las preguntas concretas de cada evaluación y el marco teórico-metodológico de análisis– y qué hacer con los resultados de la evaluación –retroalimentación interna, difusión pública, etc.–.
En suma, una visión clara respecto a la naturaleza y el valor añadido de la evaluación en el ámbito de la acción exterior debería permitir integrarla adecuadamente en el funcionamiento del Ministerio de Asuntos Exteriores y de Cooperación, de manera que se asegure su complementariedad respecto a otras funciones conexas y, al ajustar las expectativas en torno a lo que cabe esperar de ella, se evite su identificación mesiánica como nuevo bálsamo de Fierabrás de la política exterior.
(2) La acción exterior como ámbito específico de evaluación
El desafío de una evaluación útil y rigurosa de objetos complejos. Al igual que el resto de la acción exterior, la cooperación internacional para el desarrollo es un ámbito de evaluación de creciente complejidad que, tal y como se señala en la introducción a la Política de Evaluación de la Cooperación Española, conlleva importantes desafíos de naturaleza técnica y política.
En los últimos años hay una demanda creciente de evaluaciones que den cuenta de los resultados –el impacto entendido en sentido amplio– de la Cooperación Española. Sin embargo, a medida que el foco de análisis se eleva para pasar de proyectos o actuaciones concretas a programas, estrategias o incluso a la propia política de cooperación, los factores en juego se amplían y resulta más difícil explicar la relación entre lo que hace la Cooperación Española y las transformaciones experimentadas por los habitantes de sus países socios. Esta dificultad se incrementa al entender “el desarrollo” como un proceso multidimensional, en el que “la ayuda” tiene un peso relativo frente a otras dimensiones: políticas internas, contexto económico internacional, cambio climático, remesas enviadas por los emigrantes, coherencia de políticas, etc.
Ante esta situación, se corre tanto el riesgo de que las evaluaciones de objetos complejos resulten tan generales que apenas aporten elementos relevantes, como el de simplificar en exceso para concentrarse en aquellos objetos que resulten más fáciles de aprehender, confundiendo la parte con el todo. Se trata de un reto fundamental que requiere una reflexión metodológica permanente y que implica, cada vez más, un trabajo conjunto con otros donantes y con los países socios, en el que se asume que la atribución directa de la Cooperación Española sólo puede analizarse respecto a determinados productos, pero se reconoce al mismo tiempo la relevancia del estudio de su contribución a resultados y dinámicas de desarrollo más amplios.
Por otra parte, una función de evaluación que pretenda contribuir a la mejora y el aprendizaje ha de tener en cuenta no sólo los resultados, sino también los procesos, las estructuras de gestión y el propio diseño de los proyectos, programas y políticas. Además, ha de responder a las necesidades informativas de los diferentes actores implicados, que con frecuencia no se formulan de manera clara ni resultan unívocas. Ello hace que la propia decisión acerca de qué y para qué evaluar no siempre resulte evidente. Algunas medidas adoptadas desde la evaluación de la Cooperación Española para tratar de responder a este reto han sido:
- La elaboración desde 2013 un Plan Bienal de Evaluaciones, en el que, tras un proceso de consulta, se establece una previsión de evaluaciones, distinguiendo en función de un conjunto de criterios expresos entre aquellas cuya gestión se encomienda a la unidad central de evaluación y las que se gestionan de manera descentralizada por las unidades operativas.
- La consulta durante la elaboración de los términos de referencia de cada evaluación concreta a las diferentes unidades implicadas en la gestión del objeto evaluado y su integración en la estructura de gestión de las evaluaciones a través de un comité de seguimiento.
No obstante, cabe señalar que, si bien la elaboración del Plan Bienal de Evaluaciones 2013-2014 ha permitido visibilizar y ordenar la gran mayoría de las evaluaciones realizadas por la Cooperación Española, todavía es preciso seguir reforzando su carácter de documento de planificación estratégica de las evaluaciones, para lo cual habrá que revisar el proceso de consulta y priorización de los objetos a evaluar y ajustar más los ritmos de las evaluaciones a los momentos de toma de decisiones. Algunos donantes de nuestro entorno han establecido para ello comités de evaluación, en los que, además de la unidad central de evaluación, participan los responsables de mayor nivel junto a otros perfiles más técnicos.
Por otra parte, en lo que respecta a la definición de cada encargo concreto de evaluación, la práctica nos está enseñando que los procesos de consulta, para que sean realmente útiles, requieren un tiempo razonable y un conocimiento suficiente de los objetos evaluados por parte de los gestores de las evaluaciones, de manera que pueda entablarse un diálogo fructífero con los responsables de los ámbitos evaluados.
Niveles de análisis y condicionantes de la evaluabilidad de la acción exterior. A diferencia de la Ley 23/1998, de 7 de julio, de Cooperación Internacional para el Desarrollo, la Ley de Acción y del Servicio Exterior no contiene una referencia genérica a la evaluación de la acción exterior –sólo se mencionan expresamente la evaluación de la cooperación para el desarrollo y la evaluación de la promoción de la Marca España–. No obstante, de su articulado cabe deducir que la evaluación de la acción exterior debería abarcar, al menos, tres niveles:
- La evaluación de las estrategias y planes a través los cuales se formula la Política Exterior, entendida como el conjunto de decisiones y acciones del Gobierno en sus relaciones con otros actores de la escena internacional, con objeto de definir, promover, desarrollar y defender los valores e intereses de España en el exterior.
- La evaluación de las acciones y programas a través de los que se despliega la Acción Exterior del Estado, entendida como el conjunto ordenado de las actuaciones que los órganos constitucionales, las Administraciones Públicas y los organismos, entidades e instituciones de ellas dependientes llevan a cabo en el exterior, en el ejercicio de sus respectivas competencias, desarrolladas de acuerdo con los principios establecidos en la Ley de Acción y del Servicio Exterior y con observancia y adecuación a las directrices, fines y objetivos establecidos por el Gobierno en el ejercicio de su competencia de dirección de la Política Exterior.
- La evaluación del desempeño del servicio exterior del Estado, entendido como los órganos, las unidades administrativas y los medios humanos y materiales que, bajo la dirección y la coordinación del Gobierno, ejecutan y desarrollan la Política Exterior y la Acción Exterior de éste, sin perjuicio de las competencias de los distintos departamentos ministeriales.
Si bien los tres niveles están interrelacionados, la evaluación del desempeño está más vinculada con la calidad de los servicios y la gestión de los recursos humanos que con la evaluación de los programas y políticas públicas, por lo que en esta reflexión nos centraremos en aquellos aspectos que podrían condicionar la evaluación de la política exterior desde el punto de vista de su evaluabilidad.[2]
Es preciso considerar, en primer lugar, que la acción exterior es eminentemente política, lo que implica que su valoración esté condicionada por la necesidad de comprender los diferentes elementos que influyen en la toma de decisiones, por la complejidad de las relaciones de causa-efecto en las relaciones internacionales y por la dificultad de formular patrones claros de referencia en base a los cuales enjuiciar sus resultados.
“Diplomacy is more often about managing problems than fixing them, biding time, choosing the worst of two evils, finding an exit strategy, saving face, etc. States often pursue multiple objectives and their order of priority is often unclear or disputed… This difficulty is compounded by the heterogeneous nature of foreign policy… What’s more, the causal link between one specific set of European policies on the one hand and results on the other is problematic. European objectives can sometimes be met regardless of the European policy put in place to achieve them… But the opposite can also be true: failure can happen even with the optimal policies in place” (Consejo Europeo de Relaciones Exteriores, 2010).
La Ley de Acción y del Servicio Exterior establece una serie de principios y valores que la política exterior española deberá promover, así como un conjunto amplio y diverso de objetivos vinculados tanto a los intereses nacionales como a intereses internacionales. Sin embargo, la experiencia nos lleva a suponer que será frecuente que ni los objetivos concretos ni las lógicas o teorías subyacentes a los programas y políticas que desarrollen la acción exterior española estén claramente expresados ni sean fácilmente mensurables, por lo que esa pluralidad de objetivos y principios puede llevar en la práctica a situaciones contradictorias, sobre todo si no existen criterios claros a la hora de establecer una cierta prelación entre ellos.
La diversidad de objetivos e intereses, así como la posible oportunidad de guardar una reserva temporal respecto a determinadas materias sensibles, también deberían tenerse en cuenta a la hora de difundir públicamente los resultados de las evaluaciones. Con todo, y sin perjuicio de que puedan existir razones motivadas para no publicar en un momento dado determinadas evaluaciones, tendrían que arbitrarse los mecanismos necesarios para asegurar, al menos, la rendición de cuentas a las Cortes Generales.
Un segundo elemento a tener en cuenta en la valoración de la acción exterior es la consideración de la dimensión temporal:
“Evaluating foreign-policy performance is difficult enough, but it becomes even more difficult when you only consider events that took place during one calendar year. It is well known that some past policies that have yielded remarkable results in the short term proved less effective, and sometimes even disastrous, in the long term – for example, western support for the mujahideen in Afghanistan in the 1980s. The cost of some policy decisions has gradually increased over time – for example, the admission of Cyprus as an EU member state in the absence of resolution of the Northern Cyprus problem… To some extent, however, this is the same problem we face in evaluating success not in absolute terms but as a function of possibilities and difficulty. We do not pass definitive historical judgment but rather a contextualized judgment within the bounds of one year” (Ibid).
Los desafíos no se limitan al enjuiciamiento, sino que también tienen que ver con la misma disponibilidad de datos. Sin un adecuado sistema de gestión de la información, y dada la alta rotación que caracteriza a algunos puestos, es más que probablemente que las fuentes documentales se encuentren dispersas y estén poco sistematizadas, que la memoria institucional sea frágil y que prevalezca una gestión del conocimiento en gran medida informal.
Por este motivo, la evaluación no debería concebirse como una fase última en el ciclo de gestión. Por el contrario, el pensamiento evaluativo debería estar presente desde el estadio inicial del diseño y la planificación. Ello no quiere decir que todas las actuaciones o programas tengan que ser evaluados, pero sí implica concebirlos desde el primer momento de manera tal que, llegado el caso, se facilite su evaluación: formulación expresa de los resultados esperados y de las lógicas de intervención previstas para alcanzarlos, existencia de diagnósticos de la situación de partida que permitan establecer líneas de base, desarrollo durante la ejecución de herramientas de recolección y sistematización de la información, etc.. Estas medidas no sólo redundarían en un mejor seguimiento, sino que aportarían un mayor valor añadido a las evaluaciones y, al facilitar su realización, permitirían optimizar los recursos disponibles.
Por último, es fundamental tener en cuenta las capacidades y los recursos humanos y materiales que requiere la práctica de la evaluación, cuestión a la que dedicaremos el siguiente apartado.
(3) El soporte organizativo de la función de evaluación
La implantación de una función de evaluación sólida requiere un ambiente favorecedor, un marco institucional adecuado y la existencia de suficientes capacidades individuales.
En cuanto al primero, es preciso reconocer que, a pesar de que ha habido algunos avances relevantes en los últimos años, la cultura de evaluación sigue siendo débil en la Administración española. Ni siquiera la AEVAL, creada mediante la Ley 28/2006, de 18 de julio, de Agencias estatales para la mejora de los servicios públicos, como agencia especializada para la promoción y realización de evaluaciones de las políticas y programas públicos cuya gestión corresponde a la Administración General del Estado, es todavía una organización consolidada. Además, tal y como fue inicialmente concebida y como se infiere de los objetivos y competencias que le atribuye su Estatuto, la AEVAL es ante todo un organismo para la promoción y el fortalecimiento de la evaluación que anualmente lleva a cabo un número limitado de evaluaciones. Por este motivo, incluso aunque se la dotara de mayores recursos humanos y financieros, es poco probable pensar que, más allá de prestar apoyo especializado, asumir alguna evaluación puntual de carácter estratégico o ejercer un control de calidad ex post sobre las evaluaciones, pudiera hacerse cargo del ejercicio de la función de evaluación de la acción exterior.
Aunque en el ámbito de la cooperación internacional para el desarrollo algunos países han optado por crear organismos de evaluación externos, por lo general con el objetivo de reforzar la rendición de cuentas –como el ICAI británico o el ya suprimido SADEV sueco–, nuestra recomendación sería el desarrollo de una estructura evaluativa propia en el seno del Ministerio de Asuntos Exteriores y de Cooperación, que goce de un anclaje institucional y presupuestario que salvaguarde su independencia y su credibilidad, pero que, al mismo tiempo, esté suficientemente integrada en la acción exterior como para comprenderla adecuadamente y poder retroalimentarla de manera útil.
La experiencia de otros países de nuestro entorno revela que pueden existir diferentes modelos organizativos en función de los objetivos que se persigan. Sin extendernos aquí en un estudio comparado que requeriría mayor detalle, podemos adelantar que en algunos casos la función de evaluación se atribuye a diferentes unidades según el ámbito material de que se trate –así, la mayoría de los miembros del CAD de la OCDE cuentan con unidades específicas para la evaluación de la cooperación internacional para el desarrollo, con independencia de que exista o no una unidad responsable de evaluar otras parcelas de la política exterior–, mientas que en otros está concentrada. Un ejemplo de esta última estructura institucional es el de los Países Bajos, que cuentan con un Departamento de Evaluación de Política y Operaciones (IOB) que desde 1999 tiene el mandato de evaluar el conjunto de la política exterior holandesa y que forma parte del Clúster de Auditoría y Evaluación, junto a la Unidad de Inspección y Evaluación –focalizada en la evaluación del desempeño y la calidad de los servicios– y al Departamento de Auditoría –responsable del control financiero–.
Dentro de los diferentes modelos de concentración cabe distinguir, a su vez, distintos grados de centralización de la práctica de la evaluación, que oscilan entre la asignación en exclusiva de la función de evaluación a una unidad central, la descentralización generalizada con una unidad central que coordina, articula, ejerce un control de calidad y sistematiza aprendizajes pero no evalúa, o la atribución a la unidad central de las evaluaciones más estratégicas en convivencia con la descentralización del resto de evaluaciones, que, bajo ciertas pautas o controles, son gestionadas por las unidades operativas. Habitualmente, el modelo institucional y el reparto de competencias se establecen en las normas que configuran la estructura ministerial; los principios y pautas de la función de evaluación se formulan en una política específica; la realización de las evaluaciones se prevé y articula a través de planes plurianuales; y el desarrollo concreto de las evaluaciones se orienta mediante manuales o directrices.
Sea cual fuere el modelo por el que finalmente se apueste, parecería razonable que su implantación se realice de manera progresiva, asumiendo objetivos realistas y ajustándolos al desarrollo de las capacidades existentes. Este último aspecto es crítico. Por un lado, implica contar con empleados públicos que reúnan un perfil adecuado para encargar, gestionar y, en su caso, ejecutar evaluaciones, lo cual requiere invertir en formación continua –adaptada en función del tipo de responsabilidades vinculadas con el ejercicio de la evaluación– y asegurar un equilibrio entre funcionarios y personal laboral que, ante la ausencia de un cuerpo especializado, permita incorporar a profesionales con experiencia evaluativa previa y con un conocimiento suficiente de los diferentes ámbitos que integran la acción exterior.
Por otro lado, es preciso conocer las características del mercado y arbitrar mecanismos que permitan contar con la solvencia técnica adecuada cuando se externalice la ejecución de las evaluaciones, ya que al tratarse de una actividad escasamente regulada y aún poco consolidada en España –aunque existe una sociedad de evaluación, no hay una titulación específica, ni un colegio profesional, ni un sistema de acreditación, por ejemplo– se corre el riesgo de no conseguir equipos idóneos que reúnan todas las competencias necesarias para cumplir satisfactoriamente con los diferentes encargos.
Conclusión: Sin ser el objetivo de este artículo ofrecer un recetario, sino alimentar la reflexión, cabe sintetizar, a manera de conclusión, algunas ideas que nos parecen especialmente relevantes:
- Un consenso generalizado acerca de cómo se entiende y para qué debería servir la evaluación de la acción exterior como punto de partida, de manera que se evite la generación de falsas expectativas y se asegure su articulación y complementariedad con otras funciones conexas.
- Una función de evaluación orientada al cambio para la mejora, que equilibre y concilie el aprendizaje y la rendición de cuentas.
- Una evaluación útil, rigurosa y creíble, que se integre desde las primeras fases al ciclo de gestión y que responda a las singularidades de la acción exterior como objeto de evaluación.
- Una función de evaluación independiente pero imbricada en el funcionamiento del MAEC, desplegada conforme a un modelo organizativo coherente con los fines que se le asignen.
- Un desarrollo progresivo de la función de evaluación, que se asiente en una unidad especializada debidamente dotada y cualificada y que vaya empapando al resto de la organización a través de un “aprender haciendo”, acompasando los objetivos y los medios y generando incentivos para promover la cultura de evaluación.
- Un impulso sostenido desde un liderazgo al más alto nivel, que asuma que el fortalecimiento de la evaluación no sólo compete a las unidades de evaluación y que tenga claro el valor añadido que el uso estratégico de esta función puede aportar a la política exterior española.
José Manuel Argilés Marín
Director de la División de Evaluación de Políticas para el Desarrollo y Gestión del Conocimiento, Secretaría General de Cooperación Internacional para el Desarrollo, Ministerio de Asuntos Exteriores y de Cooperación
Bibliografía
AEVAL (2010), Fundamentos de evaluación de políticas públicas, AEVAL, Madrid.
CERE (2010), “Methodology for evaluating European foreign policy performance”,
Chelimsky, E. (1995), “The political environment of evaluation and what it means for the development of the field”, Evaluation Practice, vol. 16, nº 3, pp. 215–225.
MAEC (2013), Política de Evaluación de la Cooperación Española, Secretaría General de Cooperación Internacional para el Desarrollo, Madrid.
OCDE (2002), Glosario de los principales términos sobre evaluación y gestión basada en resultados, OECD Publications, París.
Schedler, Andreas (2008), ¿Qué es la rendición de cuentas?, Instituto Federal de Acceso a la Información Pública, México DF.
Vedung, E. (1997), Evaluación de Políticas Públicas y Programas, Ministerio de Trabajo y Asuntos Sociales, Instituto Nacional de Servicios Sociales, Madrid.
[1] Documentos entre los que se encuentra la aportación de Iliana Olivié, la cual extrae enseñanzas de la experiencia del sistema español de cooperación internacional para la elaboración de una estrategia de acción exterior de manera más amplia, incluyendo propuestas en los ámbitos de la planificación, el seguimiento, la evaluación, la rendición de cuentas, las capacidades técnicas, humanas y financieras, y el diseño institucional.
[2]La evaluación de la evaluabilidad implica valorar la razonabilidad y posibilidad de llevar a cabo una evaluación en función de la oportunidad, la disponibilidad de información, los recursos existentes, los costes asociados, etc. Básicamente, se trata de responder a las preguntas “¿es posible evaluar x?”, “¿merece la pena hacerlo en este momento?”.
