Printer Friendly

Propuesta metodologica para el diseno de un sistema de indicadores culturales local basado en la planificacion estrategica.

A methodological proposal for designing a local cultural indicators system based on the strategic planning

Introduccion

Los conceptos de cultura y desarrollo, asi como sus implicaciones para el desarrollo economico, social, territorial, urbano y comunitario, han sido ampliamente debatidos en distintos foros por agentes e investigadores. En este documento delimitamos nuestra reflexion al ambito local debido al importante papel que juegan los gobiernos locales en la potenciacion del sector cultural como mecanismo de desarrollo.

La disponibilidad de informacion, de datos, es imprescindible para comprender la realidad en cualquier escenario y/o territorio e intentar mejorarla. Asi pues, la informacion se revela como el recurso (intangible) mas valioso para orientar el camino, su analisis permitira apreciar la realidad en un determinado escenario (Bonet i Agusti, 2004) asi como investigar las estructuras de las relaciones causales entre cultura y desarrollo.

Sin embargo, el sector de la cultura adolece, en general, de informacion confiable, homogenea y comparable, lo que dificulta su analisis. La disponibilidad y el acceso a informacion suele estar asociado al grado de desarrollo economico, politico y social de un pais, aunque cada vez con mas frecuencia son las administraciones publicas quienes toman la iniciativa de buscar y acceder a la informacion cultural, y promueven el diseno e implantacion de indicadores culturales como instrumento para avanzar hacia objetivos de desarrollo.

Mas concretamente, por proximidad a las inquietudes ciudadanas, los gobiernos locales se convierten en actores principales que necesitan estructurar y sistematizar la informacion cultural a traves de sistemas de informacion confiables y utiles que permitan satisfacer, por una parte, la necesidad de someter a analisis rigurosos la gestion de las politicas publicas locales y, por otra parte, evaluar la adecuacion de la planificacion a traves del analisis de las relaciones entre los objetivos planificados y los logros alcanzados.

Los objetivos ultimos de un sistema de informacion son (i) apoyar el proceso de adopcion de decisiones para fortalecer la politica publica cultural mediante el incremento de los niveles de eficacia y eficiencia en el uso de los recursos y (ii) reforzar la transparencia y los mecanismos de rendicion de cuentas orientados a los ciudadanos. Lograr estos objetivos supone mejorar la realidad cultural, que debe ampliar las oportunidades economicas de los individuos y grupos sociales, elevando la renta de las personas y reduciendo la pobreza, a la vez que se mejora la educacion, la salud, la conservacion del medioambiente, la accesibilidad y la participacion cultural, asi como todas las relaciones simbolicas que se establecen en un escenario complejo y extraordinariamente cambiante como es el urbano (Rausell, 2008).

En el contexto que se ha descrito, en este trabajo se presenta, desde la perspectiva de la Economia Aplicada y tomando como referencia el marco que proporcionan las Estadisticas Culturales de la UNESCO y la Agenda 21 de la cultura, una propuesta metodologica orientada, en general, al diseno general de Sistemas de Indicadores Culturales que faciliten el seguimiento y evaluacion de la politica cultural. Concretamente, nuestra propuesta para la construccion de sistemas de indicadores considera tanto el sistema de objetivos que se deriva de la planificacion estrategica de la organizacion de interes como la interrelacion entre la metodologia del Marco Logico y el modelo evaluativo CIPP (Contexto-Insumo-Proceso-Producto). En funcion de la naturaleza y la tipologia de los indicadores que se definen y seleccionan para integrar el sistema de indicadores este se estructura en un Sistema Basico y un Sistema Estrategico. Cada uno de ellos, como se abordara mas adelante, persigue unos objetivos especificos.

1. Lo Urbano como escenario de actuacion.

Como se ha comentado en el apartado anterior, centramos nuestro discurso en el ambito local, dado el papel determinante que desempenan las administraciones locales en la potenciacion del sector cultural. En Espana, las competencias en materia cultural estan descentralizadas, y buena parte de las responsabilidades de la toma de decisiones en el ambito cultural son asumidas en los niveles regional y municipal.

En el plano economico, el Estado juega un papel secundario en la financiacion publica de la cultura si se compara con los poderes locales (Negrier, 2007). En efecto, tal y como se muestra en la Tabla 1, el porcentaje de gasto cultural de las administraciones locales es significativamente superior al efectuado tanto por las administraciones autonomicas como por la administracion central. Concretamente, el gasto en cultura de la Administracion Local multiplica por cuatro el presupuesto de gasto liquidado de la Administracion Central y por dos el gasto de la Administracion Autonomica.

En la Tabla 1 tambien puede observarse como en el periodo 2005-2007 el gasto liquidado (en terminos nominales) en cultura tanto de la Administracion General del Estado como del resto de administraciones se ha incrementado de manera significativa. Sin embargo, en el periodo 2008-2011, periodo marcado por la grave crisis economica que atraviesa nuestro pais, el gasto liquidado en cultura en la Administracion General del Estado cae en torno a un 10%, en la Administracion Autonomica la reduccion del gasto se situa por encima del 31% y en la Administracion Local, pese a que el gasto en 2011 en terminos nominales es ligeramente inferior al del ano 2010, en el conjunto del periodo 2008-2011 el gasto liquidado (en terminos nominales) en cultura ha crecido un 2,11%.

Por otra parte, dentro de la Administracion Local son los ayuntamientos los que distribuyen mas del 80% del presupuesto del gasto en cultura, tal y como se muestra en la Tabla 2. Por tanto, puede decirse que los datos economicos proporcionan indicios que permiten sostener la idea de que la cultura tiende a vincularse cada vez mas con lo local, siendo precisamente los ayuntamientos quienes soportan la mayor parte de los costes economicos para proporcionar los productos, bienes y servicios culturales a sus ciudadanos.

Sin embargo, aunque el apoyo con fondos publicos a las artes y la cultura esta ampliamente debatido y consensuado en la literatura (Palma y Aguado, 2011), los recursos economicos necesarios para acometer la politica cultural son (especialmente) escasos. Para atraer recursos procedentes de otras partidas presupuestarias puede esgrimirse el argumento de que la cultura mejora la calidad de vida de los ciudadanos, pero este es tambien el objetivo de otras politicas publicas como la sanitaria o la educativa, por citar las mas consensuadas. Asi pues, es necesario establecer argumentos adicionales que permitan convencer, y demostrar, que la Cultura no solo es importante desde la perspectiva social, humana y de desarrollo integral o global, sino tambien desde la perspectiva economica, que genera riqueza y crecimiento y que su aportacion al PIB se situa por encima de la de otros sectores economicos tradicionalmente mas considerados.

Para establecer la importancia (social y economica) del sector cultural es necesario cuantificar los rendimientos de la inversion en cultura. Por tanto, regresamos de nuevo a la necesidad de medir, de tener datos para analizar, demostrar y poner en valor al sector. Es necesario disponer de cifras confiables que permitan posicionar la cultura respecto al resto de sectores y, sobre todo, para llegar a identificarla como mecanismo favorecedor del desarrollo.

2. Los Sistemas de informacion como pieza clave para la planificacion cultural.

La planificacion debe entenderse como un instrumento a traves del cual se puede, de acuerdo con la vision de una determinada institucion, modificar la realidad cultural haciendo uso de los mecanismos de que disponen las administraciones para orientar la accion politica hacia los grandes objetivos (Sanchez Albarera, 2003; Armijo, 2011).

En el ambito de lo publico, y en un contexto cada vez mas complejo y cambiante que describe modelos efectivos de intervencion sobre la configuracion de los espacios simbolicos (Evans, 2001), la planificacion debe entenderse como una herramienta imprescindible para la identificacion de prioridades y la asignacion de recursos (Armijo, 2011; Nacke y Cellucci, 2013). Desde esta perspectiva, la planificacion cultural marca los limites desde los cuales se fijan los procesos de seguimiento y evaluacion del desempeno de las administraciones en general y de las politicas publicas culturales en particular. En el ambito de lo local, cualquier forma de planificacion urbana es hoy una forma de planificacion cultural (Greenhalgh y Woorpole, 1999).

Los procesos de seguimiento y evaluacion de los planes, programas y proyectos, que son el resultado del proceso de planificacion estrategica (Mintzberg, Brian y Voyer, 1997; Johnson y Scholes, 2002), se fundamentan, a su vez, en otros procesos relacionados con la observacion de la realidad cultural. Esto obliga a la sistematizacion de la recogida de datos, su almacenamiento y tratamiento para proporcionar los elementos y resultados del analisis de la informacion, imprescindibles para la toma de decisiones. En consecuencia, disponer de un Sistema de Informacion Cultural (SIC) robusto y fiable es condicion necesaria para conocer y evaluar las dinamicas existentes o emergentes en el territorio, asi como para disenar e implementar un Sistema de Indicadores Culturales. Asi, ambos, el Sistema de Informacion Cultural y el Sistema de Indicadores Culturales (que es parte integrante del primero) (1) estructuraran el ciclo de informacion necesario para la planificacion.

Al igual que el Sistema de Informacion, el Sistema de Indicadores necesita de la sistematizacion y, por tanto, de la definicion de variables, de la sostenibilidad en el tiempo de la recogida de datos y su tratamiento para dar respuestas validas al planificador. Logicamente, la pieza basica de este sistema sera el indicador cultural. Sin embargo, la heterogeneidad existente en el ambito de la cultura provoca dispersion, dificultad en la comparacion, duplicidad de esfuerzos y poca rigurosidad (Planas y Soler, 2012). A este respecto, en el sector cultural seguimos sin ponernos de acuerdo sobre cuales son los mejores indicadores.

Recientemente, desde las comisiones de cultura de las Ciudades y Gobiernos Locales Unidos (CGLU), se pide una revision del termino Cultura. Terminologias como desarrollo amplian mas y mas rapidamente sus acepciones. Se demandan nuevos modelos de politica cultural, donde la cultura juega un papel estrategico en el desarrollo sostenible de las ciudades al estar presente en todas las politicas publicas. Se incorporan nuevas visiones, nuevos espacios y nuevos escenarios que dificultan centrar que es lo que queremos, en que cantidad, con que calidad y en que tiempo. ?Sabemos que medir?, ?llegaremos a tiempo para crear, consensuar e incorporar el indicador idoneo a nuestro sistema? La respuesta es dificil, pero pasa inevitablemente, en ultima instancia, por la planificacion, por la accion politica y, en definitiva, por la politica publica cultural activa.

3. Marco teorico de referencia para el diseno de un Sistema de Indicadores Culturales.

Establecer en el ambito local un Sistema de Informacion Cultural (SIC) acorde con las caracteristicas del escenario y de la realidad resulta complejo. Este sistema de informacion debe establecerse a partir del analisis de las relaciones tangibles e intangibles existentes en el municipio. En ultima instancia, estas relaciones determinaran el contexto--una politica publica se enmarca en un territorio--sobre el que se ejecutara la accion cultural y configuraran el Sistema Cultural Local (Carrasco, 1999).

El marco contextual condicionara la vision y mision de las entidades e instituciones tanto publicas como privadas y, en consecuencia, el desempeno de la politica cultural. Por ello, es necesario disponer de un sistema de informacion util y eficaz para los propositos encomendados desde la organizacion politica, que recoja las interrelaciones entre los agentes intervinientes en ese escenario concreto y que posibilite la comparacion con otros sistemas culturales, esto es, otros escenarios.

Por tanto, para construir un Sistema de Indicadores Culturales Locales es necesario definir un marco teorico que integre metodologias comunes y consensuadas que permitan disenar indicadores que representen, en la medida de lo posible, una misma realidad. En esta linea, y como puede verse en la Figura 1, el marco teorico de referencia sobre el que asienta las bases de nuestra propuesta metodologica para el diseno de un Sistema de Indicadores Culturales Local (SlCLO) es el resultado de la convergencia del Marco de las Estadisticas Culturales (MEC) de la UNESCO (2009) y de la Agenda 21 de la Cultura del CGLU (2004) a partir de un determinado marco contextual.

[FIGURA 1 OMITIR]

3.1. Marco Contextual

El marco contextual donde se situa la accion cultural local es el Sistema Cultural Local, SCL (vease Figura 2), el cual constituye el mapa cognitivo que determina los elementos a diagnosticar en la realidad cultural local. El SCL se estructura en tres niveles. El primer nivel se refiere a las relaciones entre las entidades locales y las supralocales; en el segundo nivel se enmarcan los elementos y relaciones que determinan la oferta y la demanda cultural en el ambito local y, por ultimo, en el tercer nivel se analizan los efectos arrastre entre y hacia los diferentes sistemas culturales municipales.

Sin duda, el segundo nivel es el que presenta mayor complejidad y es donde se va a fijar, en mayor medida, los principales condicionantes de la planificacion cultural. En el SCL confluyen la oferta y demanda cultural. Por un lado, la oferta proviene de los agentes culturales y refleja la influencia directa de la administracion a traves del modelo institucional como proyeccion de la politica cultural municipal; por otro lado, la demanda en un SCL viene determinada por los usos y practicas de consumo de la demanda efectiva local y por la demanda potencial o latente. Este escenario de oferta y demanda se cierra a traves del circulo del ciclo cultural, como visualizador de la actividad y la produccion cultural que contribuye a dinamizar las actividades y la produccion cultural que se desarrollan en la practica proporcionando, en ocasiones, una vision mas amplia que la propiamente ofrecida por lo que entendemos como dominios culturales.

[FIGURA 2 OMITIR]

3.2. Marco de Estadisticas Culturales.

El MEC 2009 tiene como "objetivo establecer una base conceptual que facilite un punto de vista comun que, a su vez, permita realizar comparaciones internacionales que abarquen un espectro amplio de actividades relacionadas con la produccion, difusion y usos de la cultura" (UNESCO, 2009:16). Por esta razon, en el ambito de la Cultura, el MEC 2009 debe servir de referente al construir un sistema de indicadores culturales (Ben, 2007; Ministerio de Cultura y Juventud, 2009; Rojas Vazquez, 2010), puesto que en el se establecen de manera internacionalmente consensuada, los conceptos, estructuras y criterios para el nuevo enfoque de las estadisticas culturales.

Los principios orientadores que se recogen en el MEC 2009 van encaminados a establecer una base conceptual que engloba todas las expresiones culturales y hace uso de categorias homologables sobre clasificaciones internacionales de productos, actividades economicas y ocupaciones, facilitando la identificacion de variables y la construccion de indicadores culturales con una mision descriptiva e integradora de la realidad cultural.

En el MEC 2009 se plantea la medicion de la cultura en sus dimensiones economica y social. La medicion de la dimension economica se realiza a partir del examen de diferentes sistemas internacionales de clasificacion como una forma de homogeneizar y armonizar el analisis del sector cultural. En contraposicion, la medicion de la dimension social, mas compleja al estar relacionada con lo simbolico (con lo intangible), es la mas importante a la hora de configurar un sistema de indicadores para el seguimiento y evaluacion de la politica cultural en el ambito local. En general, en el sector cultural la medicion de la dimension social viene siendo realizada a traves de encuestas como, por ejemplo, la encuesta de practicas y consumos culturales o aquellas dirigidas a conocer el uso de servicios como el de bibliotecas.

3.3. Agenda 21 de la Cultura.

La Agenda 21 de la Cultura es el primer documento con espiritu global que apuesta por establecer las bases de un compromiso entre las ciudades y los gobiernos locales para el desarrollo cultural. La evaluacion de las politicas publicas se justifica por la mejora en el bienestar individual y social que puede obtenerse por la accion de la Administracion Local (Ballart, 1996). En este sentido, la politica cultural local se identifica plenamente con lo social y se convierte, de hecho, en politica sociocultural. Las acciones de los gobiernos locales deberian tener en cuenta conceptos tales como: acceso y participacion activa, memoria e identidad, vitalidad, proximidad, expresion y difusion cultural, crecimiento y desarrollo, etc. Asi, los objetivos de las politicas socioculturales no se deben centrar en un solo sector, es vital la dimension transversal. Entre los elementos comunes de estas acciones, proyectos e intervenciones que hacen referencia a lo sociocultural esta su objetivo: el Desarrollo Cultural individual y comunitario (Planas y Soler, 2009).

El cambio o la mejora producida por la accion de las politicas culturales tiene que asumir el papel que juegan en el territorio las ciudades, como aglutinadoras y concentradoras de usuarios, y los gobiernos locales como promotores de la accion cultural y eje de las politicas urbanas. El caracter dual de la cultura---como generadora de crecimiento economico y de bienestar individual y social como desarrollo integral--genera empleo y riqueza, pero tambien promueve la expresion y participacion de los ciudadanos en la vida politica, favoreciendo el sentido de identidad y construyendo ciudades mas creativas (Garcia y Piedras, 2006).

Toda esta vision conceptual y contextual, que abarca la cultura en el ambito local y urbano, lo recoge el grupo de trabajo en cultura de CGLU (CGLU, 2004, 2010) a traves de la Agenda 21 de la Cultura, en la que tambien se recomienda a los gobiernos locales la creacion de sistemas de indicadores culturales a partir de los cuales se realice el seguimiento y evaluacion de las politicas culturales, de sus objetivos y de sus logros (Planas y Soler, 2012).

Los Ayuntamientos tienen que adaptar su politica cultural a su realidad, a su propio escenario. Las areas de cultura de las entidades locales deben adaptar a sus propios contextos sociales, economicos y culturales el sistema de informacion y de indicadores, mas acorde con su politica sociocultural y su mision-vision, formulando los planes, programas y proyectos que configuraran su accion cultural. Solo despues de analizar y contextualizar la accion de politica cultural en ese escenario real y simbolico que supone el ambito municipal, se podra aplicar un marco teorico que permita medir el desempeno de la politica cultural y, asi, concretar las propuestas de indicadores. Esta mision es la que en Espana recogio la Federacion Espanola de Municipios y Provincias (FEMP) en la "Guia para la evaluacion de las politicas culturales locales en el marco de la Agenda 21" (FEMP, 2009).

4. Propuesta metodologica para el diseno de un Sistema de Indicadores Culturales.

En base a la convergencia del marco contextual (relativo al escenario o contexto de un determinado municipio), el MEC 2009 y el marco global para el desarrollo cultural de las ciudades proporcionado por la Agenda 21 que da como resultado el marco teorico que permitira gestionar, seguir y evaluar la estrategia de la politica cultural municipal, nuestra propuesta metodologica para formular un Sistema de Indicadores Culturales se articula, como puede verse en la Figura 3, en torno a:

1. El sistema de objetivos (operativos, tacticos y estrategicos) que se deriva del proceso de planificacion estrategica de una organizacion/institucion y que se vincula directamente con las politicas y estrategias a seguir y,

2. La integracion de dos dimensiones que se encuentran relacionadas: el analisis de Marco logico (Logical Framework Analysis, LFA) (2) y el modelo evaluativo Contexto, Insumo, Proceso, Producto (CIPP).

El Marco Logico (Sartorius, 1991; Gasper, 2000; Bakewell y Garbutt, 2005) es una herramienta de trabajo que facilita a un evaluador examinar el desempeno de un programa en todas sus etapas. Permite presentar de forma sistematica y logica los objetivos de un programa y las relaciones de causalidad que existen entre ellos (Camacho et al., 2001). Asimismo, sirve para evaluar en que grado se han alcanzado los objetivos y para definir los factores externos al programa que pueden influir en su consecucion. Es el principal instrumento de programacion utilizado en planificacion por objetivos, y ha sido progresivamente adaptado a la gestion de las intervenciones en cooperacion. La matriz de marco logico, que se elabora a efectos de seguimiento y evaluacion de proyectos, debe reflejar el plan, programa o proyecto (PPP) que pretende desarrollar.

[FIGURA 3 OMITIR]

El modelo evaluativo CIPP (Worthen y Sanders, 1987; Eseryel, 2002; Stufflebeam y Shinkfield, 2002) procede de ambitos relacionados con el analisis de la educacion. En este modelo se define la evaluacion como un proceso (King, 2007) destinado a delimitar, obtener y proporcionar informaciones utiles para evaluar, juzgar y ponderar las posibles alternativas, es decir, es un proceso generador de informacion viable y, en consecuencia, util que nos permitira tomar la decision idonea para nuestros objetivos, desde la fase de diagnostico y planificacion (proyecto), pasando por la estructuracion relativa a la puesta en marcha de los procesos y actuaciones, hasta la fase de resultados finales.

A partir de la interrelacion entre el sistema de objetivos que se establece en el proceso de planificacion estrategica, el Marco Logico y el modelo CIPP (Bonefoy y Armijo, 2005; Coll-Serrano et al., 2012a) estructuramos nuestra propuesta para construir un sistema de indicadores, el cual, a su vez, en funcion de los objetivos especificos perseguidos por el sistema se organiza en un Sistema Basico y un Sistema Estrategico.

4.1. Sistema Basico de indicadores

El Sistema Basico esta orientado a la planificacion a corto plazo. Su principal objetivo es facilitar la gestion, apoyar el proceso de toma decisiones y establecer la linea base que permitira fijar las metas de las estrategias a medio y largo plazo.

Para cumplir con su finalidad, el Sistema Basico estara fundamentalmente vinculado a indicadores de actividades. Los indicadores que configuren este sistema seran indicadores sencillos y operativos; indicadores que permitiran conocer, en base a la planificacion realizada, las actividades, beneficiarios y resultados de la accion cultural. Como puede verse en la Figura 4, para definir este tipo de indicador se precisa conocer que informacion esta disponible, como se recogen los datos, su calidad y si se requiere de informacion adicional para cubrir todos los aspectos, areas o temas relacionados con las competencias de los responsables de las politicas culturales.

[FIGURA 4 OMITIR]

En la practica, los indicadores que componen el Sistema Basico estaran vinculados a los recursos disponibles, los procesos de transformacion y los productos que se obtienen (Figura 3). En definitiva, los indicadores del Sistema Basico seran indicadores relacionados con la gestion de la accion en cultura.

De acuerdo con Bonefoy y Armijo (2005) y la Agencia Espanola de Cooperacion Internacional al Desarrollo (2007), estos indicadores de recursos, procesos y productos pueden definirse de la siguiente manera:

* Indicadores de recursos: permiten conocer la naturaleza y cuantia de los factores que directa o indirectamente se utilizan para llevar a termino una intervencion para alcanzar el proposito especificado en el proyecto.

* Indicadores de proceso: permiten medir la realizacion de acciones, procesos, actividades o actuaciones programadas a partir de los recursos disponibles.

* Indicadores de producto: aportan informacion acerca de la cantidad y calidad de producto, bienes o servicios que se generan a partir de las actividades programadas, los procesos realizados o las acciones implementadas. Es el resultado a corto plazo, el proposito directo de la planificacion.

Para ilustrar la aplicacion de nuestra propuesta metodologica de construccion del Sistema Basico de indicadores puede tomarse como ejemplo el Sistema de Indicadores Culturales Local, SICLO (Coll-Serrano et al., 2012b), si bien en funcion del marco contextual (vease apartado 4) los indicadores que pueden definirse como parte del Sistema Basico pueden ser muy distintos.

Los indicadores contenidos en SICLO, unos de naturaleza cualitativa y otros cuantitativa, tienen su origen en la "Guia para la evaluacion de las politicas culturales locales " elaborada por el grupo de trabajo de la FEMP (FEMP, 2009) y se articulan en torno a los principios y recomendaciones que contiene la Agenda 21 de la Cultura en aquellas areas tematicas que se consideraban relevantes desde el punto de vista de las politicas culturales locales, a saber: (i) Cultura y desarrollo; (ii) Transversalidad de las politicas culturales; (iii) Cultura y participacion ciudadana; (iv) Accesibilidad de la oferta cultural y (v) Papel de las iniciativas relacionadas con la memoria y la innovacion en la construccion de la identidad local. Adicionalmente, incorporan los logros que sobre sistemas de informacion y definicion de indicadores se venian desarrollando por el grupo de trabajo de la CGLU y de otras organizaciones, como el sistema de indicadores de Vigia-Observatorio Cultural de Cadiz (3) o el Sistema de Informacion Cultural de CONACULTA (4).

El resultado final, el Barometro Cultural Local (BACULO), es una herramienta que proporciona informacion a los gobiernos locales para apoyar tanto los procesos de planificacion y toma de decisiones como el seguimiento y evaluacion de las politicas culturales. BACULO se alimenta de los datos almacenados en el modulo basico del SICLO, los analiza y sintetiza la informacion en un conjunto de indicadores compuestos multidimensionales.

En el caso concreto expuesto, se definieron tres indicadores compuestos Indicador de Sintonia, Indicador de Accion e Indicador de Impulso-Respuesta--que pretendian reflejar diversos aspectos de la politica cultural del gobierno local. Concretamente, el Indicador de Accion, cuyo objetivo es describir la intervencion de un determinado gobierno local en terminos de los recursos destinados a la cultura y de los diversos canales y mecanismos que utiliza para su aplicacion, esta integrado por cinco dimensiones: presupuesto, personal, dotaciones, equipamientos y actividades. Entre los indicadores de actividades se consideraron (Coll-Serrano et al., 2013a):

Finalmente, decir que el Sistema Basico estara integrado, en general, por indicadores mas homogeneos y sencillos de consensuar, puesto que las distintas instituciones, administraciones y gobiernos locales tienden a mostrar una estructura y unos objetivos similares en politica cultural.

4.2. Sistema estrategico de indicadores

El Sistema Estrategico, como se observa en la Figura 3, se refiere a la planificacion estrategica especifica de cada gobierno local y, por tanto, se vincula directamente con los resultados, con la consecucion de los logros esperados en comparacion con las metas propuestas a medio y largo plazo. Por tanto, el Sistema Estrategico--al depender de la propia politica cultural del planificador, del politico--estara integrado por indicadores vinculados a la estrategia y a los resultados a alcanzar a medio y largo plazo.

[FIGURA 5 OMITIR]

La construccion de un Sistema Estrategico, cuyo proceso de construccion se sintetiza en la Figura 5, necesita del analisis de la planificacion para fijar estrategias, estableciendo objetivos, detectando cuales seran las claves de exito que permitiran fijar las metas y su consecucion.

Los indicadores que configuraran el Sistema Estrategico, generalmente de caracter agregado y sintetico, se relacionan con los efectos o impactos, es decir, se trata de indicadores que pretenden medir "los resultados a nivel del fin ultimo esperado con la entrega de los bienes y servicios" (Bonefoy y Armijo, 2005:28).

Como ya se hizo con el Sistema Basico, recurrimos a un ejemplo para ilustrar el resultado final de diseno de un Sistema Estrategico. En esta ocasion se hace referencia al diseno del Sistema Estrategico para facilitar el seguimiento y la evaluacion de la estrategia de Cultura y Desarrollo de la cooperacion espanola. En este escenario, totalmente distinto al tomado como ejemplo para ilustrar un Sistema Basico, se partio de un catalogo inicial de indicadores culturales que fue complementado con (i) indicadores procedentes de estadisticas publicadas por las Oficinas de Estadistica y Ministerios de Cultura de los paises socios de la cooperacion espanola e (ii) indicadores construidos a partir de variables relevantes recogidas en la Memoria de Actividades de la Direccion General de Relaciones Culturales y Cientificas.

El catalogo final de indicadores fue sometido a la valoracion de un panel de expertos mediante la tecnica Delphi, de manera que los indicadores que terminaron configurando el Sistema Estrategico fueron seleccionados atendiendo a su tipologia (efecto e impacto) y la definicion ad-hoc de un indice de operatividad relativa.

Sin embargo, la dimension estrategica del sistema implicaba que este debia estar necesariamente orientado, de cara a una mayor efectividad de la estrategia de Cultura y Desarrollo de la cooperacion espanola, a facilitar y apoyar la toma de decisiones por parte de los responsables del diseno e implementacion de las politicas de cooperacion. En consecuencia, a la hora de construir el Sistema Estrategico se considero cuales eran los objetivos especificos que orientaban la realizacion de acciones y la aplicacion de politicas de las diferentes lineas estrategicas.

Por tanto, los indicadores propuestos para integrar el Sistema Estrategico debian poseer capacidad para senalizar el grado o ritmo de avance con respecto al logro de los distintos objetivos especificos en cada area estrategica. A modo de ejemplo, en la Tabla 4 se listan los indicadores que, en este caso particular, fueron retenidos para formar parte del Sistema Estrategico correspondiente a la linea Gestion Sostenible del Patrimonio Cultural.

4.3. Sistema de indicadores y evaluacion

Para terminar de perfilar la metodologia de elaboracion de un Sistema de Indicadores Culturales conviene indicar que tanto en el Sistema Basico como en el Estrategico existe evaluacion. La evaluacion esta fundamentalmente orientada a establecer el grado de eficiencia, eficacia, economia y calidad de cada una de las partes integrantes en la accion cultural. Para posibilitar la evaluacion de los sistemas deben definirse:

* Indicadores de Eficiencia: Miden la relacion entre los logros o resultados obtenidos y los recursos empleados para alcanzar el nivel de producto o servicio (indicadores tales como el coste unitario de produccion, la productividad media de los factores, o el ratio resultados sobre recursos).

* Indicadores de Eficacia: Se refiere a los logros o resultados obtenidos en relacion con las metas y objetivos organizacionales programados (Indicadores de cobertura, focalizacion, grado de cumplimiento, realizado sobre programado; resultados finales sobre iniciales).

* Indicadores de Economia: Capacidad para adecuar y mejorar los recursos financieros en relacion a la planificacion para la produccion de bienes y servicios (indicadores como los ratios de patrocinio sobre gasto total, gastos indirectos sobre el gasto total o el de recursos sobre costes).

* Indicadores de Calidad: Capacidad de la institucion para responder de forma rapida y directa a las necesidades de sus usuarios (indicadores de oportunidad, accesibilidad, precision y satisfaccion).

Cabe destacar que el proceso de evaluacion se debe aplicar a cada una de las partes de la planificacion, desde los insumos (recursos) a los impactos. La doble dimension de seguimiento y evaluacion (ver Figura 6) es necesaria para la toma de decisiones y para avanzar en el cambio hacia una nueva realidad a traves de los resultados.

Evidentemente, la definicion de indicadores que contemplen ambas dimensiones (gerencial-transaccional) sera mas sencilla en unos casos que en otros, y especialmente cuando el indicador trata de capturar el progreso relacionado con los efectos o impactos. Tambien hay que tener presente que, en determinadas ocasiones, un mismo indicador puede ser utilizado para medir dos factores de una misma dimension; asi, por ejemplo, un mismo indicador de producto puede ser valido para orientar sobre el avance en Eficiencia y Economia.

[FIGURA 6 OMITIR]

A continuacion se ilustran algunos ejemplos de indicadores que podrian ubicarse en distintas celdas de la matriz representada en la Figura 6.

* Eficacia-Proceso: Grado de cumplimiento de la programacion de una determinada actividad cultural.

* Eficacia-Producto: Porcentaje de actividades realizadas sobre las programadas.

* Eficiencia-Efecto: Porcentaje que suponen los ingresos obtenidos por el incremento de consumidores de una determinada actividad cultural respecto de la inversion realizada en su promocion.

* Economia-Recurso: Porcentaje que supone el patrocinio en la prestacion de equipamiento respecto de los gastos totales de la actividad cultural.

* Economia-Producto: Beneficio obtenido por la realizacion de una determinada actividad cultural.

* Calidad-Proceso: Tiempo de retraso en la produccion de una determinada actividad cultural.

* Calidad-Efecto: Incremento del grado de satisfaccion de los consumidores de un producto cultural.

5. Conclusiones

Las ciudades son los principales espacios en consumo cultural y son los gobiernos locales quienes planifican la politica cultural, efectuando la mayor parte del gasto en cultura de la administracion publica. Su accion cultural tiene que estar basada en informacion y analisis y no cabe la toma de decisiones por intuicion u olfato politico.

La construccion de Sistemas de Indicadores pretende proporcionar instrumentos de analisis que contribuyan a mejorar el conocimiento sobre el estado de la cultura en el ambito local con el fin de proporcionar informacion de apoyo que facilite la planificacion y evaluacion de las politicas culturales locales.

La propuesta metodologica que se plantea en este articulo para facilitar la construccion de Sistemas de Indicadores Culturales, tanto en su vertiente basica como estrategica, se fundamenta, al tiempo, en el marco contextual en el que se desarrolla la accion cultural local y en la confluencia de metodologias consensuadas y generalmente aceptadas en el ambito de la Cultura como son el MEC 2009 y la Agenda 21. Teniendo presente estos marcos de referencia, nuestra propuesta consiste basicamente en definir y obtener indicadores de distintos tipos--indicadores de recursos, proceso y productos para integrar el Sistema Basico e indicadores de efectos e impactos para el Sistema Estrategico--que respondan en cada caso a los objetivos que se establecen como resultado del proceso de planificacion estrategica y su interrelacion con el Marco Logico y el modelo CIPP.

Tanto el Sistema Basico como el Sistema Estrategico pretenden aportar conocimiento para mejorar el objetivo general del decisor, asumiendo su mision-vision. Pero para ello es imprescindible evaluar el desempeno de la institucion responsable de la politica cultural local, de forma que el analisis permita, en la medida de lo posible, las comparaciones en el entorno de las politicas publicas. Ahora bien, la idiosincrasia propia de cada ayuntamiento y, en consecuencia, de cada politica cultural ad hoc a la estrategia municipal hace mas complicado consensuar un Sistema Estrategico (estandar), ya que este debe estar integrado por indicadores que tratan de capturar el grado de consecucion de los logros particulares a medio y largo plazo de cada institucion.

Por otra parte, para que un Sistema de Indicadores resulte eficaz los indicadores que lo integran deben ser relevantes, especificos y factibles, y el sistema en su totalidad debe ser operativo. Por tanto, el numero de indicadores que configuran el sistema debe reducirse al minimo necesario para obtener una vision de la eficacia y la eficiencia del desempeno de la institucion, de la estrategia implementada, de una solucion puesta en practica, etc.

Pero sin duda, las principales dificultades a la que hay que hacer frente a la hora de disenar un Sistema de Indicadores son la disponibilidad de informacion precisa en el momento del tiempo adecuado y, sobre todo, la sostenibilidad de la informacion, y por consiguiente del propio sistema, lo que permitira efectuar un verdadero y adecuado seguimiento y evaluacion de la politica o la estrategia cultural. Esta disponibilidad de informacion confiable y sostenible implica disponer de recursos (publicos)--no solo relativos a dotaciones economicas o de personal sino tambien a recursos intangibles vinculados, por ejemplo, con la voluntad politica--destinados a la construccion de Sistemas de Informacion y Sistemas de Indicadores Culturales basados en la planificacion estrategica. Al mismo tiempo, el analisis de la informacion de ambos sistemas puede proporcionar evidencias de que el rendimiento social de la inversion en cultura es elevado, es decir, rentable social y economicamente invertir recursos publicos en cultura.

http://dx.doi.org/10.5209/rev_POSO.2014.v51.n2.42385

Recibido: 30-05-2013

Aceptado: 08-04-2014

Agradecimientos

Los autores agradecen los comentarios y sugerencias realizados por los evaluadores.

Esta investigacion ha recibido financiacion del Ministerio de Economia y Competitividad, proyecto CSO2012-39373-C04-03.

Bibliografia

ARMIJO, M. (2011) Planificacion estrategica e indicadores de desempeno en el sector publico. CEPAL.

BAKEWEIL, O. y GARBUTT, A. (2005) The Use and Abuse of the Logical Framework Approach en www.intrac.org/data/files/resources/518/The-Use-andAbuse-of-the-Logical-Framework-Approach.pdf

BALLART, X. (1996) "Modelos teoricos para la practica de la evaluacion de programas" en Subirats, J. y Brugue, Q. (Eds) (1996) Lecturas de gestion publica, Madrid, Instituto de la Administracion Publica, pp. 321-352.

BEN, J.L. (2007) Sistema de indicadores culturales de las universidades andaluzas, Cadiz, Universidad de Cadiz.

BONET I AGUSTI, L. (2004) "Reflexiones a proposito de indicadores y estadisticas culturales". Gestion Cultural, n 7, pp. 1-13.

BONNEFOY, J.C. y ARMIJO, M. (2005) Indicadores de desempeno en el sector publico, Chile, Instituto Latinoamericano y del Caribe de Planificacion Economica y Social (iLPES).

CAMACHO, H.; CAMARA, L.; CASCANTE, R. y SAINZ, H. (2001) El enfoque del Marco Logico: 10 Casos Practicos. Cuaderno Para la Identificacion y Diseno de Proyectos de Desarrollo. Madrid, Fundacion CIDEAL y Acciones de Desarrollo y Cooperacion. En: http://www.leganes.org/portal/RecursosWeb/DOCuMENTOS/1/0_32592_1.pdf

CARRASCO ARROYO, S. (1999). Analisis factorial aplicado a indicadores socioculturales de la Comunidad Valenciana, Tesis Doctoral, Valencia, Universidad de Valencia.

Ciudades y Gobiernos Locales Unidos, CGLU (2004) Agenda 21 for Culture. United Cities and Local Governments--Committee on culture, 2004. En: http://agenda21culture.net

Ciudades y Gobiernos Locales Unidos, CGLU (2010) La cultura es el cuarto pilar del desarrollo sostenible. Documento de Orientacion Politica. 3er Congreso Mundial de CGLU, Mexico.

COLL-SERRANO, V.; CARRASCO-ARROYO, S.; VILA-LLADOSA, L. y BLASCO-BLASCO, O. (2012a) "Design of a basic system of indicators for monitoring and evaluating Spanish Cooperation's Culture and Development strategy", en Evaluation Review, Vol. 36, n 4, pp. 271-300.

COLL-SERRANO, V.; CARRASCO-ARROYO, S., BLASCO-BLASCO, O. y VILA-LLADOSA, L. (2012b). "Un sistema de indicadores culturales local: SICLO", El Profesional de la Informacion, Vol. 21, n 1, pp. 113-117.

COLL-SERRANO, V.; VILA-LLADOSA, L., BLASCO-BLASCO, O. y CARRASCO-ARROYO, S. (2013a). "El Barometro Cultural Local, BACULO: Una herramienta para el seguimiento y la evaluacion de las politicas culturales locales", Sociedade e Cultura, Vol. 16, n 1, pp. 141-152.

COLL-SERRANO, V.; BLASCO-BLASCO, O.; CARRASCO-ARROYO, S. y VILA-LLADOSA, L. (2013b). "Un sistema de indicadores para el seguimiento y evaluacion de la Gestion Sostenible del Patrimonio Cultural", Transinformacao, Vol. 25, n 1, pp. 55-63.

ESERYEL, D. (2002) "Approaches to Evaluation of Training: Theory & Practice", en Journal of Educational Technology and Society, Vol. 5, pp. 93-98.

EUROPEAN COMMISSION (2004) Aid Delivery Methods. Volume 1. Project Cycle Management Guidelines, Bruselas, Europe Aid Cooperation Office

EVANS, G. (2001) Cultural planning, an urban renaissance?, London, Routledge.

FEMP (2009) Guia para la evaluacion de politicas culturales locales, Madrid, Federacion Espanola de Municipios y Provincias.

GARCIA, N. y PIEDRAS, E. (2006) Las industrias culturales y el desarrollo de Mexico, Mexico, Siglo XXI Editores.

GASPER, D. (2000) "Evaluating the 'logical framework approach' towards learning-oriented development evaluation", en Public Administration and Development, Vol. 20, pp. 17-28.

GREENHALGH, L. y WORPOLE K. (1999) Richness of cities: Final Report Richness of Cities: Urban Policy, London, Comedia.

JOHNSON, G. y SCHOLES, K. (2002) Direccion estrategica, Madrid, Prentice Hall.

KING, J.A. (2007) "Developing Evaluation Capacity Through Process Use", en New Directions for Evaluation, Vol. 116, pp. 45-59.

MINISTERIO DE EDUCACION, CULTURA Y DEPORTE DE ESPANA (varios anos) Anuario de estadisticas culturales. En http://www.mcu.es/estadisticas/MC/NAEC/index.html

MINISTERIO DE CULTURA Y JUVENTUD DE COSTA RICA (2009) Diseno y elaboracion de un sistema de indicadores culturales. En: http://si.cultura.cr/images/documentos/publicaciones/Diseo_y_Elaboracin_de_un_Sistema_de_Indicadores_Culturales.pdf

MINTZBERG, H.; BRIAN QUINN, J. y VOYER, R. (1997) El proceso estrategico: Concepto, contextos y casos, Mexico, Prentice Hall.

NACKLE, M. Y CELLUCCI, M. (2013) La planificacion estrategica: herramienta para la transparencia y rendicion de cuentas en el gobierno local. Documento de trabajo n 17. CIPPEC.

NEGRIER, E. (2007) "Politicas Culturales: Francia y Europa del Sur", en Politica y Sociedad, Vol. 44, n 3, pp. 57-70.

PALMA, L.A. y AGUADO, L.F. (2011) ?Debe el Estado financiar las artes y la cultura?. Revision de la Literatura, en Economia e Sociedade, Vol. 20, n 1(41), pp. 195-228.

PLANAS, A. y SOLER, P. (2009) "La evaluacion de politicas socioculturales en municipios pequenos", en Animador Sociocultural, Red Iberoamericana de Animacion Sociocultural, Vol. 3, n 2, pp. 1-7.

PLANAS, A. y SOLER, P. (2012) Sistema de indicadores para politicas municipales culturales: una herramienta de evaluacion. EMPIRIA, Revista de metodologia de ciencias Sociales, 24, pp. 117-140.

RAUSELL, P. (2008) "Economia de la Cultura", en Treballs de Comunicacio, n.2, pp. 243-256.

ROJAS VAZQUEZ, A. (2010) Propuesta para un sistema de indicadores culturales: El caso del Instituto Andaluz del Flamenco, Junta de Andalucia. En: http://www.juntadeandalucia.es/culturaydeporte/comunidadprofesional/sities/default/files/sic-flamenco_scorecard.pdf

SANCHEZ ALBARERA, F. (2003) Planificacion estrategica y gestion publica por objetivos. CEPAL.

SARTORIOS, R.H. (1991) "The Logical Framework Approach to Project Design and Management", en American Journal of Evaluation, Vol. 12, pp. 139-147.

STUFFLEBEAM, D. y SHINKFIELD, A. (2002) Evaluacion Sistematica: Guia Teorica y Practica, Barcelona, Ediciones Paidos Iberica.

UNESCO (2009). Marco de las Estadisticas Culturales (MEC) de la UNESCO 2009, Montreal, Instituto de Estadistica de la UNESCO. DISPONBILE EN: http://unesdoc.unesco.org/images/0019/001910/191063s.pdf

WORTHEN, B. R. y SANDERS, J. R. (1987) Educational evaluation, New York, Longman.

(1) A este respecto puede consultarse, entre otros, los Sistemas de Informacion Cultural de Mexico (http://sic.conaculta.gob.mx/), Costa Rica (Ministerio de Cultura y Juventud, 2009), Argentina (http://sinca.cultura.gov.ar/) o Colombia (http://www.sinic.gov.co/SINIC/).

(2) Utilizado por la Agencia Espanola de Cooperacion (AECID), sus inicios se re-montan a finales de los anos sesenta como un intento por ordenar los principales contenidos del diseno de un proyecto, y fue desarrollado por la Agencia Estadounidense de Cooperacion Internacional (USAID). Mas tarde, a comienzos de los 80, la Agencia de Cooperacion Tecnica Alemana (GTZ), estructuro metodologicamente la tecnica bajo el concepto ZOPP, siglas en aleman que corresponden a "Planificacion de Proyectos Orientada por Objetivos". Finalmente, en 1993 la Comunidad Europea lo asumio, bajo el titulo de Manual integrado de gestion de un proyecto. Enfoque Integrado y Marco Logico, como la metodologia estandar para los proyectos de cooperacion al desarrollo (European Commission, 1994).

(3) http://www.dipucadiz.es/opencms/opencms/dipucadiz/areas/cultura/servicios/observatorio

(4) http://sic.conaculta.gob.mx

Vicente COLL-SERRANO

Universidad de Valencia

vicente.coll@uv.es

Olga Blasco-Blasco

Universidad de Valencia

olga.blasco@uv.es

Salvador CARRASCO-ARROYO

Universidad de Valencia

salvador.carrasco@uv. es

Luis VILA-LLADOSA

Universidad de Valencia

luis.vila@uv.es
Tabla 1 Gasto liquidado en cultura por tipo de administracion

                                   2005        2006        2007

Administracion General del Estado

TOTAL (en miles de euros)         784.321     879.918     990.823
En % del gasto
liquidado en                        100         100         100
cultura
En % del gasto liquidado total     0,47         0,5         0,5
En % del P.I.B. Valores medios     0,09        0,09        0,09
por habitante                      18,2        20,1        22,3
(Euros)

Administracion Autonomica

TOTAL (en miles de euros)        1.465.596   1.807.454   1.976.378
En % del gasto
liquidado en                        100         100         100
cultura
En % del gasto liquidado total     1,07        1,21        1,22
En % del P.I.B. Valores medios     0,16        0,18        0,19
por habitante                      34,1        41,3        44,4
(Euros)

Administracion Local

TOTAL (en miles de euros)        2.925.049   3.244.712   3.623.324
En % del gasto
liquidado en                        100         100         100
cultura
En % del gasto liquidado total     4,96        4,99        5,08
En % del P.I.B. Valores medios     0,32        0,33        0,34
por habitante (Euros)               68         74,2        81,5

                                   2008        2009

Administracion General del Estado

TOTAL (en miles de euros)        1.075.338   1.135.273
En % del gasto
liquidado en                        100         100
cultura
En % del gasto liquidado total     0,47        0,47
En % del P.I.B. Valores medios      0,1        0,11
por habitante                      23,8        24,8
(Euros)

Administracion Autonomica

TOTAL (en miles de euros)        2.128.971   2.046.369
En % del gasto
liquidado en                        100         100
cultura
En % del gasto liquidado total     1,21        1,08
En % del P.I.B. Valores medios      0,2        0,19
por habitante                       47         44,7
(Euros)

Administracion Local

TOTAL (en miles de euros)        3.886.044   3.836.844
En % del gasto
liquidado en                        100         100
cultura
En % del gasto liquidado total     5,19        4,83
En % del P.I.B. Valores medios     0,36        0,36
por habitante (Euros)              85,8        83,7

                                   2010        2011

Administracion General del Estado

TOTAL (en miles de euros)        1.050.642    956.931
En % del gasto
liquidado en                        100         100
cultura
En % del gasto liquidado total     0,43        0,45
En % del P.I.B. Valores medios      0,1        0,09
por habitante                      22,8        20,7
(Euros)

Administracion Autonomica

TOTAL (en miles de euros)        1.769.059   1.482.593
En % del gasto
liquidado en                        100         100
cultura
En % del gasto liquidado total     0,99        0,85
En % del P.I.B. Valores medios     0,17        0,14
por habitante                      38,5        32,1
(Euros)

Administracion Local

TOTAL (en miles de euros)        4.042.551   3.966.862
En % del gasto
liquidado en                        100         100
cultura
En % del gasto liquidado total     5,29        4,87
En % del P.I.B. Valores medios     0,38        0,32
por habitante (Euros)              87,9        73,6

Fuente: Elaboracion propia a partir del Ministerio de Educacion,
Cultura y Deporte de Espana.

Tabla 2. Gasto liquidado en cultura por la Administracion Local,
segun entidad (Miles de euros)

Ano     Ayuntamientos    %     Diputaciones,    %       TOTAL
                                Consejos y
                                 Cabildos

2003      2.178.655     80,5      526.967      19,5   2.705.622
2004      2.271.532     82,6      479.006      17,4   2.750.538
2005      2.438.936     81,5      553.980      18,5   2.992.916
2006      2.741.539     82,6      578.517      17,4   3.320.056
2007      3.076.066     83,1      624.611      16,9   3.700.677
2008      3.312.946     83,2      668.663      16,8   3.981.609
2009      3.284.664     83,6      644.081      16,4   3.928.745
2010      3.481.695     84,1      658.800      15,9   4.140.495
2011      2.906.586     83,6      568.501      16,4   3.475.087

Fuente: Elaboracion propia a partir del Ministerio de Educacion,
Cultura y Deporte de Espana.

Tabla 3. Indicador de Accion: Indicadores de Actividades.

1.    No de iniciativas o proyectos culturales.
2.    No de proyectos transversales de naturaleza cultural.
3.    No de actividades culturales organizadas por precio.
4.    Distribucion de actividades culturales por meses del ano.
5.    No de actividades culturales destinadas a publico familiar.
6.    No de actividades culturales para escolares.
7.    No de entradas vendidas para actividades culturales.
8.    No de asistentes a los acontecimientos culturales gratuitos.
9.    No de asistentes a las actividades culturales por contenidos
      y segmentos de publico
10.   No de beneficiarios de actividades pedagogicas sobre
      el patrimonio.
11.   No de visitantes a museos.

Fuente: Coll Serrano et al. (2013a).

Tabla 4. Indicadores estrategicos: Gestion Sostenible del
Patrimonio Cultural Incremento del porcentaje de personas dedicadas
a la gestion cultural que evalua positivamente su participacion en
acciones formativas en cultura.

Incremento del porcentaje de personas beneficiarias de los
intercambios culturales que evalua positivamente su participacion.

Incremento del numero de programas de formacion especificos que
utilizan la capacitacion de los agentes culturales locales.

Incremento del numero de directorios de personas dedicadas a la
gestion cultural Incremento del numero de directorios de personas
dedicadas a la formacion y expertas culturales.

Incremento del numero de webs vinculadas a la gestion cultural con
dominio en

los paises con los que se coopera o en lenguas propias de los
mismos.

Fuente: Coll-Serrano (2013b).
COPYRIGHT 2014 Universidad Complutense de Madrid
No portion of this article can be reproduced without the express written permission from the copyright holder.
Copyright 2014 Gale, Cengage Learning. All rights reserved.

 
Article Details
Printer friendly Cite/link Email Feedback
Author:Coll-Serrano, Vicente; Blasco-Blasco, Olga; Carrasco-Arroyo, Salvador; Vila-Lladosa, Luis
Publication:Politica y Sociedad
Date:May 1, 2014
Words:8583
Previous Article:Evaluando la participacion institucional: la "temperatura" de la deliberacion y sus consecuencias.
Next Article:El reto de la evaluacion del impacto social de la tecnologia en Espana.
Topics:

Terms of use | Privacy policy | Copyright © 2018 Farlex, Inc. | Feedback | For webmasters