El Gobierno Federal ha puesto en marcha diversos programas en materia de desarrollo social con enfoque territorial.
De acuerdo con su mandato constitucional y con apego a la normatividad en materia de evaluación de programas, acciones y políticas de desarrollo social, el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) da a conocer las Evaluaciones de Diseño con Trabajo de Campo 2019-2020 realizadas a 17 programas prioritarios de desarrollo social.
El Gobierno Federal ha puesto en marcha diversos programas en materia de desarrollo social con enfoque territorial, con la finalidad de mejorar las condiciones de bienestar de la población que se encuentra en situación de pobreza.
La implementación de dichas intervenciones sociales se enfrentó a diversos retos, entre ellos: operar y coordinar las acciones en un territorio amplio, diverso y heterogéneo; trabajar con estructuras operativas nuevas con poca experiencia en la Administración Pública Federal; contar con recursos limitados para la operación; diseñar las estrategias a la par de su implementación, entre otros factores.
A pesar de estos retos antes mencionados, los programas lograron avanzar en la mejora de su diseño y funcionamiento para adecuarse a los diversos contextos a los que se enfrentaron. El CONEVAL definió una metodología innovadora para la realización de la evaluación a los 17 programas prioritarios, cuyo propósito principal fue comprender el contexto en el que se implementaron y los retos a los que se enfrentaron. Para ello, se realizó trabajo de campo en las entidades federativas del país y se entrevistó tanto a los beneficiarios como a los operadores y a los funcionarios públicos que implementan los programas sociales en campo para incorporar la perspectiva de todos los actores que participan en el proceso y promover la mejora de estos programas.
La Evaluación de Diseño con Trabajo de Campo 2019-2020 rescata los principios básicos de la evaluación de diseño y los enriquece al analizar el funcionamiento del programa a partir de la realización de trabajo de campo para valorar los retos presentes en los diferentes contextos en los que se implementaron los 17 programas de nueva creación, y que se consideran como prioritarios para el desarrollo social.
Desde su concepción, la Evaluación de Diseño con Trabajo de Campo 2019-2020 se determinó como un ejercicio participativo y con un enfoque cualitativo para cumplir un doble propósito: 1) impulsar el ejercicio evaluativo como un proceso que reconoce el aprendizaje de las y los responsables de los programas y, por ende, la evolución de las intervenciones; y 2) profundizar en el análisis entre las diversas interacciones de las personas que participan en los programas (responsables a nivel central y estatal, quienes implementan los programas, los derechohabientes, entre otras) para comprender la manera cómo operan en el territorio y la problemática que persiguen resolver a partir de la entrega de los apoyos.
La Evaluación de Diseño con Trabajo de Campo 2019-2020 inició en abril de 2019 y concluyó en junio de este año, por lo que el análisis abarca el ejercicio fiscal 2019 y el primer semestre del 2020. Las fuentes de información consideradas en esta evaluación fueron de tres tipos: 1) las recibidas por parte de las dependencias y las entidades responsables de los programas de acuerdo con los plazos consensuados al inicio del proceso de la evaluación; 2) la recuperada a través de medios públicos; y 3) la recabada mediante el trabajo desarrollado en campo (entrevistas, grupos focales u observación directa).
El proceso de evaluación de los 17 programas prioritarios implicó la realización de 123 reuniones de trabajo con los responsables de los programas y personal de las unidades de evaluación en las dependencias; entrevistas a 196 funcionarios a nivel central; realización de 126 grupos focales y 577 entrevistas (individuales o grupales) desarrolladas en el ámbito local a operadores y derechohabientes.
La muestra analítica y la agenda para el trabajo de campo fueron consensuadas con las y los responsables de los programas y las unidades de evaluación de las dependencias y entidades federales a cargo de los programas, por lo que CONEVAL reconoce y agradece el apoyo logístico, la disposición y la apertura para el ejercicio de evaluación, tanto de quienes operan los programas como de altos funcionarios que estuvieron presentes en las reuniones de trabajo, ya que con ello se logró cumplir con los objetivos de la evaluación y contar con información que, de acuerdo con varios de los programas evaluados, les permitirá mejorar las intervenciones.
Para el caso del Programa Universidades para el Bienestar Benito Juárez García, la evaluación final es resultado de un análisis de gabinete, dado que no hubo condiciones para llevar a cabo el trabajo de campo. En virtud de lo anterior, el CONEVAL reitera el interés por desarrollar el trabajo de campo para este programa y así contar con la evaluación de diseño en los mismos términos en los que fueron realizadas las 16 evaluaciones restantes.
Las evaluaciones a los programas prioritarios se elaboraron con insumos provenientes de equipos evaluadores externos. Para ello, el CONEVAL contrató análisis exploratorios a partir de diez procesos de Licitación Pública Nacional y dos Convenios con Universidades Públicas.
El contrato del análisis exploratorio del Programa Universidades para el Bienestar Benito Juárez García tuvo una terminación anticipada, una vez que se identificó que no sería posible llevar a cabo las actividades en campo.
La evaluación realizada por el CONEVAL para cada uno de los programas se estructuró de la siguiente manera:
1) Características del programa, así como un recuento de los principales cambios que tuvo entre 2019 y 2020.
2)Descripción de la metodología de evaluación y la conformación de la muestra para el levantamiento de información en campo.
3) Análisis de los principales aspectos del diseño del programa:
a. ¿para qué existe el programa?
b. ¿qué propone lograr?
c. ¿a quién está dirigido?
4) Análisis del funcionamiento del programa:
a. Organización para la implementación
b. Planeación
c. Difusión d. Solicitud de apoyos
e. Selección de beneficiarios
f. Producción de bienes y servicios
g. Distribución de bienes y servicios h. Entrega de apoyos
i. Seguimiento a beneficiarios y monitoreo de apoyos
j. Contraloría social
k. Monitoreo y evaluación
5) Recomendaciones generales y específicas derivadas de las áreas de oportunidad identificadas en la evaluación del diseño y funcionamiento del programa.
6) Posición institucional de la dependencia o entidad responsable del programa respecto a la evaluación realizada.
7) Anexos:
1) en el primero se presenta toda la información proporcionada por los programas como insumos para la evaluación;
2) los cambios que sufrieron las intervenciones durante 2019-2020;
3) la evaluación extensa del diseño del programa, y
4) los resultados del trabajo de campo donde se analiza el funcionamiento del programa para mejorar su diseño.
Este ejercicio de evaluación es un primer acercamiento a los programas prioritarios del Gobierno de México para generar información útil para su mejora. El ejercicio de evaluación generó información para la mejora de las intervenciones, lo cual está documentado en los informes de evaluación, en la sección de Posición Institucional, en donde se destaca que 9 de los 17 programas ya hicieron mejoras y 13 están por atender recomendaciones derivadas de la evaluación.
La evaluación no califica las acciones sociales o a los gobiernos que las ejecutan, su propósito es informar y mejorar la política social; por ello, el ejercicio de evaluación debe ser permanente, y forma parte del proceso de evaluación del programa social para contar con información oportuna de acuerdo con el contexto en el que se implementan. La evaluación es una aliada de los programas sociales para mejorarlos y más aún cuando los recursos son limitados.
·En muchos casos el diseño del programa se fue definiendo a la par de su implementación. De igual manera, el inicio de operaciones de los programas se llevó a cabo con poca infraestructura física o recursos humanos insuficientes, en un contexto de austeridad y con recortes a los recursos en diferentes momentos durante el año de análisis.
Para adaptarse a este contexto los programas sociales llevaron a cabo acciones como: o Hubo necesidad de desarrollar estrategias de innovación y adaptación en materia de operación y diseño para compensar la falta de recursos disponibles y lograr incorporar a la población que se busca atender con el programa.
Algunos ejemplos son el desarrollo de plataformas en línea como base para la operación de programas; trasladar gastos operativos del programa a los actores externos a la dependencia que participan en la implementación; reforzar el compromiso de los operadores en las entidades federativas para llevar a cabo las tareas con menos recursos; utilizar la información disponible hasta el momento de la creación del programa (principalmente sobre padrones) como base para acercarse a los beneficiarios, entre otras.
Esta austeridad supuso también la necesidad de priorizar procesos de la implementación, como por ejemplo la entrega de apoyos, buscando llegar a la mayor cantidad de población con el menor costo posible; lo anterior generó que otros procesos fueran dejados de manera secundaria, como los relativos a la supervisión y el seguimiento a beneficiarios. o Los recortes presupuestales también pudieron afectar, en algunos casos, la calidad o cantidad de los bienes y los servicios otorgados. o Las redefiniciones de las intervenciones a lo largo del primer año de operación cuentan con poca claridad en la definición del problema que pretenden resolver.
Algunos programas deben clarificarlo, lo cual permitirá enfocar la intervención para que sea posible medir sus resultados y sus efectos en la población que atiende. Se observó que durante el primer año algunos programas modificaron su normatividad, incluso durante el mismo ejercicio fiscal.
Estas modificaciones a las Reglas de Operación o Lineamientos eran necesarias dado que algunos programas tuvieron un diseño preliminar que se ajustó a la par de la implementación; sin embargo, este proceso pudo propiciar falta de certeza sobre el programa, tanto en los operadores como en los beneficiarios.
Algunos programas se centran en medir los avances en la entrega de bienes y servicios, cuidando que la gestión se desarrolle adecuadamente; no obstante, es necesario avanzar en identificar con claridad el resultado que buscan lograr en la población que atienden y, por tanto, el efecto en las condiciones de vida de la población ·Los programas sociales buscan eliminar los intermediarios en la entrega de apoyos (ya sean monetarios o en especie), es decir, entregar los apoyos de manera directa a los beneficiarios y eliminar las condicionalidades, lo cual implica que se deben atender los siguientes retos:
Una limitante para la entrega de apoyos monetarios directos es la baja penetración bancaria, principalmente en zonas rurales, lo que incrementa el costo de los beneficiarios de acceder a los apoyos (ya que deben incurrir en costos de traslado a donde hay cajeros); realizar acciones para mejorar las capacidades y el conocimiento que tienen los beneficiarios sobre los instrumentos bancarios, y resolver temas de seguridad en la entrega de éstos. o BANSEFI, TELECOM y la banca privada son los medios que más utilizan los programas para dispersar los recursos.
Estos deben mejorar su capacidad para llevar a cabo dicha tarea y asegurar una adecuada atención a los beneficiarios, así como el retiro puntual de sus recursos. o Los programas deben tomar en cuenta que la población beneficiaria tiene la necesidad de conocer con certeza los plazos o fechas para la entrega de los apoyos, para planear los gastos en el hogar.
De igual manera, reducir las afectaciones que la operación del programa puede tener en las actividades laborales o educativas de los beneficiarios evitando entregar tarjetas bancarias o apoyos monetarios en horarios que coincidan con estas actividades.
·Varios programas utilizaron el Censo del Bienestar como fuente de información para identificar su población objetivo, no obstante, posteriormente cada uno tuvo que realizar ajustes a los datos proporcionados para lograr tener bases de datos que les permitieran contar con información precisa para la selección de sus beneficiarios o para iniciar los procesos de validación. ·Los programas buscan priorizar la atención de la población que vive en zonas de alta o muy alta marginación, zonas de violencia y población indígena, principalmente.
Lo anterior representa un logro en la atención de la población en mayor situación de vulnerabilidad; sin embargo, la priorización podría afinarse a partir de utilizar el indicador de pobreza como criterio de elegibilidad para así no solo llegar a los territorios más necesitados sino a las personas que los habitan y que presentan mayores carencias.
·Los programas evaluados, en su primer año, contaron con estructuras operativas propias muy reducidas en las entidades federativas, pues una parte de su implementación está a cargo de las personas servidoras de la nación.
Es decir, algunos programas comparten al personal operativo, el cual está a bajo la responsabilidad de la Coordinación General de Programas para el Desarrollo. Este diseño operativo implica lo siguiente:
La estrategia operativa busca concentrar en un solo ente la operación de diversos programas, lo cual supone que un operativo (servidor de la nación) debe conocer las particularidades de cada programa social y contar con los recursos necesarios para lograr realizar su trabajo con eficiencia y eficacia, sin distinguir entre los programas.
Las personas servidoras de la nación tienen un rol medular en la implementación de los programas sociales de nuestro país y son la cara más visible de las intervenciones; su trabajo resulta fundamental para el logro de los objetivos de los programas; están a cargo de la difusión de los programas, de identificar a los posibles beneficiarios, de llevar a cabo el Censo de Bienestar (la principal fuente de información sobre beneficiarios de los programas), de verificar que los derechohabientes cumplan con los criterios de selección.
También contribuyen a brindar información sobre los programas, en la recepción de solicitudes y quejas, así como en la entrega de apoyos como tarjetas bancarias, desarrollo de las mesas de pago, entre otras actividades.
En este sentido, se requiere que se encuentren capacitados y que tengan los recursos suficientes para conducir sus actividades de manera adecuada. o Debido a que la operación se realiza a través de una instancia externa a los responsables del programa, esto implica un reto en la coordinación entre las dependencias.
Esta coordinación debe permitir que los responsables tengan información oportuna sobre la operación de sus intervenciones, puedan supervisar sus programas y ajustar en campo los procesos que no dependen de ellos directamente pero que pueden afectar sus resultados. o Es necesario definir con claridad en distintos instrumentos normativos los deberes y las responsabilidades de los actores externos a las intervenciones, así como los recursos con los que se les dotará para el desarrollo de sus funciones con la finalidad de lograr la operación de los programas con toda la certeza y con la supervisión adecuada.
·Es deseable que los programas tengan metas e indicadores vinculadas al Plan Nacional de Desarrollo 2019-2024 y a los Programas Sectoriales correspondientes, pues con ello se cuenta con información oportuna para corregir el rumbo en caso de no alcanzarlas o de documentar las buenas prácticas cuando sí se alcancen.
·Finalmente, una tarea pendiente del ejercicio de evaluación es analizar si estas 17 intervenciones se complementan, a través de la coordinación interinstitucional, para lograr atender de manera integral a la población beneficiaria.