Aspectos prácticos

Hay aspectos prácticos que deben tenerse en cuenta antes de iniciar una evaluación. Además de la dotación económica para la implementación del proyecto ITS, un presupuesto debe ser asignado a la evaluación - lo cual implicará el trabajo antes y después de la implementación. En algunos casos esto se considerará como parte de la implementación. En otros casos, el presupuesto para la evaluación será tratada por separado. En cualquier caso, el presupuesto para la evaluación representa una inversión en la planificación de proyectos futuros. Es importante tener en cuenta:

• ¿Qué presupuesto se necesitará para la evaluación?
• ¿De dnde  provendrán los fondos y cuándo  estos podrían estar disponibles?
• ¿Quíen requiere de la evaluación y por qué?
• ¿Qué efecto tendrán los cambios en el calendario de programación de la implementación  sobre los recursos y el presupuesto necesarios para la evaluación?

Enfoque de la evaluación

La evaluación debe centrarse en medir el aspecto clave que el proyecto tiene la intención de cambiar - no para recoger algunas estadísticas generales o que "parezcan buenas" pero que pueden no tener ninguna relación con los ITS. Por ejemplo, una evaluación de un servicio de información de tiempo de viaje en tiempo real que simplemente pregunta a los usuarios si el ITS ha tenido un impacto en la calidad de sus viajes, sólo proporcionará una indicación de la satisfacción del usuario. A menos que los flujos de tránsito y los tiempos de viaje se midan en la ruta principal o en las rutas alternativas cuando se producen incidentes - la evaluación no será capaz de determinar el grado en que los ITS reducen el impacto de los incidentes mediante la difusión de tránsito en rutas alternativas. Tampoco será capaz de determinar cualquier efecto perjudicial de otros caminos, causados ​​por el tránsito desviado.

Siempre que sea posible, los ITS se deben programar para proporcionar datos que pueden ser utilizados para monitorear sus impactos. Por ejemplo, la información en tiempo real en las paradas de autobús proporciona información sobre intervalos entre buses. El almacenamiento de estos datos da un registro de los intervalos entre los servicios de autobús, lo que, para los pasajeros, es un aspecto clave de la fiabilidad. En el caso de estudio sobre la demanda de transporte receptivo en el condado Prince William EE.UU., se ha utilizado el servicio de datos para supervisar el rendimiento de forma automática, lo que reduce el coste de la recogida y el análisis de los datos. (Ver ITS for Demand Responsive Transport Operation, Prince William County USA) .

requisitos de los interesados

Grupos de interés específicos pueden tener requisitos particulares de un proyecto - el cual influye en los métodos de evaluación, el presupuesto, el tiempo y la escala de evaluación. Es importante entender estos requisitos y limitaciones son de una etapa temprana en la planificación de la evaluación para determinar en qué medida se cumplen. La evaluación debe ser diseñada de modo que sea posible identificar cómo se distribuyen los beneficios y costos de los ITS entre los diferentes grupos de interés - quién gana y quién pierde.

Por ejemplo, así como la evaluación de los impactos de ITS sobre los que viajan en  transporte público  (los usuarios finales '') , la evaluación debería tener en cuenta las exigencias de los operadores y otro personal de las organizaciones que participan en la implementación de los ITS. Estos impactos pueden ser evaluados mediante entrevistas al personal - y en algunos casos mediante el uso de datos sobre los patrones de trabajo y las tareas completadas.

¿Quién debe realizar la evaluación?

La evaluación es un trabajo especializado. Algunos operadores de red de carreteras, las autoridades de tránsito  y otras organizaciones encargadas de la implemataxión de los ITS tienen capacidades limitadas dentro de sus organizaciones para monitorear y evaluar los ITS. Sin embargo la evaluación no siempre es complicada y no siempre tiene que ser llevada a cabo por especialistas. Si hay una necesidad de recoger datos, esto se puede hacer domesticamente, debido a que es creíble cuando se ha utilizado un enfoque objetivo y con buenos métodos.

Para la mayoría de las evaluaciones es una buena idea utilizar  especialistas  la primera vez que esta se lleva a cabo - por lo que el personal interno puede aprender cómo esta se debe hacer. La capacitación formal también se debe dar para mejorar la experiencia del aprendizaje. También vale la pena emplear especialistas de vez en cuando después que los métodos se hayan actualizado incorporándolos al personal de la organización. En algunas circunstancias, será importante que la evaluación se lleve a cabo a través de una organización independiente - para asegurarse de que los resultados son creíbles (por ejemplo, en informar a los organismos de financiación).

asequibilidad

La viabilidad financiera es a menudo un problema. Sea cual fuere el método de evaluación utilizado, puede haber un presupuesto insuficiente para responder a todas las preguntas relacionadas con los ITS. Entonces se hace necesario decidir qué aspectos de la evaluación tienen la prioridad más alta. Un Análisis de los Factores Críticos puede ser útil en esta etapa. Se ve en los diferentes objetivos que se espera que  e proyecto cumpla - y los indicadores clave que se necesitan para medir el grado en que estos se han alcanzado. Esto se ilustra en la figura siguiente .

GESTIONAR la evaluación 

La evaluación incluye la gestión de la planificación y el monitoreo de los trabajos de evaluación para asegurar su calidad técnica, rentabilidad y oportunidad. Los elementos claves en la gestión de una evaluación exitosa son:

• la formación de un equipo de evaluación que sea independiente (cuando sea posible) de la implementación ITS, con un jefe de proyecto (posiblemente también un director del proyecto), objetivos claros y recursos apropiados
• llegar a un acuerdo con las partes interesadas y una comprensión de lo que ellas necesitan del proceso de evaluación
• el desarrollo de un Plan de Gestión de la Evaluación que cubra los recursos, el tiempo, la coordinación con otras actividades, la gestión de datos, - revisándolos y actualizándolos en los puntos clave del proyecto
• el establecimiento de un registro de riesgos para identificar los riesgos para la entrega de la evaluación como fuera prevista - con medidas para minimizar o mitigar cada riesgo. Esto debe ser revisado y actualizado cuando sea apropiado
• la preparación de informes provisionales de monitoreo para informar a las partes interesadas de los avances y los resultados provisionales
• definir el formato y  el contenido de los informes de evaluación en la consulta con las partes interesadas

Protección de datos y privacidad

La información es un elemento clave para los ITS. Las aplicaciones ITS recogen, combinan, almacenan y comunican datos acerca de la red de transporte, sus usuarios - y los actores involucrados en la prestación de servicios. Además de los datos de funcionamiento, supervisión y evaluación también requieren de la recopilación de datos sobre los individuos y las organizaciones, sus puntos de vista y las respuestas a los ITS. Esto puede plantear preocupaciones sobre la privacidad. ( Ver Legal and Regulatory Issues) )

Las personas involucradas en la planificación, la conducción  y la presentación de informes sobre las actividades de evaluación y monitoreo tienen que garantizar que la protección de datos y la privacidad sean consideradas y abordadas - y que cualquier requerimiento sobre la legislación de la proteción de datos sea satisfecho. El  ePrimer del Departamento de Transporte de Estados Unidos habla en profundidad  sobre la protección de datos para los ITS y establece estrategias para mitigar los problemas de privacidad - que se aplican al monitoreo y ala evaluación, así como a los datos operativos:

• preparar acuerdos formales de intercambio de datos si los datos debe ser compartidos entre las organizaciones
• crear una política formal de los datos incluyendo los procedimientos para la divulgación
• recopilar únicamente la  información personal que se necesite
• usar la información personal sensible al mínimo necesario
• establecer límites claros y razonables durante el período de tiempo que los datos se conserven
• si se requiere información que permita identificar a las personas , esto debe ser explicado a los participantes de la evaluación. Tienen que ser conscientes de que  lo que se recopila y cómo se está utilizando - y a los individuos se les debe pedir su consentimiento para que sus datos sean utilizados de esa forma ( Ver  ePrimer module 12 )

Cuestiones específicas para las economías en desarrollo

Las necesidades de financiación

Los organismos de financiación externos son propensos a tener requisitos específicos que deben  se cumplidos por los trabajos de evaluación, además de seguir las mejores prácticas en el diseño y la realización de evaluaciones. Estos pueden referirse, por ejemplo, a:

• la escala de evaluación - que puede ser determinada por la escala del despliegue (especificando el porcentaje de la financiación total que se destina  a la evaluación)
• independencia del equipo de evaluación de la implementación
• acuerdos de gobierno para supervisar la evaluación
• requisitos para la participación de los representantes locales dentro del equipo de evaluación
• requisitos para la presentación de informes periódicos y de fin de proyecto, incluyendo el formato, la estructura y  el contenido de los informes
• rendición de cuentas financieras

Aprender de los demás sistemas

 los resultados de la evaluación de otros sistemas son útiles en la planificación de una evaluación. Ellos pueden:

• ayudar a identificar los impactos que puedan ser medidos - y los indicadores que se utilizarán
• proporcionar indicaciones de la escala del cambio esperado - y  de la cantidad de datos que necesitan ser recogidos para obtener medidas estadísticamente robustas de los impactos

Se necesita tener cuidado al considerar los métodos utilizados y los resultados obtenidos en otros lugares. El número de casos de estudio de evaluaciones ITS en las economías en desarrollo es limitado y la tentación será mirar los resultados de las economías desarrolladas, que son más numerosos y están fácilmente disponibles - pero puede no ser adecuados para el contexto. Las reacciones de los usuarios y los contextos de valoración de los beneficios pueden variar ampliamente entre los diferentes países y regiones con diferentes perfiles sociales y económicos. La cuestión clave que debe abordarse es si el proyecto previsto es similar a los casos de estudio en términos de su contexto, sus objetivos y su base de usuarios?