El término ‘ evaluación de ITS’ es un análisis del grado en el que que un proyecto ITS ha cumplido sus objetivos. roporciona lecciones sobre cómo mejorar el rendimiento en el futuro. Las principales cuestiones a considerar son:
El operador de la red de carreteras puede desempeñar un papel importante en la evaluación de los desarrollos ITS destinados a apoyar las operaciones de la red de carreteras. Los impactos positivos y negativos en las operaciones de red deben ser evaluados para cualquier aplicación ITS que se encuentre en la fase de investigación y desarrollo, o como parte de un ensayo de campo a gran escala. Las evaluaciones de las implementaciones de rutina de las tecnologías ITS establecidas también son importantes para establecer buenas prácticas. Por ejemplo, una evaluación de la utilización de cámaras de seguridad,en un contexto completamente nuevo, debe establecer el grado de cumplimiento por parte de usuarios de la carretera y si esto tiene un efecto beneficioso sobre la eficiencia del tráfico y los accidentes.
La evaluación es un análisis planificado y estructurado de los impactos de proyecto ITS y del grado en el que que este ha alcanzado sus objetivoss. Los impactos evaluados incluyen los costos financieros y las consecuencias negativas, así como tabién los beneficios (Ver Beneficios de ITS) .La evaluación tiene lugar después de la implementación se ha completado, pero es importante para planificar la evaluación antes de que la implementación esté finalizada, y programar los recursos para llevarla a cabo. La evaluación es realizada a menudo por una organización independiente para que los resultados sean vistos como verdaderos y resulten imparciales con al análisis del proyecto. Esto es particularmente cierto para un proyecto ITS que sea muy innovador o que tenga un alto perfil público, tal como el proyecto de congestión de carga en Estocolmo.
El monitoreo y la evaluación no se llevan a cabo por su propio bien - no son fines en sí mismos.Los proyectos ITS abarcan una amplia diversidad e implican una inversión considerable de recursos financieros según las organizaciones de las partes interesadas involucradas. Una evaluación formal es importante con el fin de comprobar que el valor esperado de una inversión se ha realizado, y para determinar quién se beneficia y cómo estos beneficios se comparan con las expectativas. La evaluación no es simplemente una cuestión de "justificar" la inversión. Proporciona información que:
La evaluación permite evaluar los impactos que el proyecto ha tenido sobre las partes interesadas (tales como los viajeros y operadores) - y sobre una serie de objetivos políticos como el medio ambiente, la seguridad, la sostenibilidad y la eficiencia. El punto de vista de las partes interesadas de los grupos minoritarios que pueden estar afectados de manera desproporcionada - positiva o negativamente - será importante, por ejemplo, las personas con una discapacidad o los usuarios vulnerables, como los peatones y los ciclistas.
Las organizaciones que no realizan evaluaciones completas y adecuadas de sus implementaciones ITS están en desventaja cuando se tratan de justificar propuestas de nuevas inversiones en el futuro. Esto se aplica si la organización es una autoridad pública tratando de determinar la dirección de futuras políticas de transporte, un operador de la carretera teniendo en cuenta sus prioridades de inversión o una organización comercial que ve nuevas oportunidades de negocio. Una evaluación bien planificada y documentada de un programa existente, ayuda a justificar y lograr el apoyo para la siguiente inversión.
El tipo de evaluación a realizar está determinada por los objetivos de la evaluación. Ellos pueden incluir:
Los actores involucrados en la puesta en marcha de una evaluación de ITS puede incluir a los responsables de las políticas a nivel nacional o local,a las autoridades de tránsito o transporte,a los operadores de transporte y usuarios ya las organizaciones que participan directamente en las operaciones de la red de carreteras. Dependiendo de la escala y la complejidad de la evaluación - la misma se puede llevar a cabo en la empresa o por consultores especialistas o investigadores universitarios
La participación de operadores de las redes de carreteras en la evaluación de los ITS para las Operaciones de la Red de Carreteras incluye:
A los operadores de la red de carreteras y a las autoridades viales públicas a menudo les resulta difícil realizar un caso de negocios para los ITS. Los resultados de la evaluación pueden apoyar este proceso.El US DOT’s ePrimer’s Module 12 trata el tema de cómo realzar un caso de negocios.
La evaluación de un desarrollo ITS puede ayudar a desarrollar un caso de negocio para inversión a través de:
Las fuentes públicas de resultados de evaluación
Los resultados de la evaluación de los proyectos ITS han sido compilados y consolidados en varios recursos. Algunos son bases de datos donde pueden ser buscados los resultados relativos a los tipos específicos de proyectos o encontrar objetivos particulares. Estas son muy valiosas para ayudar a identificar los impactos esperados y las medidas potenciales de rendimiento. También demuestran las ventajas de la presentación de informes de resultados de evaluación utilizando un marco común - para comparar los estudios que pueden haber sido llevados a cabo en diferentes países y con diferentes requisitos para la evaluación y presentación de informes. Las fuentes de los resultados de la evaluación incluyen:
El ciclo de evaluación utiliza los principios y valores que sustentan el desarrollo de cualquier comunidad - los de Arendizaje, Evaluación y Planificación -Learning, Evaluation and Planning (LEAP), que a menudo se resumen como: analizar - planificar - hacer - revisar. El proceso de evaluación es cíclico - los resultados positivos pueden construirse sobre este, y los resultados menos positivos se pueden analizar para determinar qué salió mal, qué se puede hacer para remediar la situación - y qué se puede hacer para mejorar los resultados de las aplicaciones similares en el futuro . Este ciclo se ilustra a continuación y muestra que la evaluación es una parte clave del proceso de implantación de los ITS. No es una opción "extra". El diagrama muestra cómo el monitoreo y la evaluación pueden proporcionar realimentación a corto plazo para mejorar las operaciones actuales y también los resultados que se integrarán en el desarrollo y la estrategia de inversión de ITS.
The ITS evaluation cycle
Después de la implementación, el monitoreo post-implementación y la evaluación de un programa ITS se utiliza para evaluar si el sistema - ya instalado y operado - está cumpliendo con los objetivos del proyecto, ofreciendo el rendimiento esperado y adecuado a las de necesidades de los usuarios (que en sí mismas pueden cambiar con el tiempo). '' Las necesidades de los usuarios" no son necesariamente las del conductor de un vehículo. Puede ser que sean las necesidades de la autoridad vial del operador de red para mejorar el rendimiento del sistema y ofrecer una mejor seguridad o el flujo de tránsito, las necesidades del medioambiente, las necesidades de una red integrada de transporte más amplia - o las necesidades de las comunidades afectadas por los viajes de otras personas .
Los resultados de los análisis post-implementación deberían ser incluidos en el ciclo de evaluación, mejoramiento de las operaciones y monitoreo - e influyendo en estrategias ITS para el futuro. La retroalimentación proporcionada por la evaluación informa sobre futuras inversiones y su diseño. Si los ITS no están funcionando como se esperaba, la retroalimentación puede ayudar en la comprensión de cómo ajustar o adaptar el proyecto.
Recaudación de peajes automáticos, Turquía
En Izmir, Turquía, la información generada por el cobro de tarifas automáticas y el sistema de información de autobuses en tiempo real se está utilizando para volver a diseñar la red de rutas, con intercambios planificados y la mejora de la calidad del servicio. Esto ha dado lugar a un aumento significativo en el número de pasajeros. Para más información - El Banco Mundial 2011 (Ver Case Study: Izmir, Turkey)
Un plan de evaluación cuidadosamente construido es clave en este proceso cíclico y es una parte esencial de cualquier programa para el desarrollo de los ITS. (Ver Plan de Evaluación)
La evaluación es importante para cualquier desarrollo de los ITS, pero especialmente para un proyecto que sea innovador o implementado dentro de una nueva situación.Esto muestra la contribución que el programa puede aportar para satisfacer las políticas de transporte y los objetivos operativos de todos los días, y puede ser utilizardo para mejorar y afinar la retroalimentación las operaciones ITS -proporcionanando sugerencias para las siguientes rondas de desarrollos. Sin una evaluación adecuada, las organizaciones no pueden estar seguras de que hayan obtenido un proyecto que funcione correctamente y por el cual han pagado. Los resultados de la evaluación también se pueden utilizar para informar acerca de futuras políticas y estrategias ITS. (Ver Mejora de la Performance)
Otro uso de la retroalimentación de la evaluación ITS es mejorar el proceso de evaluación antes de la implementación de un plan a futuro (Ver Valuación de Proyectos) Los resultados de los efectos de la evaluación de la vida real - que incluyen los costos de construcción, mantenimiento y operación de los programas ITS y los beneficios alcanzados - se pueden utilizar en las futuras decisiones de inversión, para asegurarse de que en los sistemas seleccionados se encuentran las necesidades específicas del usuario.
Los operadores de redes de carreteras tienen un papel importante a lo largo del ciclo de evaluación. Ellos están involucrados en el desarrollo de las estrategias de operación para sus redes, identificando objetivos del proyecto ITS, el análisis previo a la aplicación para informar las decisiones de inversión, la selección del esquema y el análisis de las necesidades del usuario. Como esquema de "propietarios" estos reúnen los datos de seguimiento durante las implementaciones de los ITS. Cada vez más, los ITS incluyen características que proporcionan la base para el seguimiento de los patrones de demanda de tránsito y el comportamiento de los usuarios de la carretera (Ver Tecnologías de Monitoreo). Los datos de monitorización de la red de carreteras es utilizado por los operadores para el análisis previo a la ejecución y el seguimiento de tránsito, la seguridad, incidentes y otros criterios de rendimiento en la red - después de una una implementación ITS ha sido desarrollada. Esto proporciona una contribución esencial a la evaluación. Los operadores de la rede de carreteras a menudo encarga una evaluación independiente y utilizan los resultados para retroalimentar las futuras estrategias y decisiones de inversión. (Ver Actividades operación)
El monitoreo en conjunto con la evaluación se utilizan para aprender lecciones y mejorar el rendimiento futuro. Se abordan aspectos tales como: ¿El ITS cumple con los objetivos y los resultados son los que se pretenden ? Esto puede identificar la gama de beneficios logrados los cuales luego se pueden cuantificar con datos de monitoreo interno. El monitoreo cuidadoso de los costes ayuda a identificar los costos de funcionamiento y mantenimiento de un servicio específico - que pueden ser separados de los amplios gastos de la organización.
El rendimiento de los elementos pertinentes del sistema de transporte deben ser controlados para proporcionar la referencia con la que se mide el valor añadido del proyecto ITS. La supervisión del rendimiento puede ser utilizadoa para mejorar el funcionamiento de los ITS, proporcionar datos sobre los impactos y beneficios y demostrar si los beneficios esperados y los impactos se han efectivizado.
Es probable que el foco de la actividad de monitoreo varíe con la magnitud y la madurez de la implementación ITS. Por ejemplo, para un área dónde ITS es relativamente nuevo y el número de aplicaciones sea limitada - tales como el manejo cooperativo de comunicaciones basado en el Vehículo - a - Vehículo (V2V) - el monitoreo es probable que se centre en profundidad sobre el rendimiento de las aplicaciones individuales. Donde la implementación sea extensiva - por ejemplo, como el pago electrónico de peaje o sin parar - es probable que el el objetivo principal sea en el seguimiento presencial y el rendimiento general de los ITS en el sistema de transporte a un nivel estratégico - además de las aplicaciones individuales.
Los criterios de desempeño definidos en el plan de evaluación (Ver Plan de Evaluación) deberían ser monitoreados antes y después de la implementación. Dependiendo de la aplicación ITS, puede ser necesario controlar los sitios de "control", así como también el sitio de la implementación.
La supervisión del rendimiento cubre los servicios prestados, así como las tecnologías utilizadas. Ello implica:
Respecto a los indicadores, deben ser seleccionados aquellos que sean fáciles de entender y medir, y los que están claramente relacionados con los requisitos de rendimiento y objetivos del proyecto. Siempre que sea posible estos deberán ser indicadores comunes, que puedan ser utilizados en una variedad de esquemas. (Ver Indicadores de Performance).
Siempre que sea posible, el esquema de ITS debe ser diseñado de modo que proporcionaeautomáticamente los datos para la monitorización del rendimiento. Por ejemplo:
El monitoreo y la evaluación son elementos clave para el aprendizaje de una organización. Una parte importante del ciclo de evaluación es retroalimentar los resultados de la evaluación para informar a la estrategia ITS, las operaciones ITS y los requisitos para el monitoreo. (Ver Medidas de Performance).
A nivel estratégico, los resultados del monitoreo y la evaluación se pueden utilizar para:
Los resultados de la evaluación se utilizan también como retroalimentación para mejorar las operaciones y el monitoreo - por ejemplo, para optimizar el rendimiento de los ITS durante las operaciones del día a día. Los ITS suelen necesitar ser ajustados sobre la base de los resultados de la evaluación en las primeras etapas de la operación. Incluso si los resultados de la evaluación muestran que el sistema estar funcionando bien, podría haber margen para optimizarlo aún más. Cualquier ajuste realizado en las primeras etapas, después de la aplicación, tendrá que ser registrado cuidadosamente para que puedan ser tenidos en cuenta en la evaluación. La evaluación a gran escala debe llevarse a cabo después de que los ajustes se hayan realizado y el sistema haya 'puesto a punto' - y sus efectos se hayan estabilizado.
Monitoreo de Localización Vehicular Automática de los Autobuses en Sudáfrica
En Sudáfrica, el monitoreo de una localización automática de vehículos ITS de autobuses, identificó los problemas de comunicación a través de la red del operador sobre la red móvil - lo cual redujo el rendimiento del sistema de monitoreo de supervisión automática de vehículos . Esto fue el resultado de los cambios realizados por el operador de la red móvil en los protocolos de comunicación, sin tener en cuenta las necesidades del operador de transporte público. Se ha llegado a un acuerdo entre las dos partes - por lo que el operador de la red móvil:
El monitoreo también destacó los impactos potenciales sobre el acuerdo de nivel de servicio - que afecta a los proveedores de otros componentes del sistema - los cuales no se habían previsto cuando se planeó el servicio. Más información: Banco Mundial. (Ver Case Study: Johannesburg, South Africa) Toolkit on Intelligent Transport Systems for Urban Transport.
Los datos de monitoreo se pueden utilizar para evaluar el grado en que el ITS cumple con los requisitos operativos, por ejemplo, por:
Las medidas de rendimiento se pueden utilizar para definir los pagos en los contratos - para proporcionar incentivos para el cumplimiento de los objetivos de rendimiento y proporcionar la base para los cargos de penalización si no estos no se cumplieran. Se sugiere que cuando los pagos por el trabajo terminado dependan del cumplimiento de los objetivos de rendimiento, exista un asesoramiento de especialistas en la gestión de riesgos y en la medición de los resultados
Las medidas de rendimiento y Pagos en Dublín
En Dublín, la compañía de autobuses tiene un contrato de Obligación de Servicio Público con la Autoridad Nacional de Transporte. Las medidas de rendimiento están vinculadas a los pagos. La localización automática de vehículos y la información en tiempo real para los servicios de autobús proporcionan datos sobre el rendimiento que se utiliza para resolver problemas operativos. Por ejemplo, los tiempos de ejecución se han reportado como un problema por los conductores en algunas rutas. Los datos de monitoreo se pueden utilizar para analizar si existe verdadero problema que se produce en determinados momentos del día o días de la semana, ocasional o frecuentemente - por lo que se pueden hacer ajustes. Más información: El Banco Mundial 2011. (Ver Case Study: Dublin Ireland) Toolkit on Intelligent Transport Systems for Urban Transport.
La medición de los resultados también se pueden utilizar para mirar hacia el futuro. Estos pueden, por ejemplo, definir los objetivos para mejorar el rendimiento como parte de un proceso de mejora continua. Más ampliamente, estos se pueden utilizar para proporcionar recomendaciones para futuras operaciones.
Programas de financiación pueden haber puesto en marcha los procesos establecidos para el monitoreo y la presentación de informes de rendimiento, para obtener la aprobación para el pago. Por ejemplo, el Banco Asiático de Desarrollo tiene ‘Guidelines for Preparing Performance Evaluation Reports for Public Sector Operations’.
Los datos de monitoreo y evaluación se pueden utilizar para evaluar la eficacia operativa - identificando si el ITS se incorpora fácilmente en las operaciones del día a día y si hay necesidades adicionales de formación en una organización. Este es uno de los aspectos abordados en Caso de Estudio del Banco Mundial (Ver Case study: Mysore, India) – sobre el monitoreo y la evaluación ITS para localización auromática, la programación de autobuses y la información en tiempo real.
El Primer del Departamento de Transporte de Estados Unidos analiza la capacidad de organización y se refiere al trabajo realizado por AASHTO en los EE.UU., el cual proporciona orientación sobre cómo evaluar las capacidades y preparar un plan de acción. Esto incluye la capacidad para la medición del desempeño.(Ver ePrimer Module 12)
Los resultados de la evaluación también mejoran la calidad de las evaluaciones llevadas a cabo antes de que se tomen las decisiones de inversión. (Ver Valuación de Proyectos) - al proporcionar una retroalimentación sobre el desempeño de las opciones ITS - como por ejemplo, ¿cúales fueron sus alcances, qué impactos tuvieron ellos en la demanda del usuario y el uso de otros modos. Herramientas útiles son las bases de datos y sitios web que agrupan resultados de la evaluación de una serie de aplicaciones en diferentes ámbitos y contextos. Esto pone de relieve el valor de informar los resultados y hacer que estos estén ampliamente disponibles.