El seguimiento y la evaluación son dos aspectos importantes de las Operaciones las Redes de Carreteras (RNO) que a menudo se pasan por alto. Ambos tienen un papel central a la hora de garantizar que las políticas adoptadas para las RNO, y para que las medidas aplicadas en realidad logren los resultados deseados. Esto es especialmente cierto para las medidas que aprovechan al máximo el potencial de las tecnologías ITS, que han abierto muchas nuevas posibilidades en los últimos años. El monitoreo y la evaluación son importantes para la implementación de ITS en general y para ITS en las Operaciones de las Redes de Carreteras , en particular, - actuando como herramientas para evaluar la contribución de un proyecto en el cumplimiento de los objetivos de política, para mejorar las operaciones e influir en las futuras estrategias de implementación. (Ver Planificación Estratégica)
Como puede verse en la cobertura de esta página web, ITS se aplica de muchas formas diferentes y en diferentes contextos, incluyendo:
El seguimiento y la evaluación cuidadosa contribuirán al éxito de las operaciones en todas estas áreas, pero especialmente para las actividades centrales de la RNO. ITS tiene un gran potencial para mejorar la eficiencia de la propia red de carreteras - para el beneficio de los usuarios de la carretera - por ejemplo, con sistemas operativos que respondan automáticamente a la congestión recurrente, los incidentes de tráfico o fenómenos meteorológicos. Ninguna de estas mejoras está garantizada y la percepción del público puede ser muy diferente a la realidad. A menudo hay una necesidad de una evaluación objetiva. El éxito a menudo depende de la manera en que la tecnología se haya y los métodos de operación que se hayan adoptado. Por estas razones, el monitoreo y la evaluación son partes esenciales del programa RNO que ayudan a determinar las prioridades y un valor seguro para el dinero. No son un extra opcional.
El seguimiento y la evaluación ayuda a:
Algunos ejemplos de los objetivos clave RNO - al cual los ITS puedan contribuir - y los cuales pueden ser informados por el monitoreo y la evaluación, que están planficados de manera adecuada, incluyen:
El monitoreo implica la recopilación de datos en forma continua y sistemática para evaluar el rendimiento de un sistema en el cumplimiento de indicadores clave. El monitoreo puede ser usado para medir los impactos de un plan como información de entrada para su evaluación
La evaluación es una evaluación del grado en que un proyecto cumple sus objetivos. Proporciona información que es útil para mejorar el rendimiento en el futuro. Esto, a su vez, proporciona información para las decisiones de evaluación antes de que las inversiones ITS se realicen.
El seguimiento y la evaluación son actividades que se llevan a cabo después de que los ITS han sido implementados. Son distintos de la estimación, la cual es parte del proceso de planificación llevada a cabo en apoyo de las decisiones de inversión cuando un proyecto ITS está en preparación, antes de su implementación. (Ver Valuación de Proyectos)
El término ‘ evaluación de ITS’ es un análisis del grado en el que que un proyecto ITS ha cumplido sus objetivos. roporciona lecciones sobre cómo mejorar el rendimiento en el futuro. Las principales cuestiones a considerar son:
El operador de la red de carreteras puede desempeñar un papel importante en la evaluación de los desarrollos ITS destinados a apoyar las operaciones de la red de carreteras. Los impactos positivos y negativos en las operaciones de red deben ser evaluados para cualquier aplicación ITS que se encuentre en la fase de investigación y desarrollo, o como parte de un ensayo de campo a gran escala. Las evaluaciones de las implementaciones de rutina de las tecnologías ITS establecidas también son importantes para establecer buenas prácticas. Por ejemplo, una evaluación de la utilización de cámaras de seguridad,en un contexto completamente nuevo, debe establecer el grado de cumplimiento por parte de usuarios de la carretera y si esto tiene un efecto beneficioso sobre la eficiencia del tráfico y los accidentes.
La evaluación es un análisis planificado y estructurado de los impactos de proyecto ITS y del grado en el que que este ha alcanzado sus objetivoss. Los impactos evaluados incluyen los costos financieros y las consecuencias negativas, así como tabién los beneficios (Ver Beneficios de ITS) .La evaluación tiene lugar después de la implementación se ha completado, pero es importante para planificar la evaluación antes de que la implementación esté finalizada, y programar los recursos para llevarla a cabo. La evaluación es realizada a menudo por una organización independiente para que los resultados sean vistos como verdaderos y resulten imparciales con al análisis del proyecto. Esto es particularmente cierto para un proyecto ITS que sea muy innovador o que tenga un alto perfil público, tal como el proyecto de congestión de carga en Estocolmo.
El monitoreo y la evaluación no se llevan a cabo por su propio bien - no son fines en sí mismos.Los proyectos ITS abarcan una amplia diversidad e implican una inversión considerable de recursos financieros según las organizaciones de las partes interesadas involucradas. Una evaluación formal es importante con el fin de comprobar que el valor esperado de una inversión se ha realizado, y para determinar quién se beneficia y cómo estos beneficios se comparan con las expectativas. La evaluación no es simplemente una cuestión de "justificar" la inversión. Proporciona información que:
La evaluación permite evaluar los impactos que el proyecto ha tenido sobre las partes interesadas (tales como los viajeros y operadores) - y sobre una serie de objetivos políticos como el medio ambiente, la seguridad, la sostenibilidad y la eficiencia. El punto de vista de las partes interesadas de los grupos minoritarios que pueden estar afectados de manera desproporcionada - positiva o negativamente - será importante, por ejemplo, las personas con una discapacidad o los usuarios vulnerables, como los peatones y los ciclistas.
Las organizaciones que no realizan evaluaciones completas y adecuadas de sus implementaciones ITS están en desventaja cuando se tratan de justificar propuestas de nuevas inversiones en el futuro. Esto se aplica si la organización es una autoridad pública tratando de determinar la dirección de futuras políticas de transporte, un operador de la carretera teniendo en cuenta sus prioridades de inversión o una organización comercial que ve nuevas oportunidades de negocio. Una evaluación bien planificada y documentada de un programa existente, ayuda a justificar y lograr el apoyo para la siguiente inversión.
El tipo de evaluación a realizar está determinada por los objetivos de la evaluación. Ellos pueden incluir:
Los actores involucrados en la puesta en marcha de una evaluación de ITS puede incluir a los responsables de las políticas a nivel nacional o local,a las autoridades de tránsito o transporte,a los operadores de transporte y usuarios ya las organizaciones que participan directamente en las operaciones de la red de carreteras. Dependiendo de la escala y la complejidad de la evaluación - la misma se puede llevar a cabo en la empresa o por consultores especialistas o investigadores universitarios
La participación de operadores de las redes de carreteras en la evaluación de los ITS para las Operaciones de la Red de Carreteras incluye:
A los operadores de la red de carreteras y a las autoridades viales públicas a menudo les resulta difícil realizar un caso de negocios para los ITS. Los resultados de la evaluación pueden apoyar este proceso.El US DOT’s ePrimer’s Module 12 trata el tema de cómo realzar un caso de negocios.
La evaluación de un desarrollo ITS puede ayudar a desarrollar un caso de negocio para inversión a través de:
Las fuentes públicas de resultados de evaluación
Los resultados de la evaluación de los proyectos ITS han sido compilados y consolidados en varios recursos. Algunos son bases de datos donde pueden ser buscados los resultados relativos a los tipos específicos de proyectos o encontrar objetivos particulares. Estas son muy valiosas para ayudar a identificar los impactos esperados y las medidas potenciales de rendimiento. También demuestran las ventajas de la presentación de informes de resultados de evaluación utilizando un marco común - para comparar los estudios que pueden haber sido llevados a cabo en diferentes países y con diferentes requisitos para la evaluación y presentación de informes. Las fuentes de los resultados de la evaluación incluyen:
El ciclo de evaluación utiliza los principios y valores que sustentan el desarrollo de cualquier comunidad - los de Arendizaje, Evaluación y Planificación -Learning, Evaluation and Planning (LEAP), que a menudo se resumen como: analizar - planificar - hacer - revisar. El proceso de evaluación es cíclico - los resultados positivos pueden construirse sobre este, y los resultados menos positivos se pueden analizar para determinar qué salió mal, qué se puede hacer para remediar la situación - y qué se puede hacer para mejorar los resultados de las aplicaciones similares en el futuro . Este ciclo se ilustra a continuación y muestra que la evaluación es una parte clave del proceso de implantación de los ITS. No es una opción "extra". El diagrama muestra cómo el monitoreo y la evaluación pueden proporcionar realimentación a corto plazo para mejorar las operaciones actuales y también los resultados que se integrarán en el desarrollo y la estrategia de inversión de ITS.
The ITS evaluation cycle
Después de la implementación, el monitoreo post-implementación y la evaluación de un programa ITS se utiliza para evaluar si el sistema - ya instalado y operado - está cumpliendo con los objetivos del proyecto, ofreciendo el rendimiento esperado y adecuado a las de necesidades de los usuarios (que en sí mismas pueden cambiar con el tiempo). '' Las necesidades de los usuarios" no son necesariamente las del conductor de un vehículo. Puede ser que sean las necesidades de la autoridad vial del operador de red para mejorar el rendimiento del sistema y ofrecer una mejor seguridad o el flujo de tránsito, las necesidades del medioambiente, las necesidades de una red integrada de transporte más amplia - o las necesidades de las comunidades afectadas por los viajes de otras personas .
Los resultados de los análisis post-implementación deberían ser incluidos en el ciclo de evaluación, mejoramiento de las operaciones y monitoreo - e influyendo en estrategias ITS para el futuro. La retroalimentación proporcionada por la evaluación informa sobre futuras inversiones y su diseño. Si los ITS no están funcionando como se esperaba, la retroalimentación puede ayudar en la comprensión de cómo ajustar o adaptar el proyecto.
Recaudación de peajes automáticos, Turquía
En Izmir, Turquía, la información generada por el cobro de tarifas automáticas y el sistema de información de autobuses en tiempo real se está utilizando para volver a diseñar la red de rutas, con intercambios planificados y la mejora de la calidad del servicio. Esto ha dado lugar a un aumento significativo en el número de pasajeros. Para más información - El Banco Mundial 2011 (Ver Case Study: Izmir, Turkey)
Un plan de evaluación cuidadosamente construido es clave en este proceso cíclico y es una parte esencial de cualquier programa para el desarrollo de los ITS. (Ver Plan de Evaluación)
La evaluación es importante para cualquier desarrollo de los ITS, pero especialmente para un proyecto que sea innovador o implementado dentro de una nueva situación.Esto muestra la contribución que el programa puede aportar para satisfacer las políticas de transporte y los objetivos operativos de todos los días, y puede ser utilizardo para mejorar y afinar la retroalimentación las operaciones ITS -proporcionanando sugerencias para las siguientes rondas de desarrollos. Sin una evaluación adecuada, las organizaciones no pueden estar seguras de que hayan obtenido un proyecto que funcione correctamente y por el cual han pagado. Los resultados de la evaluación también se pueden utilizar para informar acerca de futuras políticas y estrategias ITS. (Ver Mejora de la Performance)
Otro uso de la retroalimentación de la evaluación ITS es mejorar el proceso de evaluación antes de la implementación de un plan a futuro (Ver Valuación de Proyectos) Los resultados de los efectos de la evaluación de la vida real - que incluyen los costos de construcción, mantenimiento y operación de los programas ITS y los beneficios alcanzados - se pueden utilizar en las futuras decisiones de inversión, para asegurarse de que en los sistemas seleccionados se encuentran las necesidades específicas del usuario.
Los operadores de redes de carreteras tienen un papel importante a lo largo del ciclo de evaluación. Ellos están involucrados en el desarrollo de las estrategias de operación para sus redes, identificando objetivos del proyecto ITS, el análisis previo a la aplicación para informar las decisiones de inversión, la selección del esquema y el análisis de las necesidades del usuario. Como esquema de "propietarios" estos reúnen los datos de seguimiento durante las implementaciones de los ITS. Cada vez más, los ITS incluyen características que proporcionan la base para el seguimiento de los patrones de demanda de tránsito y el comportamiento de los usuarios de la carretera (Ver Tecnologías de Monitoreo). Los datos de monitorización de la red de carreteras es utilizado por los operadores para el análisis previo a la ejecución y el seguimiento de tránsito, la seguridad, incidentes y otros criterios de rendimiento en la red - después de una una implementación ITS ha sido desarrollada. Esto proporciona una contribución esencial a la evaluación. Los operadores de la rede de carreteras a menudo encarga una evaluación independiente y utilizan los resultados para retroalimentar las futuras estrategias y decisiones de inversión. (Ver Actividades operación)
El monitoreo en conjunto con la evaluación se utilizan para aprender lecciones y mejorar el rendimiento futuro. Se abordan aspectos tales como: ¿El ITS cumple con los objetivos y los resultados son los que se pretenden ? Esto puede identificar la gama de beneficios logrados los cuales luego se pueden cuantificar con datos de monitoreo interno. El monitoreo cuidadoso de los costes ayuda a identificar los costos de funcionamiento y mantenimiento de un servicio específico - que pueden ser separados de los amplios gastos de la organización.
El rendimiento de los elementos pertinentes del sistema de transporte deben ser controlados para proporcionar la referencia con la que se mide el valor añadido del proyecto ITS. La supervisión del rendimiento puede ser utilizadoa para mejorar el funcionamiento de los ITS, proporcionar datos sobre los impactos y beneficios y demostrar si los beneficios esperados y los impactos se han efectivizado.
Es probable que el foco de la actividad de monitoreo varíe con la magnitud y la madurez de la implementación ITS. Por ejemplo, para un área dónde ITS es relativamente nuevo y el número de aplicaciones sea limitada - tales como el manejo cooperativo de comunicaciones basado en el Vehículo - a - Vehículo (V2V) - el monitoreo es probable que se centre en profundidad sobre el rendimiento de las aplicaciones individuales. Donde la implementación sea extensiva - por ejemplo, como el pago electrónico de peaje o sin parar - es probable que el el objetivo principal sea en el seguimiento presencial y el rendimiento general de los ITS en el sistema de transporte a un nivel estratégico - además de las aplicaciones individuales.
Los criterios de desempeño definidos en el plan de evaluación (Ver Plan de Evaluación) deberían ser monitoreados antes y después de la implementación. Dependiendo de la aplicación ITS, puede ser necesario controlar los sitios de "control", así como también el sitio de la implementación.
La supervisión del rendimiento cubre los servicios prestados, así como las tecnologías utilizadas. Ello implica:
Respecto a los indicadores, deben ser seleccionados aquellos que sean fáciles de entender y medir, y los que están claramente relacionados con los requisitos de rendimiento y objetivos del proyecto. Siempre que sea posible estos deberán ser indicadores comunes, que puedan ser utilizados en una variedad de esquemas. (Ver Indicadores de Performance).
Siempre que sea posible, el esquema de ITS debe ser diseñado de modo que proporcionaeautomáticamente los datos para la monitorización del rendimiento. Por ejemplo:
El monitoreo y la evaluación son elementos clave para el aprendizaje de una organización. Una parte importante del ciclo de evaluación es retroalimentar los resultados de la evaluación para informar a la estrategia ITS, las operaciones ITS y los requisitos para el monitoreo. (Ver Medidas de Performance).
A nivel estratégico, los resultados del monitoreo y la evaluación se pueden utilizar para:
Los resultados de la evaluación se utilizan también como retroalimentación para mejorar las operaciones y el monitoreo - por ejemplo, para optimizar el rendimiento de los ITS durante las operaciones del día a día. Los ITS suelen necesitar ser ajustados sobre la base de los resultados de la evaluación en las primeras etapas de la operación. Incluso si los resultados de la evaluación muestran que el sistema estar funcionando bien, podría haber margen para optimizarlo aún más. Cualquier ajuste realizado en las primeras etapas, después de la aplicación, tendrá que ser registrado cuidadosamente para que puedan ser tenidos en cuenta en la evaluación. La evaluación a gran escala debe llevarse a cabo después de que los ajustes se hayan realizado y el sistema haya 'puesto a punto' - y sus efectos se hayan estabilizado.
Monitoreo de Localización Vehicular Automática de los Autobuses en Sudáfrica
En Sudáfrica, el monitoreo de una localización automática de vehículos ITS de autobuses, identificó los problemas de comunicación a través de la red del operador sobre la red móvil - lo cual redujo el rendimiento del sistema de monitoreo de supervisión automática de vehículos . Esto fue el resultado de los cambios realizados por el operador de la red móvil en los protocolos de comunicación, sin tener en cuenta las necesidades del operador de transporte público. Se ha llegado a un acuerdo entre las dos partes - por lo que el operador de la red móvil:
El monitoreo también destacó los impactos potenciales sobre el acuerdo de nivel de servicio - que afecta a los proveedores de otros componentes del sistema - los cuales no se habían previsto cuando se planeó el servicio. Más información: Banco Mundial. (Ver Case Study: Johannesburg, South Africa) Toolkit on Intelligent Transport Systems for Urban Transport.
Los datos de monitoreo se pueden utilizar para evaluar el grado en que el ITS cumple con los requisitos operativos, por ejemplo, por:
Las medidas de rendimiento se pueden utilizar para definir los pagos en los contratos - para proporcionar incentivos para el cumplimiento de los objetivos de rendimiento y proporcionar la base para los cargos de penalización si no estos no se cumplieran. Se sugiere que cuando los pagos por el trabajo terminado dependan del cumplimiento de los objetivos de rendimiento, exista un asesoramiento de especialistas en la gestión de riesgos y en la medición de los resultados
Las medidas de rendimiento y Pagos en Dublín
En Dublín, la compañía de autobuses tiene un contrato de Obligación de Servicio Público con la Autoridad Nacional de Transporte. Las medidas de rendimiento están vinculadas a los pagos. La localización automática de vehículos y la información en tiempo real para los servicios de autobús proporcionan datos sobre el rendimiento que se utiliza para resolver problemas operativos. Por ejemplo, los tiempos de ejecución se han reportado como un problema por los conductores en algunas rutas. Los datos de monitoreo se pueden utilizar para analizar si existe verdadero problema que se produce en determinados momentos del día o días de la semana, ocasional o frecuentemente - por lo que se pueden hacer ajustes. Más información: El Banco Mundial 2011. (Ver Case Study: Dublin Ireland) Toolkit on Intelligent Transport Systems for Urban Transport.
La medición de los resultados también se pueden utilizar para mirar hacia el futuro. Estos pueden, por ejemplo, definir los objetivos para mejorar el rendimiento como parte de un proceso de mejora continua. Más ampliamente, estos se pueden utilizar para proporcionar recomendaciones para futuras operaciones.
Programas de financiación pueden haber puesto en marcha los procesos establecidos para el monitoreo y la presentación de informes de rendimiento, para obtener la aprobación para el pago. Por ejemplo, el Banco Asiático de Desarrollo tiene ‘Guidelines for Preparing Performance Evaluation Reports for Public Sector Operations’.
Los datos de monitoreo y evaluación se pueden utilizar para evaluar la eficacia operativa - identificando si el ITS se incorpora fácilmente en las operaciones del día a día y si hay necesidades adicionales de formación en una organización. Este es uno de los aspectos abordados en Caso de Estudio del Banco Mundial (Ver Case study: Mysore, India) – sobre el monitoreo y la evaluación ITS para localización auromática, la programación de autobuses y la información en tiempo real.
El Primer del Departamento de Transporte de Estados Unidos analiza la capacidad de organización y se refiere al trabajo realizado por AASHTO en los EE.UU., el cual proporciona orientación sobre cómo evaluar las capacidades y preparar un plan de acción. Esto incluye la capacidad para la medición del desempeño.(Ver ePrimer Module 12)
Los resultados de la evaluación también mejoran la calidad de las evaluaciones llevadas a cabo antes de que se tomen las decisiones de inversión. (Ver Valuación de Proyectos) - al proporcionar una retroalimentación sobre el desempeño de las opciones ITS - como por ejemplo, ¿cúales fueron sus alcances, qué impactos tuvieron ellos en la demanda del usuario y el uso de otros modos. Herramientas útiles son las bases de datos y sitios web que agrupan resultados de la evaluación de una serie de aplicaciones en diferentes ámbitos y contextos. Esto pone de relieve el valor de informar los resultados y hacer que estos estén ampliamente disponibles.
Antes de comenzar a planificar una evaluación, las razones para hacerla y los usos que se harán de sus resultados, estos deberían estar claramente definidos. Comprendiendo cómo los usuarios de dichos resultados juzgarán el éxito o el fracaso de un proyecto, es un primer paso importante en la planificación de una evaluación. No es suficiente para llevar a cabo una evaluación sólo porque esta la requiera una organización. Una evaluación que no está adecuadamente planificada no puede medir lo que se considera importante, e incluso puede fallar para medir los cambios producidos por los ITS.
En la evaluación hay aspectos políticos , dada la diversidad de los usuarios y sus necesidades. Los ITS pueden ser adaptados para servir ampliamente a diferentes objetivos políticos. Los criterios clave para los tomadores de decisiones son por lo general que un proyecto de ITS debe ser, y debe ser visto :
Una evaluación del proyecto puede informar de todos estos aspectos. Si los ITS pueden provocar un cambio que sirva a las necesidades de los viajeros, los residentes y los operadores de redes dentro de un presupuesto asequible, entonces el ITS servirá al público y a los tomadores de decisiones por igual. Por ejemplo, en verificar si un proyecto ITS es:
Los intereses de los diversos grupos de interés involucrados en los ITS se deben considerar antes de iniciar una evaluación:
Cada uno de estos factores debe informar acerca del diseño de la evaluación. Una evaluación que tome en cuenta e involucre a los actores en el proceso, tendrá muchas más posibilidades de producir resultados que sean aceptables para las partes interesadas. Esto puede significar dedicar un esfuerzo para informar a los grupos de interés (incluidos los políticos) acerca del proyecto- y las razones para llevar a cabo una evaluación independiente a fondo, en la que la contribución de los participantes será clave.
Al mismo tiempo, es importante recordar que uno de los principios clave en la producción de una evaluación creíble, es que esta debe ser independiente. En otras palabras, los resultados están en equilibrio, no sesgadas a favor de los intereses de cualquier grupo (s) de las partes interesadas.
Para garantizar una evaluación exitosa, es importante llegar a un acuerdo, en una etapa temprana, role sy responsabilidades claros, entre los diferentes actores involucrados en la evaluación (ya sea como usuarios de los resultados o como colaboradores del estudio).
Las cuestiones éticas deben tenerse en cuenta cuando se planifica cómo llevar a cabo una evaluación y los métodos que se utilizarán. La evaluación debe ser diseñada de manera tal que no exista riesgo de, o cualquier otro efecto adverso sobre los usuarios, y las partes interesadas. Quienes llevan a cabo estudios de evaluación tienen la responsabilidad de asegurar que los participantes (por ejemplo, usuarios o empleados) sean informados del prpósito de las encuestas (u otros medios de recopilación de datos) - y cómo se utilizarán los datos. Los procesos deben ser puestos en marcha para garantizar el anonimato y la seguridad de los datos - incluyendo los datos que se recaban automáticamente (por ejemplo, de técnicas de reconocimiento automático de matrículas o cámaras CCTV). Serán requeridas algunas organizaciones que llevan a cabo las evaluaciones, como parte de su gestión de calidad, para presentar sus planes y métodos ante un comité de ética para su aprobación, antes de iniciar la evaluación.
Existe una gran variedad de técnicas para la medición de los impactos. El esfuerzo puesto en una evaluación dependerá de la escala, la ubicación y los objetivos del proyecto ITS. Una evaluación a gran escala, sobre una base científica, es apropiada para un ITS innovador donde haya poca o ninguna evidencia publicada sobre sus costos, beneficios e impactos. Un proyecto ITS que haya sido bien probado puede justificar una evaluación más simple o menor escala. La escala debe ser acordada por las partes interesadas que participan desde el principio. Las consideraciones incluyen los:
Durante el ciclo de vida de una aplicación de ITS - desde el concepto hasta pilotos iniciales, demostraciones de mayor escala y el despliegue a gran escala - el alcance y la cobertura de la evaluación necesari , se reduce. Esto se debe a la implementación a gran escala que sólo se produce después de una cantidad considerable de evaluaciones que han sido llevadas a cabo ya sea a nivel de prototipos, pilotos y demostraciones - proporcionando un buen nivel de comprensión de la aplicación de ITS.El programa europeo EasyWay ilustra esto con un gráfico que indica cómo el nivel de trabajo de la evaluación cambia entre las etapas de desarrollo de los ITS.
Level of evaluation required at different stages of application development. Source: Tarry S, Turvey S and Pyne M 2012. EasyWay Project Evaluation Guidelines. Version 4.0, p 8. EasyWay
Programa EasyWay y Projectos (2007-2020)
EasyWay (2007-2020) ies un programa importante de la Unión Europea (UE) centrado en a implementación de Sistemas de Transporte Inteligente (ITS) en las principales redes de carreteras de toda Europa. Se trata de 30 países europeos, que reúnen a las autoridades de tránsito de las carreteras - y sus principales socios tecnológicos ITS tales como la industria automotriz, de telecomunicaciones y los operadores de servicios de viajes y las partes interesadas de transporte público. Se ocupa de los objetivos del transporte de la UE: mejorar la seguridad, reducir la congestión ylos impactos negativos del medioambiente, y promover la continuidad de los servicios a través de la implementación coordinada de información en tiempo real, la gestión del tránsito y los servicios de transporte y logística (http://www.easyway-its.eu/)
Al planificar una evaluación, es importante tener en cuenta los siguientes aspectos:
En la preparación de un plan de evaluación (Ver Plan de Evaluación), es útil elaborar una lista detallada donde se específique que es lo especíco para el proyecto que se está evaluando. Esto asegura que los pertinentes costos, beneficios e impactos se identifiquen y evalúen. (Ver Mejora de la Performance)
Varias cajas de herramientas están disponibles las que proporcionan una orientación y ejemplos para los operadores y otras personas de la red de carreteras, dando apoyo a las actividades en las diferentes etapas del ciclo de evaluación - incluyendo:
Los Países Bajos evaluaron y se resumieron los principios claves de las principales técnicas utilizadas en la evaluación de los ITS en 2003 - en relación con sus implementaciones en las rutas interurbanas (http://www.ltrc.lsu.edu/TRB_82/TRB2003-000237.pdf).
La caja de herramientas del Departamento de Transporte del Reino Unido se ha diseñado para que sean más fáciles de concebir y producir los ITS. Incluye una guía sobre cómo las autoridades locales pueden beneficiarse de los resultados de evaluación.
Una visión general del conjunto de herramientas está contenida en la: Unidad de Asesoría de Tránsito , Understanding the Costs and Benefits of ITS: A Toolkit Approach, folleto ITS 1-06, Reino Unido Departamento de Transportes, 2006.
El conjunto de herramientas está disponible en: http://webarchive.nationalarchives.gov.uk/20120606085311/http://www.dft.gov.uk/itstoolkit/feeding-back-results.htm
La guías de Finlandia se basan en un marco nacional para la evaluación de proyectos - que están publicadas en Inglés. Abarcan tanto la evaluación del proyecto pre- implementación) como la evaluación de proyectos (post-implementación) - e incluyen listas de comprobación de posibles impactos, listas de indicadores y métodos de medición, y listas de verificación para la evaluación de diferentes aspectos de los proyectos. Cuatro ejemplos son mostrados respecto a cómo las directrices se han aplicado a proyectos específicos. ( http://virtual.vtt.fi/virtual/proj6/fits/julkaisut/hanke2/FITS_4_2002_Guidelines_for_evaluation.pdf)
E manual EasyWay está dirigido a los operadores de redes de carreteras de Europa y a otras partes interesadas en la evaluación ITS para las carreteras interurbanas en Europa. Se discute el ciclo de evaluación e incluye ejemplos de mecanismos de retroalimentación que muestran cómo la evaluación de proyectos ITS es utilizada por los tomadores de decisiones. (Ver EU ITS Portal)
Estas directrices están diseñadas para pilotos y demostraciones de nuevosproyectos de transporte en Europa. Proporcionan orientación a través de todas las etapas del ciclo de evaluación. (http://www.transport-research.info/Upload/Documents/200310/maestro.pdf).
La caja de herramientas ITS 2DECIDE ITSes una herramienta de apoyo a las decisiones en línea para ayudar a las organizaciones de transporte, a los operadores de redes y a las autoridades, en la selección y laimplementación de los ITS. Los usuarios pueden consultar la base de datos para soluciones relevantes ITS para un contexto, un problema, una meta específica o servicio ITS. Reciben información basada en los servicios relevantes, con indicación sobre los impactos que se pueden esperar en un contexto específico. Incluye una base de datos de costos, estudios de casos e informes de evaluación. Para acceder a la caja de herramientas - (http://www.its-toolkit.eu/2decide//node/44) primero usted debe establecer una cuenta (gratuita).
Este manual sobre la planificación y organización de Pruebas Operativas de Campo (FOT) de las tecnologías ITS, incluye una orientación sobre el diseño experimental,el análisis de datos y el modelado de impactos socioeconómicos, y de cómo llevar a cabo una evaluación. Aunque está dirigido principalmente a los ensayos de sistemas de asistencia al conductor, los principios se aplican igualmente a otros ITS. ( http://www.transport-research.info/Upload/Documents/201210/20121024_103630_69842_FESTA_Handbook_V4.pdf).
FESTA, evaluación del impacto socioeconómico de los sistemas de asistencia al conductor (Field Operational Tests Networking and Methodology Promotion) - Europa
Esto complementa el Manual FESTA y proporciona asesoramiento sobre la metodología para la evaluación socioeconómica de las pruebas operativas de campo (FOTs) de los ITS. Cubre el marco de la evaluación,de las partes interesadas, el alcance de la evaluación, los métodos de análisis, el análisis financiero y las necesidades de datos. Aunque está dirigido principalmente a los ensayos de los sistemas de asistencia al conductor, los principios se aplican igualmente a otros ITS.
La base de conocimientos ITS del Depaertamento de Transporte de los Estados Unidos es un sitio webque provee información sobre los beneficios , costos,niveles de implementación y lecciones aprendidas – a partir de las implemntaciones y operaciones de los ITS. La información ha sido recolectada a partir de resúmenes de ejemplos de la vida real comenzando a partir de los finales de los años 90.La base de datos contiene información sobre las decisiones tomadas en las inversiones ITS rastreando la eficacia de los sistemas que han sido implementados, a lo largo del tiempo.los ususrios pueden buscar en la base de datos, filtrando por tipo de proyecto y ciudad o estado de los EE.UU.en las cuales ellos han sido evaluados (http://www.itskrs.its.dot.gov/).
El Banco Mundial proporciona una breve orientación sobre los criterios de rendimiento pre-implementación, y el monitoreo la evaluación post-implementación. Una serie de estudios de casos ofrecen ejemplos de implementaciones urbanas ITS. Se describe el grado en el que han sido evaluadas. Los estudios de caso cubren tanto las economías en desarrollo y como las desarrolladas. Ellos muestran que algunas organizaciones de transporte llevan a cabo una evaluación exhaustiva de ITS - lo lo cual dificulta la obtención de apoyo para los proyectos ITS futuros (http://www.robat.scl.net/content/ITS-Toolkit/guidance/evaluation.html).
El Banco Mundial ha elaborado una nota técnica "Evaluación Independiente: Principios, Directrices y Buenas Prácticas". Está dirigido a programas de asociación globales y regionales que lleven a cabo una evaluación independiente. Se proporciona orientación sobre los principios y la finalidad de la evaluación independiente,su conducción y la forma de evaluación, el desarrollo de indicadores de rendimiento - y cuestiones clave de la evaluación. Aunque no está diseñado específicamente para programas ITS, los principios se aplican a cualquier proyecto de evaluación (http://siteresources.worldbank.org/INTDGF/Resources/Evaluation&LearningNote.pdf).
ha producido materiales internacionales de capacitación basados en la experiencia internacional de Sistemas Inteligentes de Transporte en la forma de presentaciones "Evaluación 101 ' presentaciones de expertos en evaluación ITS. (https://sites.google.com/site/ibecits/ibec-training-materials-in-english-and-spanish).
El Instituto Victoria de Política de Transporte ha publicado muchos documentos sobre diferentes aspectos de la evaluación del transporte. Los temas incluyen: análisis de costos y beneficios, evaluación de transporte multimodal, la evaluación de los impactos sobre la seguridad de las estrategias de gestión de la movilidad, la evaluación de estrategias de ahorro de energía y reducción de las emisiones, el desarrollo de indicadores para objetivos específicos y la evaluación de la calidad de la investigación. También proporciona una crítica de un mal estudio de evaluación (http://www.vtpi.org/documents/evaluation.php).
Hay aspectos prácticos que deben tenerse en cuenta antes de iniciar una evaluación. Además de la dotación económica para la implementación del proyecto ITS, un presupuesto debe ser asignado a la evaluación - lo cual implicará el trabajo antes y después de la implementación. En algunos casos esto se considerará como parte de la implementación. En otros casos, el presupuesto para la evaluación será tratada por separado. En cualquier caso, el presupuesto para la evaluación representa una inversión en la planificación de proyectos futuros. Es importante tener en cuenta:
La evaluación debe centrarse en medir el aspecto clave que el proyecto tiene la intención de cambiar - no para recoger algunas estadísticas generales o que "parezcan buenas" pero que pueden no tener ninguna relación con los ITS. Por ejemplo, una evaluación de un servicio de información de tiempo de viaje en tiempo real que simplemente pregunta a los usuarios si el ITS ha tenido un impacto en la calidad de sus viajes, sólo proporcionará una indicación de la satisfacción del usuario. A menos que los flujos de tránsito y los tiempos de viaje se midan en la ruta principal o en las rutas alternativas cuando se producen incidentes - la evaluación no será capaz de determinar el grado en que los ITS reducen el impacto de los incidentes mediante la difusión de tránsito en rutas alternativas. Tampoco será capaz de determinar cualquier efecto perjudicial de otros caminos, causados por el tránsito desviado.
Siempre que sea posible, los ITS se deben programar para proporcionar datos que pueden ser utilizados para monitorear sus impactos. Por ejemplo, la información en tiempo real en las paradas de autobús proporciona información sobre intervalos entre buses. El almacenamiento de estos datos da un registro de los intervalos entre los servicios de autobús, lo que, para los pasajeros, es un aspecto clave de la fiabilidad. En el caso de estudio sobre la demanda de transporte receptivo en el condado Prince William EE.UU., se ha utilizado el servicio de datos para supervisar el rendimiento de forma automática, lo que reduce el coste de la recogida y el análisis de los datos. (Ver ITS for Demand Responsive Transport Operation, Prince William County USA) .
Grupos de interés específicos pueden tener requisitos particulares de un proyecto - el cual influye en los métodos de evaluación, el presupuesto, el tiempo y la escala de evaluación. Es importante entender estos requisitos y limitaciones son de una etapa temprana en la planificación de la evaluación para determinar en qué medida se cumplen. La evaluación debe ser diseñada de modo que sea posible identificar cómo se distribuyen los beneficios y costos de los ITS entre los diferentes grupos de interés - quién gana y quién pierde.
Por ejemplo, así como la evaluación de los impactos de ITS sobre los que viajan en transporte público (los usuarios finales '') , la evaluación debería tener en cuenta las exigencias de los operadores y otro personal de las organizaciones que participan en la implementación de los ITS. Estos impactos pueden ser evaluados mediante entrevistas al personal - y en algunos casos mediante el uso de datos sobre los patrones de trabajo y las tareas completadas.
Una evaluación de los impactos del teletrabajo en los patrones de viaje en Hampshire no sólo evaluó los impactos en los trabajadores afectados, sino que también incluyó una encuesta a gerentes y colegas para evaluar el impacto en los patrones de trabajo y la productividad de las organizaciones para las que trabajan los empleados. El Laboratorio de Investigación del Transporte, Grupo de Investigación de Transporte (Universidad de Southampton) y la Universidad de Portsmouth. 1999. Monitoring and evaluation of a teleworking trial in Hampshire . TRL Informe 414. Transport Research Laboratory, Crowthorne.
Una evaluación de las estrategias de gestión del tránsito transfronterizo en los Países Bajos incluyó entrevistas con los empleados las que identificaron formas en las que los procesos de implementación de las estrategias podrían simplificarse. Taale, H. 2003. Evaluation of Intelligent Transport Systems in The Netherlands. . Reunión Anual Transportation Research Board, 2003. Washington DC.
La evaluación es un trabajo especializado. Algunos operadores de red de carreteras, las autoridades de tránsito y otras organizaciones encargadas de la implemataxión de los ITS tienen capacidades limitadas dentro de sus organizaciones para monitorear y evaluar los ITS. Sin embargo la evaluación no siempre es complicada y no siempre tiene que ser llevada a cabo por especialistas. Si hay una necesidad de recoger datos, esto se puede hacer domesticamente, debido a que es creíble cuando se ha utilizado un enfoque objetivo y con buenos métodos.
Para la mayoría de las evaluaciones es una buena idea utilizar especialistas la primera vez que esta se lleva a cabo - por lo que el personal interno puede aprender cómo esta se debe hacer. La capacitación formal también se debe dar para mejorar la experiencia del aprendizaje. También vale la pena emplear especialistas de vez en cuando después que los métodos se hayan actualizado incorporándolos al personal de la organización. En algunas circunstancias, será importante que la evaluación se lleve a cabo a través de una organización independiente - para asegurarse de que los resultados son creíbles (por ejemplo, en informar a los organismos de financiación).
La viabilidad financiera es a menudo un problema. Sea cual fuere el método de evaluación utilizado, puede haber un presupuesto insuficiente para responder a todas las preguntas relacionadas con los ITS. Entonces se hace necesario decidir qué aspectos de la evaluación tienen la prioridad más alta. Un Análisis de los Factores Críticos puede ser útil en esta etapa. Se ve en los diferentes objetivos que se espera que e proyecto cumpla - y los indicadores clave que se necesitan para medir el grado en que estos se han alcanzado. Esto se ilustra en la figura siguiente .
Plantilla para el Análisis de los factores críticos
La evaluación incluye la gestión de la planificación y el monitoreo de los trabajos de evaluación para asegurar su calidad técnica, rentabilidad y oportunidad. Los elementos claves en la gestión de una evaluación exitosa son:
La información es un elemento clave para los ITS. Las aplicaciones ITS recogen, combinan, almacenan y comunican datos acerca de la red de transporte, sus usuarios - y los actores involucrados en la prestación de servicios. Además de los datos de funcionamiento, supervisión y evaluación también requieren de la recopilación de datos sobre los individuos y las organizaciones, sus puntos de vista y las respuestas a los ITS. Esto puede plantear preocupaciones sobre la privacidad. ( Ver Legal and Regulatory Issues) )
Las personas involucradas en la planificación, la conducción y la presentación de informes sobre las actividades de evaluación y monitoreo tienen que garantizar que la protección de datos y la privacidad sean consideradas y abordadas - y que cualquier requerimiento sobre la legislación de la proteción de datos sea satisfecho. El ePrimer del Departamento de Transporte de Estados Unidos habla en profundidad sobre la protección de datos para los ITS y establece estrategias para mitigar los problemas de privacidad - que se aplican al monitoreo y ala evaluación, así como a los datos operativos:
Los organismos de financiación externos son propensos a tener requisitos específicos que deben se cumplidos por los trabajos de evaluación, además de seguir las mejores prácticas en el diseño y la realización de evaluaciones. Estos pueden referirse, por ejemplo, a:
los resultados de la evaluación de otros sistemas son útiles en la planificación de una evaluación. Ellos pueden:
Se necesita tener cuidado al considerar los métodos utilizados y los resultados obtenidos en otros lugares. El número de casos de estudio de evaluaciones ITS en las economías en desarrollo es limitado y la tentación será mirar los resultados de las economías desarrolladas, que son más numerosos y están fácilmente disponibles - pero puede no ser adecuados para el contexto. Las reacciones de los usuarios y los contextos de valoración de los beneficios pueden variar ampliamente entre los diferentes países y regiones con diferentes perfiles sociales y económicos. La cuestión clave que debe abordarse es si el proyecto previsto es similar a los casos de estudio en términos de su contexto, sus objetivos y su base de usuarios?
La evaluación ITS debe estar bien pensada y ajustada si su objetivo es que esta sea útil. La metodología debe tener en cuenta: los objetivos del proyecto ITS, las necesidades del usuario y las expectativas de los interesados. Se debe hacer uso de medidas cuantificables y cualitativas que responden a las necesidades de los tomadores de decisiones.
A nivel 'visión general', la evaluación debe identificar tanto los impactos que se planificaron como los impactos no buscados - estableciendo cualitativamente la naturaleza de los cambios que se han producido y sus posibles causas. En un nivel más detallado, la evaluación debería cuantificar los cambios después de implementado el proyecto, evaluar la magnitud de esos cambios y el nivel de confianza en ellos - e identificar los mecanismos que conducen a cambios significativos. (Ver Reglas y Técnicas)
Se necesita un enfoque sistemático para la etapa de monitoreo del ciclo de evaluación para asegurar que los diferentes tipos de impacto (beneficios, desventajas, y costos) sean identificados y medidos. El desarrollo de un "Plan de Evaluación" es clave para ello. Se trata de un documento técnico - independiente a un "Plan de Gestión de la Evaluación", que cubre los recursos, el tiempo, la coordinación con otras actividades, y la gestión de datos (Ver Métodos de Evaluación)
El plan de evaluación debe estar redactado y acordado antes de que el proyecto sea implementado, por lo que los datos necesarios para medir la situación antes de la implementación se pueden definir y recolectar por adelantado. El marco de tiempo disponible para la recogida de datos "antes" , también pueden influir en el tiempo de recolección de algunos de los datos posteriores "después" necesarios a los efectos comparativos..
Datos útiles de entrada que pueden provenir de los planes de evaluación utilizados en otros estudios u otras directrices - u otras guías- en la determinación de los elementos que necesitan ser abordados.(Ver Métodos de Evaluación)
Un plan de evaluación debe estar bien especificado:
Centrarse en la identificación de los objetivos de los objetivos de política que lun proyecto ITS pretende abordar y evaluar la medida en que estecontribuye a alcanzar dichos objetivos.
Definir el "caso base" o "antes" de la implementación ITS - para permitir comparaciones con la situación "después" de la implementación.
Definir el área a ser cubierta por la evaluación. Un mapa es útil.
Definir el momento y la duración de la evaluación - tanto antes como después de la implementación. Asegurar que el momento en que se realiza minimiza los efectos externos (como los efectos estacionales). Asegurar que la duración de la evaluación sea suficiente para que todos los impactos sean identificados, no sólo los efectos iniciales a medida que los usuarios se están adaptando a la implementación del ITS.
La lista de los impactos esperados, utilizando la información de otros proyectos, las investigaciones preliminares y la evaluación del proyecto. En algunos casos puede ser posible enumerar los impactos esperados en términos cuantitativos - pero si no hay evidencia de los impactos de proyectos anteriores, será necesaria una descripción cualitativa de los impactos esperados. Los kits de herramientas de evaluación y las bases de datos de resultados de la evaluación son fuentes útiles. (Ver Mejora de la Performance)
Preparar una tabla que enumere los objetivos, los indicadores para evaluarlos y las fuentes de datos para los indicadores. (Ver Métodos de Evaluación)
Definir los métodos de evaluación que se utilizarán. Considerar el uso de más de un enfoque para proporcionar una visión más "redondeada" de los impactos y para confirmar las conclusiones. (Ver Métodos de Evaluación) En el caso de una evaluación compleja, dibujar un 'diagrama de flujo' que muestre cómo todas las diferentes fuentes de información encajan entre sí para informar los objetivos de la evaluación.
Tener en cuenta los principios de diseño experimental que se utilizarán. Por ejemplo comparar el rendimiento de un paquete de medidas ITS con un "control" que sea lo más parecido posible, pero no tenga un elemento ITS. Es deseable hacer comparaciones utilizando más de una ubicación para tomar en cuenta otras variables.
Asegúrese de que el diseño capturará los efectos secundarios no deseados las medidas ITS, así como los impactos esperados. Revisar los resultados de otros estudios para mejorar el diseño.
Definir los detalles de los datos que se obtendrán - antes y después de la implementación - para informar cada uno de los indicadores. Incluir, para cada indicador, información sobre el tamaño de las muestras, la certeza estadística, los plazos y los sitios de ubicación.
Examinar la manera en la que factores externos pueden influir en la evaluación y planificar la evaluación de forma de excluirlos. Por ejemplo, los cambios en la red de transporte de una zona vecina podrían tener efectos de reacción en cadena en la zona en la que los ITS han de ser implementados. Los grandes cambios de escala, tales como el crecimiento en la propiedad del vehículos o una desaceleración de la economía influirán en la demanda de transporte y podrían 'confundir' la evaluación.
Enumerar los criterios de rendimiento que pueden utilizarse para valorar el monitoreo y la evaluación. Estos pueden ser incluidos en el contrato de suministro del servicio de monitoreo y evaluación.
Los siguientes principios clave son útiles para seguir la presentación de los resultados del monitoreo y la evaluación
Considerar la audiencia para los resultados. Informes separados pueden ser útiles para diferentes grupos de interés. Los diseñadores de políticas pueden requerir una visión general de los resultados y un resumen de las consecuencias. Los profesionales pueden beneficiarse de un informe técnico más detallado. Puede ser apropiado desarrollar un artículo prospecto de información, una página web o de noticias para resumir algunos de los principales impactos de los ITS para el público en general
Asegúrar que los resultados se presentan de una manera transparente, fácil de entender y fácil de comparar con otros estudios. Incluir detalles de la certeza estadística en los resultados cuantitativos - siempre que sea pertinente. Proporcionar información contextual sobre el entorno del proyecto (tal vez incluir referencias a otras fuentes de información contextuales adicionales) para ayudar a los usuarios a transferir los resultados a otros entornos.
Incluir los impactos tanto positivos como negativos para proporcionar un informe equilibrado. Garantizar tanto, la notificación de los impactos cualitativos como la de los cuantitativos - y evitar dar la impresión de que en indicadores se coloca mas de un valor, para que puedan ser fácilmente cuantificados. Por ejemplo, algunos impactos pueden ser convertidos en valores monetarios y combinarse con otros para proporcionar una relación global de los costos sobre los beneficios. Esto no será posible para todos los indicadores - pero los que no se puedan medir de esta forma también deben ser informados. Marcos tales como una " hoja de balance de planificación" y un "análisis multicriterio ' pueden ser utilizados para resumir los resultados.
Hacer que los resultados estén ampliamente disponibles para que los tomadores de decisiones y profesionales de otros lugares pueden aprender de ellos. Esto ayudará a construir una base de conocimientos para la evaluación de los ITS y ayudar a reducir el tiempo y el esfuerzo en la planificación, implementación y evaluación de otros proyectos.
Los resultados pueden ser publicados a través de revistas, presentaciones en conferencias, seminarios web, o mediante la presentación de informes en sitios web que publican estudios de casos. Plataformas potenciales incluyen el:
Los siguientes temas son útiles para cubrir en cualquier informe técnico de los resultados de la evaluación (que también pueden incluir información adicional como apéndices:
Fuentes de orientación sobre planificación de la evaluación y la presentación de informes.
Hay varias fuentes de orientación sobre la elaboración de planes de evaluación y la notificación de los resultados:
Los Indicadores para medir el éxito de un proyecto de ITS están directamente vinculados a los objetivos que se pretenden obtener. Los ITS, como cualquier otra inversión, deben contribuir a la solución de un problema o a la entrega de una visión. La medida del éxito es hasta qué punto el problema se resuelve o la visión es entregada dentro del presupuesto disponible. Es importante definir indicadores que pueden utilizarse para medir si el proyecto de ITS ha cumplido sus objetivos
Template para el análisis de los impactos críticos
La plantilla anterior para el Análisis de los Factores Críticos muestra cómo las medidas (o indicadores) están vinculados a objetivos. El mismo enfoque se puede utilizar para establecer indicadores para evaluar el grado en el que se cumplen los objetivos. Esto proporciona una forma sistemática de expresar los resultados que se buscan y los resultados o medidas visibles esperadas - si el ITS tiene el efecto deseado. Estos resultados no estarán necesariamente por completo dentro del sector público, como el ejemplo anterior - de medidas de eficiencia, muestra. Una evaluación puede incluir indicadores que miden el grado en que se cumplen los objetivos del sector privado, así como el grado en que se cumplen los objetivos del sector público.
Este enfoque se puede aplicar a toda la gama de objetivos para los ITS. Además de los ilustrados anteriormente, las mejoras de seguridad podrían incluir beneficios - tales como, la percepción de la seguridad personal. Los beneficios ambientales a menudo incluyen la reducción de ruido y pueden incluir beneficios para la comunidad - como un barrio más agradable. Los beneficios de eficiencia pueden ir más allá de la medida del lado de la oferta de flujo de tránsito o del caudal - para mejoras en la eficiencia de la industria en el acceso a la información, el conocimiento y el control de movimientos de la flota. En cada uno de estos casos, es posible definir un "área" o "resultado" y acordar las "medidas '' por el cuales se puede monitorear el progreso.
En la etapa más detallada de la planificación de la evaluación, este tipo de tabla también puede ser usada para resumir las fuentes de los datos que se utilizan para proporcionar evidencia sobre los indicadores. (Ver Monitoreo de la Performance)
Siempre que sea posible, los indicadores deben basarse en medidas de uso común, de modo que los resultados de la evaluación se pueden comparar entre proyectos. Por ejemplo,el rendimiento de la red se puede medir a través de indicadores tales como el cambio en los tiempos de viaje en horas pico y el cambio en la variabilidad del tiempo de viaje. Si no están de acuerdo en las definiciones de los mismos a nivel nacional - o para una autoridad vial - será fácil comparar los resultados de las diferentes proyectos, destinados a la mejora del rendimiento de la red.
Los indicadores deben ser definidos en términos cuantificables. En la evaluación de los ITS, muchos de los indicadores utilizados son medidas cuantificadas. Por ejemplo, un indicador para el impacto en la seguridad es el número de víctimas mortales de accidentes de tránsito - que se puede medir a partir de los registros de los accidentes. Otro indicador importante puede ser el impacto de los usuarios en las " percepciones " de la seguridad . Esta es una medida cualitativa pero puede cuantificarse de varias maneras. Los ejemplos incluyen: pedir a los usuarios que compararen a la seguridad antes y después, usando un sistema de clasificación de 5/ 7 puntos - y midiendo la proporción de usuarios que dicen que piensan que un sistema es seguro, o midiendo la proporción de los que dicen que piensan que la seguridad ha mejorado..
Es útil revisar otros proyectos de evaluación a la hora de decidir sobre los indicadores que se utilizarán. Ellos pueden ayudar a identificar indicadores comunes que se han utilizado a nivel nacional o incluso internacional en la comparación de los resultados del proyecto. También ayudarán a informar qué indicadores son los más adecuados para medir el desempeño frente a diferentes tipos de objetivos - y las posibles fuentes de datos para cada indicador.
Una crítica de una evaluación del rendimiento del transporte en Canadá proporciona un ejemplo de algunos de los peligros implicados en la definición y el uso de indicadores. De los 23 indicadores utilizados, algunos resultaron ser adecuada y ampliamente utilizados, algunos resultaron ser ambiguos y parciales- y otros resultaron ser ilógicos. Las formas en las que se realizaron las comparaciones entre las áreas, se consideró inadecuada debido a las diferencias geográficas, demográficas y económicas (http://www.vtpi.org/per_ind.pdf).
Las directrices de evaluación son también una fuente útil de indicadores:
El Apéndice 1 de estas directrices propone indicadores de rendimiento. Los que se consideran particularmente útiles se destacan - y se identifican las sugerencias para indicadores dirigidos principalmente al sector privado y los objetivos del sector público. (Ver EU ITS Portal)
Indicators for evaluation include:
Este proyecto desarrolló indicadores dedesempeño para evaluar la eficiencia del tránsito, la seguridad del tránsito, la reducción de las emisiones, la inclusión social y el uso de la tierra. Los indicadores están dirigidos a los proyectos urbanos y se desarrollaron en consulta con 16 ciudades de toda Europa. El informe del proyecto analiza los principios trás las medidas de desempeño y el proceso de su desarrollo. Presenta un marco de evaluación y proporciona directrices para su aplicación.(http://www.eltis.org/docs/tools/Conduits_KPI_for_ITS.pdf).
La guía sobre el análisis del Transporte del Departamento de Transporte del Reino Unido incluye información detallada sobre los indicadores del scheme costs y usuario y provider impacts.
Los beneficios y costos de las bases de datos proporcionan información sobre los indicadores que se han utilizado para evaluar una amplia gama de proyectos ITS (http://www.itskrs.its.dot.gov/).
Los estudios de casos del kit de herramientas de transporte del Departamento del Reino Unido incluyen ejemplos de indicadores utilizados para evaluar los proyectos http://webarchive.nationalarchives.gov.uk/20120606085311/http://www.dft.gov.uk/itstoolkit/).
Durante el ciclo de vida de cualquier implementación ITS o un ensayo de campo - el método de evaluación más adecuado variará:
La lista de verificación RESPONSE 2 - desarrolló para la evaluación de prototipos de sistemas Avanzados de Asistencia al Conductor - es un ejemplo de una lista de control para el desarrollo de conceptos y prototipos (http://www.acea.be/images/uploads/files/20090831_Code_of_Practice_ADAS.pdf).
La simulación y el modelado son relevantes para la evaluación de proyectos. (Ver Valuación de Proyectos)
El FESTA handbook proporciona información sobre la planificación y la organización de Pruebas de Campo de Explotación (o pruebas) de los sistemas de asistencia al conductor. Muchos de los principios se aplican igualmente a otros ITS
Las guías sobre los métodos de evaluación ITS se han producido en varios países y están disponibles en Inglés:
El Banco Mundial proporciona orientación sobre los métodos de monitoreo y evaluación con datos identificadores de la utilidad de cada técnica, ventajas y desventajas, costos, las habilidades y el tiempo necesario - y fuentes de información adicional. Ver World Bank Report on Monitoring and Evaluation
El Banco Mundial también proporciona un recurso de orientación sobre cómo diseñar evaluaciones influyentes. Ver Influential Evaluations
Se usan muchas técnicas en la evaluación de una red vial. Varias de ellas también son adecuadas en la etapa de evaluación en la planificación de inversiones ITS. (Ver Valuación de Proyectos) Hay una amplia variedad de enfoques:
Los ITS a menudo son desarrollados simplemente porque ellos son obvios.
Donde haya una gran cantidad de evidencia consistente que demuestre que un tipo particular de inversión es beneficiosa, y haga que tenga sentido seguir adelante y ponerlo en práctica, en lugar de encarar estudios adicionales. El análisis multicriterio se puede utilizar para comprobar el resultado del instinto o ayudar a explicar el "sentido común" para los tomadores de decisiones.
Si un cruce de carreteras está muy congestionado, es posible deducir que las señales de tránsito que mejorarán el flujo sin llevar a cabo un ejercicio de modelado grande del tránsit. Otras implementaciones proporcionarán previsibilidad en los costos. El caso de estudio del Banco Mundial sobre ITS implementado en un Autobus de Dublin Bus es un ejemplo de que es razonable confiar en el sentido común. Se informó de los beneficios percibidos, pero no se han cuantificado, ya que no se consideró necesario hacerlo (http://www.robat.scl.net/content/ITS-Toolkit/case-studies/dublin-ireland.html).
La mejor fuente estará en los sistemas que hayan demostrado ofrecer constantemente una buena relación calidad precio. Los proyectos y kits de herramientas del Departamento de Transporte de los Estados Unidos (US DOT) y el europeo 2Decide proporcionan bases de datos en línea de costos ITS, beneficios y lecciones aprendidas a partir de proyectos ITS.
A menudo será necesaria una evaluación para sistemas muy costosos, aunque sólo sea un "Análisis de Factores Críticos'. Los nuevos proyectos ITS siempre deben ser evaluados porque no habrá evidencia para demostrar su relación calidad-precio. Los ITS que tengan diferente impacto en diferentes circunstancias también deberían ser evaluados en los diferentes contextos.
Los métodos cualitativos elevan los estándares y ofrecen la posibilidad de realizar análisis comparativos en la planificación y en la evaluación de las inversiones ITS.
Los métodos incluyen grupos focales (también conocidos como discusiones de grupo), paneles de usuarios, paneles de ciudadanos y círculos de calidad. Estos involucran discusiones estructuradas entre las partes interesadas que son arbitradas por un moderador independiente.
Estos métodos proporcionan una fuente de información para la planificación de las inversiones y la revisión de impactos e implicaciones de una manera que se tengan en cuenta los puntos de vista de todas las partes interesadas.
Consultores de transporte, empresas de investigación social y compañías de estudio de mercados.
Se necesita tener cuidado para asegurar la representación adecuada de todas las partes interesadas y que los miembros de los grupos focales y paneles sean capaces de contribuir en igualdad de condiciones. Estas técnicas se complementan con investigaciones cuantitativas y no son un sustituto de las mismas.
Estas proporcionan información estadística sobre los recorridos de usuarios de las carreteras y de los viajeros y acerca de los patrones de circulación.
Los métodos incluyen
Las encuestas de viajes proporcionan una entrada a los modelos de tránsito y son una fuente de datos de viaje para la planificación de servicios ITS y analizan los cambios en respuesta a esos servicios.
Consultores de transporte, empresas de investigación social y compañías de estudio de mercados.
Un diseño de encuestas pobres, técnicas de trabajo de campo débiles y bajas tasas de respuesta pueden afectar la precisión estadística y la fiabilidad de cualquier encuesta y hacer que los resultados sean engañosos. Los controles de calidad y la consistencia de los métodos de muestreo son especialmente importantes para los "antes" y "después" de las encuestas.
Esta es la base para la mayoría de los análisis costo - beneficio. Evalúa lo que la gente va a hacer en respuesta a los ITS.
Este es un método muy básico que observa los "costos" de los viajes antes y después de la implementación del ITS y predice cambios en el comportamiento de la gente en base a las respuestas a anteriores cambios en los costos.
Para hacer estimaciones aproximadas de la respuesta a ITS en aquellos casos donde su aplicación obedece al sentido común pero necesita un poco de ayuda cuantitativa adicional. Esto estará en el corazón de cualquier modelo de tránsito.
Economistas propios o consultores de transporte.
El costo generalizado es un concepto simple relativamente limitado en lo que el mismo describe. Los modelos de costo generalizado sólo miden los costos que se pueden calcular en términos monetarios (por ejemplo, los valores monetarios estándar de tiempo ). Los valores monetarios no están disponibles para algunas de las políticas que los ITS pueden ofrecer; varios de los objetivos de la política que los ITS proponen, mostrarán un aumento en el costo generalizado del viaje, en lugar de una disminución. Por ejemplo, el objetivo de los ITS será a menudo cambiar la variación de los tiempos de viaje en lugar de reducir el tiempo total de viaje u ofrecer otros objetivos de política tales como la reducción de emisiones.
Los modelos de utilidad buscan simplificar la presentación de lo que las personas se benefician como consecuencia de un cambio. Están estrechamente relacionados con los modelos de costos generalizados, pero están mejor diseñados para reflejar el comportamiento del usuario.
El análisis estadístico se utiliza para medir la "utilidad" o "el bien" que distintas personas reciben a partir de un cambio.
Cuando el comportamiento del usuario es importante para el resultado que el ITS se propone alcanzar, por ejemplo cuando el objetivo de un proyecto ITS es fomentar que la gente cambie el modo de viaje del coche particular al transporte público.
Consultores de transporte especializados y departamentos universitarios de estadística o economía. Este no es un trabajo para aficionados.
Un buen modelo de utilidad es una herramienta muy poderosa. La forma del modelo es fundamentalmente simple pero puede tormarse compleja. Las dudas sobre la verosimilitud de estos modelos se deben a que muchos utilizan datos de preferencia declarada para obtener valores pero en su lugar se pueden utilizar datos históricos.
Miden si los usuarios perciben un impacto que los beneficie.
Encuestas previas y posteriores miden la percepción de los factores que el ITS tiene como objetivo abordar.
Cuando los proyectos ITS pretenden mejorar el confort del usuario o las instalaciones comunitarias.
Compañías de investigación de mercado, empresas de investigación social y consultores de transporte,
Muchas encuestas utilizan 'escalas Likert' para preguntar si las cosas son, por ejemplo:
Esto mide cómo va a cambiar el comportamiento en respuesta a los ITS. El beneficio de la "preferencia declarada 'es que esta no utiliza comportamientos anteriores como guía. Otros modelos de transporte son de "preferencias reveladas ', utilizando las respuestas frente a anteriores cambios para obtener los valores de las respuestas a los futuros cambios.
Proporcionan una evaluación rigurosa del valor de la utilidad de diferentes elementos de un producto o servicio, basada en el intercambio con el encuestado durante una entrevista altamente estructurada.
En caso de un ITS nuevo o cuando es nueva la política de transporte a la que los ITS da soporte.
Consultores de transporte y algunas compañías de estudio de mercados.
Los riesgos son que los encuestados no van a tomar las mismas decisiones en la práctica que las que declararon en la entrevista. El encuestado puede no ver los obstáculos para utilizar nuevos ITS. La investigación no puede describir las desventajas de un nuevo producto, sólo sus ventajas. Algunos de los encuestados pueden no ser capaces de predecir lo que ellos van a hacer; por ejemplo en respuesta a algunos desarrollos de las tecnologías de la información y las comunicaciones algunas personas han instalado sus hogares lejos del trabajo, pero ¿habrían previsto esto en una encuesta?. La preocupación es que el análisis conjunto derivará en respuestas incorrectas mientras que la naturaleza de las respuestas (un valor o número) será preciso, conduciendo a decisiones de inversión equivocadas.
Se puede utilizar para medir los cambios en factores tales como el tránsito y los tiempos de viaje.
Los ITS generan, recolectan y transmiten datos. Estos datos pueden mostrar el cambio de los resultados esperados a lo largo del tiempo. La línea base de los datos "previos" es necesaria para su comparación con los datos internos obtenidos después de la implementación.
Se deben utilizar en todos los casos dónde sea técnicamente factible.
Diseñar la medición de los resultados dentro del ITS.
El ITS sólo medirá los resultados cuantitativos. Los cambios en factores tales como la confianza de los usuarios no pueden ser medidos, aunque pueden estar implícitos. La clientela del transporte público por lo general no puede ser medida por los ITS a menos que la aplicación sea un sistema de billetaje o de cobro electrónico.