Antes de comenzar a planificar una evaluación, las razones para hacerla y los usos que se harán de sus resultados, estos deberían estar claramente definidos. Comprendiendo cómo los usuarios de dichos resultados juzgarán el éxito o el fracaso de un proyecto, es un primer paso importante en la planificación de una evaluación. No es suficiente para llevar a cabo una evaluación sólo porque esta la requiera una organización. Una evaluación que no está adecuadamente planificada no puede medir lo que se considera importante, e incluso puede fallar para medir los cambios producidos por los ITS.
En la evaluación hay aspectos políticos , dada la diversidad de los usuarios y sus necesidades. Los ITS pueden ser adaptados para servir ampliamente a diferentes objetivos políticos. Los criterios clave para los tomadores de decisiones son por lo general que un proyecto de ITS debe ser, y debe ser visto :
Una evaluación del proyecto puede informar de todos estos aspectos. Si los ITS pueden provocar un cambio que sirva a las necesidades de los viajeros, los residentes y los operadores de redes dentro de un presupuesto asequible, entonces el ITS servirá al público y a los tomadores de decisiones por igual. Por ejemplo, en verificar si un proyecto ITS es:
Los intereses de los diversos grupos de interés involucrados en los ITS se deben considerar antes de iniciar una evaluación:
Cada uno de estos factores debe informar acerca del diseño de la evaluación. Una evaluación que tome en cuenta e involucre a los actores en el proceso, tendrá muchas más posibilidades de producir resultados que sean aceptables para las partes interesadas. Esto puede significar dedicar un esfuerzo para informar a los grupos de interés (incluidos los políticos) acerca del proyecto- y las razones para llevar a cabo una evaluación independiente a fondo, en la que la contribución de los participantes será clave.
Al mismo tiempo, es importante recordar que uno de los principios clave en la producción de una evaluación creíble, es que esta debe ser independiente. En otras palabras, los resultados están en equilibrio, no sesgadas a favor de los intereses de cualquier grupo (s) de las partes interesadas.
Para garantizar una evaluación exitosa, es importante llegar a un acuerdo, en una etapa temprana, role sy responsabilidades claros, entre los diferentes actores involucrados en la evaluación (ya sea como usuarios de los resultados o como colaboradores del estudio).
Las cuestiones éticas deben tenerse en cuenta cuando se planifica cómo llevar a cabo una evaluación y los métodos que se utilizarán. La evaluación debe ser diseñada de manera tal que no exista riesgo de, o cualquier otro efecto adverso sobre los usuarios, y las partes interesadas. Quienes llevan a cabo estudios de evaluación tienen la responsabilidad de asegurar que los participantes (por ejemplo, usuarios o empleados) sean informados del prpósito de las encuestas (u otros medios de recopilación de datos) - y cómo se utilizarán los datos. Los procesos deben ser puestos en marcha para garantizar el anonimato y la seguridad de los datos - incluyendo los datos que se recaban automáticamente (por ejemplo, de técnicas de reconocimiento automático de matrículas o cámaras CCTV). Serán requeridas algunas organizaciones que llevan a cabo las evaluaciones, como parte de su gestión de calidad, para presentar sus planes y métodos ante un comité de ética para su aprobación, antes de iniciar la evaluación.
Existe una gran variedad de técnicas para la medición de los impactos. El esfuerzo puesto en una evaluación dependerá de la escala, la ubicación y los objetivos del proyecto ITS. Una evaluación a gran escala, sobre una base científica, es apropiada para un ITS innovador donde haya poca o ninguna evidencia publicada sobre sus costos, beneficios e impactos. Un proyecto ITS que haya sido bien probado puede justificar una evaluación más simple o menor escala. La escala debe ser acordada por las partes interesadas que participan desde el principio. Las consideraciones incluyen los:
Durante el ciclo de vida de una aplicación de ITS - desde el concepto hasta pilotos iniciales, demostraciones de mayor escala y el despliegue a gran escala - el alcance y la cobertura de la evaluación necesari , se reduce. Esto se debe a la implementación a gran escala que sólo se produce después de una cantidad considerable de evaluaciones que han sido llevadas a cabo ya sea a nivel de prototipos, pilotos y demostraciones - proporcionando un buen nivel de comprensión de la aplicación de ITS.El programa europeo EasyWay ilustra esto con un gráfico que indica cómo el nivel de trabajo de la evaluación cambia entre las etapas de desarrollo de los ITS.
Level of evaluation required at different stages of application development. Source: Tarry S, Turvey S and Pyne M 2012. EasyWay Project Evaluation Guidelines. Version 4.0, p 8. EasyWay
Programa EasyWay y Projectos (2007-2020)
EasyWay (2007-2020) ies un programa importante de la Unión Europea (UE) centrado en a implementación de Sistemas de Transporte Inteligente (ITS) en las principales redes de carreteras de toda Europa. Se trata de 30 países europeos, que reúnen a las autoridades de tránsito de las carreteras - y sus principales socios tecnológicos ITS tales como la industria automotriz, de telecomunicaciones y los operadores de servicios de viajes y las partes interesadas de transporte público. Se ocupa de los objetivos del transporte de la UE: mejorar la seguridad, reducir la congestión ylos impactos negativos del medioambiente, y promover la continuidad de los servicios a través de la implementación coordinada de información en tiempo real, la gestión del tránsito y los servicios de transporte y logística (http://www.easyway-its.eu/)
Al planificar una evaluación, es importante tener en cuenta los siguientes aspectos:
En la preparación de un plan de evaluación (Ver Plan de Evaluación), es útil elaborar una lista detallada donde se específique que es lo especíco para el proyecto que se está evaluando. Esto asegura que los pertinentes costos, beneficios e impactos se identifiquen y evalúen. (Ver Mejora de la Performance)
Varias cajas de herramientas están disponibles las que proporcionan una orientación y ejemplos para los operadores y otras personas de la red de carreteras, dando apoyo a las actividades en las diferentes etapas del ciclo de evaluación - incluyendo:
Los Países Bajos evaluaron y se resumieron los principios claves de las principales técnicas utilizadas en la evaluación de los ITS en 2003 - en relación con sus implementaciones en las rutas interurbanas (http://www.ltrc.lsu.edu/TRB_82/TRB2003-000237.pdf).
La caja de herramientas del Departamento de Transporte del Reino Unido se ha diseñado para que sean más fáciles de concebir y producir los ITS. Incluye una guía sobre cómo las autoridades locales pueden beneficiarse de los resultados de evaluación.
Una visión general del conjunto de herramientas está contenida en la: Unidad de Asesoría de Tránsito , Understanding the Costs and Benefits of ITS: A Toolkit Approach, folleto ITS 1-06, Reino Unido Departamento de Transportes, 2006.
El conjunto de herramientas está disponible en: http://webarchive.nationalarchives.gov.uk/20120606085311/http://www.dft.gov.uk/itstoolkit/feeding-back-results.htm
La guías de Finlandia se basan en un marco nacional para la evaluación de proyectos - que están publicadas en Inglés. Abarcan tanto la evaluación del proyecto pre- implementación) como la evaluación de proyectos (post-implementación) - e incluyen listas de comprobación de posibles impactos, listas de indicadores y métodos de medición, y listas de verificación para la evaluación de diferentes aspectos de los proyectos. Cuatro ejemplos son mostrados respecto a cómo las directrices se han aplicado a proyectos específicos. ( http://virtual.vtt.fi/virtual/proj6/fits/julkaisut/hanke2/FITS_4_2002_Guidelines_for_evaluation.pdf)
E manual EasyWay está dirigido a los operadores de redes de carreteras de Europa y a otras partes interesadas en la evaluación ITS para las carreteras interurbanas en Europa. Se discute el ciclo de evaluación e incluye ejemplos de mecanismos de retroalimentación que muestran cómo la evaluación de proyectos ITS es utilizada por los tomadores de decisiones. (Ver EU ITS Portal)
Estas directrices están diseñadas para pilotos y demostraciones de nuevosproyectos de transporte en Europa. Proporcionan orientación a través de todas las etapas del ciclo de evaluación. (http://www.transport-research.info/Upload/Documents/200310/maestro.pdf).
La caja de herramientas ITS 2DECIDE ITSes una herramienta de apoyo a las decisiones en línea para ayudar a las organizaciones de transporte, a los operadores de redes y a las autoridades, en la selección y laimplementación de los ITS. Los usuarios pueden consultar la base de datos para soluciones relevantes ITS para un contexto, un problema, una meta específica o servicio ITS. Reciben información basada en los servicios relevantes, con indicación sobre los impactos que se pueden esperar en un contexto específico. Incluye una base de datos de costos, estudios de casos e informes de evaluación. Para acceder a la caja de herramientas - (http://www.its-toolkit.eu/2decide//node/44) primero usted debe establecer una cuenta (gratuita).
Este manual sobre la planificación y organización de Pruebas Operativas de Campo (FOT) de las tecnologías ITS, incluye una orientación sobre el diseño experimental,el análisis de datos y el modelado de impactos socioeconómicos, y de cómo llevar a cabo una evaluación. Aunque está dirigido principalmente a los ensayos de sistemas de asistencia al conductor, los principios se aplican igualmente a otros ITS. ( http://www.transport-research.info/Upload/Documents/201210/20121024_103630_69842_FESTA_Handbook_V4.pdf).
FESTA, evaluación del impacto socioeconómico de los sistemas de asistencia al conductor (Field Operational Tests Networking and Methodology Promotion) - Europa
Esto complementa el Manual FESTA y proporciona asesoramiento sobre la metodología para la evaluación socioeconómica de las pruebas operativas de campo (FOTs) de los ITS. Cubre el marco de la evaluación,de las partes interesadas, el alcance de la evaluación, los métodos de análisis, el análisis financiero y las necesidades de datos. Aunque está dirigido principalmente a los ensayos de los sistemas de asistencia al conductor, los principios se aplican igualmente a otros ITS.
La base de conocimientos ITS del Depaertamento de Transporte de los Estados Unidos es un sitio webque provee información sobre los beneficios , costos,niveles de implementación y lecciones aprendidas – a partir de las implemntaciones y operaciones de los ITS. La información ha sido recolectada a partir de resúmenes de ejemplos de la vida real comenzando a partir de los finales de los años 90.La base de datos contiene información sobre las decisiones tomadas en las inversiones ITS rastreando la eficacia de los sistemas que han sido implementados, a lo largo del tiempo.los ususrios pueden buscar en la base de datos, filtrando por tipo de proyecto y ciudad o estado de los EE.UU.en las cuales ellos han sido evaluados (http://www.itskrs.its.dot.gov/).
El Banco Mundial proporciona una breve orientación sobre los criterios de rendimiento pre-implementación, y el monitoreo la evaluación post-implementación. Una serie de estudios de casos ofrecen ejemplos de implementaciones urbanas ITS. Se describe el grado en el que han sido evaluadas. Los estudios de caso cubren tanto las economías en desarrollo y como las desarrolladas. Ellos muestran que algunas organizaciones de transporte llevan a cabo una evaluación exhaustiva de ITS - lo lo cual dificulta la obtención de apoyo para los proyectos ITS futuros (http://www.robat.scl.net/content/ITS-Toolkit/guidance/evaluation.html).
El Banco Mundial ha elaborado una nota técnica "Evaluación Independiente: Principios, Directrices y Buenas Prácticas". Está dirigido a programas de asociación globales y regionales que lleven a cabo una evaluación independiente. Se proporciona orientación sobre los principios y la finalidad de la evaluación independiente,su conducción y la forma de evaluación, el desarrollo de indicadores de rendimiento - y cuestiones clave de la evaluación. Aunque no está diseñado específicamente para programas ITS, los principios se aplican a cualquier proyecto de evaluación (http://siteresources.worldbank.org/INTDGF/Resources/Evaluation&LearningNote.pdf).
ha producido materiales internacionales de capacitación basados en la experiencia internacional de Sistemas Inteligentes de Transporte en la forma de presentaciones "Evaluación 101 ' presentaciones de expertos en evaluación ITS. (https://sites.google.com/site/ibecits/ibec-training-materials-in-english-and-spanish).
El Instituto Victoria de Política de Transporte ha publicado muchos documentos sobre diferentes aspectos de la evaluación del transporte. Los temas incluyen: análisis de costos y beneficios, evaluación de transporte multimodal, la evaluación de los impactos sobre la seguridad de las estrategias de gestión de la movilidad, la evaluación de estrategias de ahorro de energía y reducción de las emisiones, el desarrollo de indicadores para objetivos específicos y la evaluación de la calidad de la investigación. También proporciona una crítica de un mal estudio de evaluación (http://www.vtpi.org/documents/evaluation.php).
Hay aspectos prácticos que deben tenerse en cuenta antes de iniciar una evaluación. Además de la dotación económica para la implementación del proyecto ITS, un presupuesto debe ser asignado a la evaluación - lo cual implicará el trabajo antes y después de la implementación. En algunos casos esto se considerará como parte de la implementación. En otros casos, el presupuesto para la evaluación será tratada por separado. En cualquier caso, el presupuesto para la evaluación representa una inversión en la planificación de proyectos futuros. Es importante tener en cuenta:
La evaluación debe centrarse en medir el aspecto clave que el proyecto tiene la intención de cambiar - no para recoger algunas estadísticas generales o que "parezcan buenas" pero que pueden no tener ninguna relación con los ITS. Por ejemplo, una evaluación de un servicio de información de tiempo de viaje en tiempo real que simplemente pregunta a los usuarios si el ITS ha tenido un impacto en la calidad de sus viajes, sólo proporcionará una indicación de la satisfacción del usuario. A menos que los flujos de tránsito y los tiempos de viaje se midan en la ruta principal o en las rutas alternativas cuando se producen incidentes - la evaluación no será capaz de determinar el grado en que los ITS reducen el impacto de los incidentes mediante la difusión de tránsito en rutas alternativas. Tampoco será capaz de determinar cualquier efecto perjudicial de otros caminos, causados por el tránsito desviado.
Siempre que sea posible, los ITS se deben programar para proporcionar datos que pueden ser utilizados para monitorear sus impactos. Por ejemplo, la información en tiempo real en las paradas de autobús proporciona información sobre intervalos entre buses. El almacenamiento de estos datos da un registro de los intervalos entre los servicios de autobús, lo que, para los pasajeros, es un aspecto clave de la fiabilidad. En el caso de estudio sobre la demanda de transporte receptivo en el condado Prince William EE.UU., se ha utilizado el servicio de datos para supervisar el rendimiento de forma automática, lo que reduce el coste de la recogida y el análisis de los datos. (Ver ITS for Demand Responsive Transport Operation, Prince William County USA) .
Grupos de interés específicos pueden tener requisitos particulares de un proyecto - el cual influye en los métodos de evaluación, el presupuesto, el tiempo y la escala de evaluación. Es importante entender estos requisitos y limitaciones son de una etapa temprana en la planificación de la evaluación para determinar en qué medida se cumplen. La evaluación debe ser diseñada de modo que sea posible identificar cómo se distribuyen los beneficios y costos de los ITS entre los diferentes grupos de interés - quién gana y quién pierde.
Por ejemplo, así como la evaluación de los impactos de ITS sobre los que viajan en transporte público (los usuarios finales '') , la evaluación debería tener en cuenta las exigencias de los operadores y otro personal de las organizaciones que participan en la implementación de los ITS. Estos impactos pueden ser evaluados mediante entrevistas al personal - y en algunos casos mediante el uso de datos sobre los patrones de trabajo y las tareas completadas.
Una evaluación de los impactos del teletrabajo en los patrones de viaje en Hampshire no sólo evaluó los impactos en los trabajadores afectados, sino que también incluyó una encuesta a gerentes y colegas para evaluar el impacto en los patrones de trabajo y la productividad de las organizaciones para las que trabajan los empleados. El Laboratorio de Investigación del Transporte, Grupo de Investigación de Transporte (Universidad de Southampton) y la Universidad de Portsmouth. 1999. Monitoring and evaluation of a teleworking trial in Hampshire . TRL Informe 414. Transport Research Laboratory, Crowthorne.
Una evaluación de las estrategias de gestión del tránsito transfronterizo en los Países Bajos incluyó entrevistas con los empleados las que identificaron formas en las que los procesos de implementación de las estrategias podrían simplificarse. Taale, H. 2003. Evaluation of Intelligent Transport Systems in The Netherlands. . Reunión Anual Transportation Research Board, 2003. Washington DC.
La evaluación es un trabajo especializado. Algunos operadores de red de carreteras, las autoridades de tránsito y otras organizaciones encargadas de la implemataxión de los ITS tienen capacidades limitadas dentro de sus organizaciones para monitorear y evaluar los ITS. Sin embargo la evaluación no siempre es complicada y no siempre tiene que ser llevada a cabo por especialistas. Si hay una necesidad de recoger datos, esto se puede hacer domesticamente, debido a que es creíble cuando se ha utilizado un enfoque objetivo y con buenos métodos.
Para la mayoría de las evaluaciones es una buena idea utilizar especialistas la primera vez que esta se lleva a cabo - por lo que el personal interno puede aprender cómo esta se debe hacer. La capacitación formal también se debe dar para mejorar la experiencia del aprendizaje. También vale la pena emplear especialistas de vez en cuando después que los métodos se hayan actualizado incorporándolos al personal de la organización. En algunas circunstancias, será importante que la evaluación se lleve a cabo a través de una organización independiente - para asegurarse de que los resultados son creíbles (por ejemplo, en informar a los organismos de financiación).
La viabilidad financiera es a menudo un problema. Sea cual fuere el método de evaluación utilizado, puede haber un presupuesto insuficiente para responder a todas las preguntas relacionadas con los ITS. Entonces se hace necesario decidir qué aspectos de la evaluación tienen la prioridad más alta. Un Análisis de los Factores Críticos puede ser útil en esta etapa. Se ve en los diferentes objetivos que se espera que e proyecto cumpla - y los indicadores clave que se necesitan para medir el grado en que estos se han alcanzado. Esto se ilustra en la figura siguiente .
Plantilla para el Análisis de los factores críticos
La evaluación incluye la gestión de la planificación y el monitoreo de los trabajos de evaluación para asegurar su calidad técnica, rentabilidad y oportunidad. Los elementos claves en la gestión de una evaluación exitosa son:
La información es un elemento clave para los ITS. Las aplicaciones ITS recogen, combinan, almacenan y comunican datos acerca de la red de transporte, sus usuarios - y los actores involucrados en la prestación de servicios. Además de los datos de funcionamiento, supervisión y evaluación también requieren de la recopilación de datos sobre los individuos y las organizaciones, sus puntos de vista y las respuestas a los ITS. Esto puede plantear preocupaciones sobre la privacidad. ( Ver Legal and Regulatory Issues) )
Las personas involucradas en la planificación, la conducción y la presentación de informes sobre las actividades de evaluación y monitoreo tienen que garantizar que la protección de datos y la privacidad sean consideradas y abordadas - y que cualquier requerimiento sobre la legislación de la proteción de datos sea satisfecho. El ePrimer del Departamento de Transporte de Estados Unidos habla en profundidad sobre la protección de datos para los ITS y establece estrategias para mitigar los problemas de privacidad - que se aplican al monitoreo y ala evaluación, así como a los datos operativos:
Los organismos de financiación externos son propensos a tener requisitos específicos que deben se cumplidos por los trabajos de evaluación, además de seguir las mejores prácticas en el diseño y la realización de evaluaciones. Estos pueden referirse, por ejemplo, a:
los resultados de la evaluación de otros sistemas son útiles en la planificación de una evaluación. Ellos pueden:
Se necesita tener cuidado al considerar los métodos utilizados y los resultados obtenidos en otros lugares. El número de casos de estudio de evaluaciones ITS en las economías en desarrollo es limitado y la tentación será mirar los resultados de las economías desarrolladas, que son más numerosos y están fácilmente disponibles - pero puede no ser adecuados para el contexto. Las reacciones de los usuarios y los contextos de valoración de los beneficios pueden variar ampliamente entre los diferentes países y regiones con diferentes perfiles sociales y económicos. La cuestión clave que debe abordarse es si el proyecto previsto es similar a los casos de estudio en términos de su contexto, sus objetivos y su base de usuarios?
La evaluación ITS debe estar bien pensada y ajustada si su objetivo es que esta sea útil. La metodología debe tener en cuenta: los objetivos del proyecto ITS, las necesidades del usuario y las expectativas de los interesados. Se debe hacer uso de medidas cuantificables y cualitativas que responden a las necesidades de los tomadores de decisiones.
A nivel 'visión general', la evaluación debe identificar tanto los impactos que se planificaron como los impactos no buscados - estableciendo cualitativamente la naturaleza de los cambios que se han producido y sus posibles causas. En un nivel más detallado, la evaluación debería cuantificar los cambios después de implementado el proyecto, evaluar la magnitud de esos cambios y el nivel de confianza en ellos - e identificar los mecanismos que conducen a cambios significativos. (Ver Reglas y Técnicas)
Se necesita un enfoque sistemático para la etapa de monitoreo del ciclo de evaluación para asegurar que los diferentes tipos de impacto (beneficios, desventajas, y costos) sean identificados y medidos. El desarrollo de un "Plan de Evaluación" es clave para ello. Se trata de un documento técnico - independiente a un "Plan de Gestión de la Evaluación", que cubre los recursos, el tiempo, la coordinación con otras actividades, y la gestión de datos (Ver Métodos de Evaluación)
El plan de evaluación debe estar redactado y acordado antes de que el proyecto sea implementado, por lo que los datos necesarios para medir la situación antes de la implementación se pueden definir y recolectar por adelantado. El marco de tiempo disponible para la recogida de datos "antes" , también pueden influir en el tiempo de recolección de algunos de los datos posteriores "después" necesarios a los efectos comparativos..
Datos útiles de entrada que pueden provenir de los planes de evaluación utilizados en otros estudios u otras directrices - u otras guías- en la determinación de los elementos que necesitan ser abordados.(Ver Métodos de Evaluación)
Un plan de evaluación debe estar bien especificado:
Centrarse en la identificación de los objetivos de los objetivos de política que lun proyecto ITS pretende abordar y evaluar la medida en que estecontribuye a alcanzar dichos objetivos.
Definir el "caso base" o "antes" de la implementación ITS - para permitir comparaciones con la situación "después" de la implementación.
Definir el área a ser cubierta por la evaluación. Un mapa es útil.
Definir el momento y la duración de la evaluación - tanto antes como después de la implementación. Asegurar que el momento en que se realiza minimiza los efectos externos (como los efectos estacionales). Asegurar que la duración de la evaluación sea suficiente para que todos los impactos sean identificados, no sólo los efectos iniciales a medida que los usuarios se están adaptando a la implementación del ITS.
La lista de los impactos esperados, utilizando la información de otros proyectos, las investigaciones preliminares y la evaluación del proyecto. En algunos casos puede ser posible enumerar los impactos esperados en términos cuantitativos - pero si no hay evidencia de los impactos de proyectos anteriores, será necesaria una descripción cualitativa de los impactos esperados. Los kits de herramientas de evaluación y las bases de datos de resultados de la evaluación son fuentes útiles. (Ver Mejora de la Performance)
Preparar una tabla que enumere los objetivos, los indicadores para evaluarlos y las fuentes de datos para los indicadores. (Ver Métodos de Evaluación)
Definir los métodos de evaluación que se utilizarán. Considerar el uso de más de un enfoque para proporcionar una visión más "redondeada" de los impactos y para confirmar las conclusiones. (Ver Métodos de Evaluación) En el caso de una evaluación compleja, dibujar un 'diagrama de flujo' que muestre cómo todas las diferentes fuentes de información encajan entre sí para informar los objetivos de la evaluación.
Tener en cuenta los principios de diseño experimental que se utilizarán. Por ejemplo comparar el rendimiento de un paquete de medidas ITS con un "control" que sea lo más parecido posible, pero no tenga un elemento ITS. Es deseable hacer comparaciones utilizando más de una ubicación para tomar en cuenta otras variables.
Asegúrese de que el diseño capturará los efectos secundarios no deseados las medidas ITS, así como los impactos esperados. Revisar los resultados de otros estudios para mejorar el diseño.
Definir los detalles de los datos que se obtendrán - antes y después de la implementación - para informar cada uno de los indicadores. Incluir, para cada indicador, información sobre el tamaño de las muestras, la certeza estadística, los plazos y los sitios de ubicación.
Examinar la manera en la que factores externos pueden influir en la evaluación y planificar la evaluación de forma de excluirlos. Por ejemplo, los cambios en la red de transporte de una zona vecina podrían tener efectos de reacción en cadena en la zona en la que los ITS han de ser implementados. Los grandes cambios de escala, tales como el crecimiento en la propiedad del vehículos o una desaceleración de la economía influirán en la demanda de transporte y podrían 'confundir' la evaluación.
Enumerar los criterios de rendimiento que pueden utilizarse para valorar el monitoreo y la evaluación. Estos pueden ser incluidos en el contrato de suministro del servicio de monitoreo y evaluación.
Los siguientes principios clave son útiles para seguir la presentación de los resultados del monitoreo y la evaluación
Considerar la audiencia para los resultados. Informes separados pueden ser útiles para diferentes grupos de interés. Los diseñadores de políticas pueden requerir una visión general de los resultados y un resumen de las consecuencias. Los profesionales pueden beneficiarse de un informe técnico más detallado. Puede ser apropiado desarrollar un artículo prospecto de información, una página web o de noticias para resumir algunos de los principales impactos de los ITS para el público en general
Asegúrar que los resultados se presentan de una manera transparente, fácil de entender y fácil de comparar con otros estudios. Incluir detalles de la certeza estadística en los resultados cuantitativos - siempre que sea pertinente. Proporcionar información contextual sobre el entorno del proyecto (tal vez incluir referencias a otras fuentes de información contextuales adicionales) para ayudar a los usuarios a transferir los resultados a otros entornos.
Incluir los impactos tanto positivos como negativos para proporcionar un informe equilibrado. Garantizar tanto, la notificación de los impactos cualitativos como la de los cuantitativos - y evitar dar la impresión de que en indicadores se coloca mas de un valor, para que puedan ser fácilmente cuantificados. Por ejemplo, algunos impactos pueden ser convertidos en valores monetarios y combinarse con otros para proporcionar una relación global de los costos sobre los beneficios. Esto no será posible para todos los indicadores - pero los que no se puedan medir de esta forma también deben ser informados. Marcos tales como una " hoja de balance de planificación" y un "análisis multicriterio ' pueden ser utilizados para resumir los resultados.
Hacer que los resultados estén ampliamente disponibles para que los tomadores de decisiones y profesionales de otros lugares pueden aprender de ellos. Esto ayudará a construir una base de conocimientos para la evaluación de los ITS y ayudar a reducir el tiempo y el esfuerzo en la planificación, implementación y evaluación de otros proyectos.
Los resultados pueden ser publicados a través de revistas, presentaciones en conferencias, seminarios web, o mediante la presentación de informes en sitios web que publican estudios de casos. Plataformas potenciales incluyen el:
Los siguientes temas son útiles para cubrir en cualquier informe técnico de los resultados de la evaluación (que también pueden incluir información adicional como apéndices:
Fuentes de orientación sobre planificación de la evaluación y la presentación de informes.
Hay varias fuentes de orientación sobre la elaboración de planes de evaluación y la notificación de los resultados:
Los Indicadores para medir el éxito de un proyecto de ITS están directamente vinculados a los objetivos que se pretenden obtener. Los ITS, como cualquier otra inversión, deben contribuir a la solución de un problema o a la entrega de una visión. La medida del éxito es hasta qué punto el problema se resuelve o la visión es entregada dentro del presupuesto disponible. Es importante definir indicadores que pueden utilizarse para medir si el proyecto de ITS ha cumplido sus objetivos
Template para el análisis de los impactos críticos
La plantilla anterior para el Análisis de los Factores Críticos muestra cómo las medidas (o indicadores) están vinculados a objetivos. El mismo enfoque se puede utilizar para establecer indicadores para evaluar el grado en el que se cumplen los objetivos. Esto proporciona una forma sistemática de expresar los resultados que se buscan y los resultados o medidas visibles esperadas - si el ITS tiene el efecto deseado. Estos resultados no estarán necesariamente por completo dentro del sector público, como el ejemplo anterior - de medidas de eficiencia, muestra. Una evaluación puede incluir indicadores que miden el grado en que se cumplen los objetivos del sector privado, así como el grado en que se cumplen los objetivos del sector público.
Este enfoque se puede aplicar a toda la gama de objetivos para los ITS. Además de los ilustrados anteriormente, las mejoras de seguridad podrían incluir beneficios - tales como, la percepción de la seguridad personal. Los beneficios ambientales a menudo incluyen la reducción de ruido y pueden incluir beneficios para la comunidad - como un barrio más agradable. Los beneficios de eficiencia pueden ir más allá de la medida del lado de la oferta de flujo de tránsito o del caudal - para mejoras en la eficiencia de la industria en el acceso a la información, el conocimiento y el control de movimientos de la flota. En cada uno de estos casos, es posible definir un "área" o "resultado" y acordar las "medidas '' por el cuales se puede monitorear el progreso.
En la etapa más detallada de la planificación de la evaluación, este tipo de tabla también puede ser usada para resumir las fuentes de los datos que se utilizan para proporcionar evidencia sobre los indicadores. (Ver Monitoreo de la Performance)
Siempre que sea posible, los indicadores deben basarse en medidas de uso común, de modo que los resultados de la evaluación se pueden comparar entre proyectos. Por ejemplo,el rendimiento de la red se puede medir a través de indicadores tales como el cambio en los tiempos de viaje en horas pico y el cambio en la variabilidad del tiempo de viaje. Si no están de acuerdo en las definiciones de los mismos a nivel nacional - o para una autoridad vial - será fácil comparar los resultados de las diferentes proyectos, destinados a la mejora del rendimiento de la red.
Los indicadores deben ser definidos en términos cuantificables. En la evaluación de los ITS, muchos de los indicadores utilizados son medidas cuantificadas. Por ejemplo, un indicador para el impacto en la seguridad es el número de víctimas mortales de accidentes de tránsito - que se puede medir a partir de los registros de los accidentes. Otro indicador importante puede ser el impacto de los usuarios en las " percepciones " de la seguridad . Esta es una medida cualitativa pero puede cuantificarse de varias maneras. Los ejemplos incluyen: pedir a los usuarios que compararen a la seguridad antes y después, usando un sistema de clasificación de 5/ 7 puntos - y midiendo la proporción de usuarios que dicen que piensan que un sistema es seguro, o midiendo la proporción de los que dicen que piensan que la seguridad ha mejorado..
Es útil revisar otros proyectos de evaluación a la hora de decidir sobre los indicadores que se utilizarán. Ellos pueden ayudar a identificar indicadores comunes que se han utilizado a nivel nacional o incluso internacional en la comparación de los resultados del proyecto. También ayudarán a informar qué indicadores son los más adecuados para medir el desempeño frente a diferentes tipos de objetivos - y las posibles fuentes de datos para cada indicador.
Una crítica de una evaluación del rendimiento del transporte en Canadá proporciona un ejemplo de algunos de los peligros implicados en la definición y el uso de indicadores. De los 23 indicadores utilizados, algunos resultaron ser adecuada y ampliamente utilizados, algunos resultaron ser ambiguos y parciales- y otros resultaron ser ilógicos. Las formas en las que se realizaron las comparaciones entre las áreas, se consideró inadecuada debido a las diferencias geográficas, demográficas y económicas (http://www.vtpi.org/per_ind.pdf).
Las directrices de evaluación son también una fuente útil de indicadores:
El Apéndice 1 de estas directrices propone indicadores de rendimiento. Los que se consideran particularmente útiles se destacan - y se identifican las sugerencias para indicadores dirigidos principalmente al sector privado y los objetivos del sector público. (Ver EU ITS Portal)
Indicators for evaluation include:
Este proyecto desarrolló indicadores dedesempeño para evaluar la eficiencia del tránsito, la seguridad del tránsito, la reducción de las emisiones, la inclusión social y el uso de la tierra. Los indicadores están dirigidos a los proyectos urbanos y se desarrollaron en consulta con 16 ciudades de toda Europa. El informe del proyecto analiza los principios trás las medidas de desempeño y el proceso de su desarrollo. Presenta un marco de evaluación y proporciona directrices para su aplicación.(http://www.eltis.org/docs/tools/Conduits_KPI_for_ITS.pdf).
La guía sobre el análisis del Transporte del Departamento de Transporte del Reino Unido incluye información detallada sobre los indicadores del scheme costs y usuario y provider impacts.
Los beneficios y costos de las bases de datos proporcionan información sobre los indicadores que se han utilizado para evaluar una amplia gama de proyectos ITS (http://www.itskrs.its.dot.gov/).
Los estudios de casos del kit de herramientas de transporte del Departamento del Reino Unido incluyen ejemplos de indicadores utilizados para evaluar los proyectos http://webarchive.nationalarchives.gov.uk/20120606085311/http://www.dft.gov.uk/itstoolkit/).
Durante el ciclo de vida de cualquier implementación ITS o un ensayo de campo - el método de evaluación más adecuado variará:
La lista de verificación RESPONSE 2 - desarrolló para la evaluación de prototipos de sistemas Avanzados de Asistencia al Conductor - es un ejemplo de una lista de control para el desarrollo de conceptos y prototipos (http://www.acea.be/images/uploads/files/20090831_Code_of_Practice_ADAS.pdf).
La simulación y el modelado son relevantes para la evaluación de proyectos. (Ver Valuación de Proyectos)
El FESTA handbook proporciona información sobre la planificación y la organización de Pruebas de Campo de Explotación (o pruebas) de los sistemas de asistencia al conductor. Muchos de los principios se aplican igualmente a otros ITS
Las guías sobre los métodos de evaluación ITS se han producido en varios países y están disponibles en Inglés:
El Banco Mundial proporciona orientación sobre los métodos de monitoreo y evaluación con datos identificadores de la utilidad de cada técnica, ventajas y desventajas, costos, las habilidades y el tiempo necesario - y fuentes de información adicional. Ver World Bank Report on Monitoring and Evaluation
El Banco Mundial también proporciona un recurso de orientación sobre cómo diseñar evaluaciones influyentes. Ver Influential Evaluations
Se usan muchas técnicas en la evaluación de una red vial. Varias de ellas también son adecuadas en la etapa de evaluación en la planificación de inversiones ITS. (Ver Valuación de Proyectos) Hay una amplia variedad de enfoques:
Los ITS a menudo son desarrollados simplemente porque ellos son obvios.
Donde haya una gran cantidad de evidencia consistente que demuestre que un tipo particular de inversión es beneficiosa, y haga que tenga sentido seguir adelante y ponerlo en práctica, en lugar de encarar estudios adicionales. El análisis multicriterio se puede utilizar para comprobar el resultado del instinto o ayudar a explicar el "sentido común" para los tomadores de decisiones.
Si un cruce de carreteras está muy congestionado, es posible deducir que las señales de tránsito que mejorarán el flujo sin llevar a cabo un ejercicio de modelado grande del tránsit. Otras implementaciones proporcionarán previsibilidad en los costos. El caso de estudio del Banco Mundial sobre ITS implementado en un Autobus de Dublin Bus es un ejemplo de que es razonable confiar en el sentido común. Se informó de los beneficios percibidos, pero no se han cuantificado, ya que no se consideró necesario hacerlo (http://www.robat.scl.net/content/ITS-Toolkit/case-studies/dublin-ireland.html).
La mejor fuente estará en los sistemas que hayan demostrado ofrecer constantemente una buena relación calidad precio. Los proyectos y kits de herramientas del Departamento de Transporte de los Estados Unidos (US DOT) y el europeo 2Decide proporcionan bases de datos en línea de costos ITS, beneficios y lecciones aprendidas a partir de proyectos ITS.
A menudo será necesaria una evaluación para sistemas muy costosos, aunque sólo sea un "Análisis de Factores Críticos'. Los nuevos proyectos ITS siempre deben ser evaluados porque no habrá evidencia para demostrar su relación calidad-precio. Los ITS que tengan diferente impacto en diferentes circunstancias también deberían ser evaluados en los diferentes contextos.
Los métodos cualitativos elevan los estándares y ofrecen la posibilidad de realizar análisis comparativos en la planificación y en la evaluación de las inversiones ITS.
Los métodos incluyen grupos focales (también conocidos como discusiones de grupo), paneles de usuarios, paneles de ciudadanos y círculos de calidad. Estos involucran discusiones estructuradas entre las partes interesadas que son arbitradas por un moderador independiente.
Estos métodos proporcionan una fuente de información para la planificación de las inversiones y la revisión de impactos e implicaciones de una manera que se tengan en cuenta los puntos de vista de todas las partes interesadas.
Consultores de transporte, empresas de investigación social y compañías de estudio de mercados.
Se necesita tener cuidado para asegurar la representación adecuada de todas las partes interesadas y que los miembros de los grupos focales y paneles sean capaces de contribuir en igualdad de condiciones. Estas técnicas se complementan con investigaciones cuantitativas y no son un sustituto de las mismas.
Estas proporcionan información estadística sobre los recorridos de usuarios de las carreteras y de los viajeros y acerca de los patrones de circulación.
Los métodos incluyen
Las encuestas de viajes proporcionan una entrada a los modelos de tránsito y son una fuente de datos de viaje para la planificación de servicios ITS y analizan los cambios en respuesta a esos servicios.
Consultores de transporte, empresas de investigación social y compañías de estudio de mercados.
Un diseño de encuestas pobres, técnicas de trabajo de campo débiles y bajas tasas de respuesta pueden afectar la precisión estadística y la fiabilidad de cualquier encuesta y hacer que los resultados sean engañosos. Los controles de calidad y la consistencia de los métodos de muestreo son especialmente importantes para los "antes" y "después" de las encuestas.
Esta es la base para la mayoría de los análisis costo - beneficio. Evalúa lo que la gente va a hacer en respuesta a los ITS.
Este es un método muy básico que observa los "costos" de los viajes antes y después de la implementación del ITS y predice cambios en el comportamiento de la gente en base a las respuestas a anteriores cambios en los costos.
Para hacer estimaciones aproximadas de la respuesta a ITS en aquellos casos donde su aplicación obedece al sentido común pero necesita un poco de ayuda cuantitativa adicional. Esto estará en el corazón de cualquier modelo de tránsito.
Economistas propios o consultores de transporte.
El costo generalizado es un concepto simple relativamente limitado en lo que el mismo describe. Los modelos de costo generalizado sólo miden los costos que se pueden calcular en términos monetarios (por ejemplo, los valores monetarios estándar de tiempo ). Los valores monetarios no están disponibles para algunas de las políticas que los ITS pueden ofrecer; varios de los objetivos de la política que los ITS proponen, mostrarán un aumento en el costo generalizado del viaje, en lugar de una disminución. Por ejemplo, el objetivo de los ITS será a menudo cambiar la variación de los tiempos de viaje en lugar de reducir el tiempo total de viaje u ofrecer otros objetivos de política tales como la reducción de emisiones.
Los modelos de utilidad buscan simplificar la presentación de lo que las personas se benefician como consecuencia de un cambio. Están estrechamente relacionados con los modelos de costos generalizados, pero están mejor diseñados para reflejar el comportamiento del usuario.
El análisis estadístico se utiliza para medir la "utilidad" o "el bien" que distintas personas reciben a partir de un cambio.
Cuando el comportamiento del usuario es importante para el resultado que el ITS se propone alcanzar, por ejemplo cuando el objetivo de un proyecto ITS es fomentar que la gente cambie el modo de viaje del coche particular al transporte público.
Consultores de transporte especializados y departamentos universitarios de estadística o economía. Este no es un trabajo para aficionados.
Un buen modelo de utilidad es una herramienta muy poderosa. La forma del modelo es fundamentalmente simple pero puede tormarse compleja. Las dudas sobre la verosimilitud de estos modelos se deben a que muchos utilizan datos de preferencia declarada para obtener valores pero en su lugar se pueden utilizar datos históricos.
Miden si los usuarios perciben un impacto que los beneficie.
Encuestas previas y posteriores miden la percepción de los factores que el ITS tiene como objetivo abordar.
Cuando los proyectos ITS pretenden mejorar el confort del usuario o las instalaciones comunitarias.
Compañías de investigación de mercado, empresas de investigación social y consultores de transporte,
Muchas encuestas utilizan 'escalas Likert' para preguntar si las cosas son, por ejemplo:
Esto mide cómo va a cambiar el comportamiento en respuesta a los ITS. El beneficio de la "preferencia declarada 'es que esta no utiliza comportamientos anteriores como guía. Otros modelos de transporte son de "preferencias reveladas ', utilizando las respuestas frente a anteriores cambios para obtener los valores de las respuestas a los futuros cambios.
Proporcionan una evaluación rigurosa del valor de la utilidad de diferentes elementos de un producto o servicio, basada en el intercambio con el encuestado durante una entrevista altamente estructurada.
En caso de un ITS nuevo o cuando es nueva la política de transporte a la que los ITS da soporte.
Consultores de transporte y algunas compañías de estudio de mercados.
Los riesgos son que los encuestados no van a tomar las mismas decisiones en la práctica que las que declararon en la entrevista. El encuestado puede no ver los obstáculos para utilizar nuevos ITS. La investigación no puede describir las desventajas de un nuevo producto, sólo sus ventajas. Algunos de los encuestados pueden no ser capaces de predecir lo que ellos van a hacer; por ejemplo en respuesta a algunos desarrollos de las tecnologías de la información y las comunicaciones algunas personas han instalado sus hogares lejos del trabajo, pero ¿habrían previsto esto en una encuesta?. La preocupación es que el análisis conjunto derivará en respuestas incorrectas mientras que la naturaleza de las respuestas (un valor o número) será preciso, conduciendo a decisiones de inversión equivocadas.
Se puede utilizar para medir los cambios en factores tales como el tránsito y los tiempos de viaje.
Los ITS generan, recolectan y transmiten datos. Estos datos pueden mostrar el cambio de los resultados esperados a lo largo del tiempo. La línea base de los datos "previos" es necesaria para su comparación con los datos internos obtenidos después de la implementación.
Se deben utilizar en todos los casos dónde sea técnicamente factible.
Diseñar la medición de los resultados dentro del ITS.
El ITS sólo medirá los resultados cuantitativos. Los cambios en factores tales como la confianza de los usuarios no pueden ser medidos, aunque pueden estar implícitos. La clientela del transporte público por lo general no puede ser medida por los ITS a menos que la aplicación sea un sistema de billetaje o de cobro electrónico.