Manual Explotación de la Red Vial
& Sistemas Inteligentes de Transporte
Guía para profesionales!

Se encuentra usted aquí

 Métodos de EVALUACIÓN

Antes de comenzar a planificar una evaluación, las razones para hacerla y los usos que se harán de sus resultados, estos deberían estar claramente definidos. Comprendiendo  cómo los usuarios de dichos resultados  juzgarán el éxito o el fracaso de un proyecto, es un primer paso importante en la planificación de una evaluación. No es suficiente para llevar a cabo una evaluación sólo porque esta  la requiera  una organización. Una evaluación que no está adecuadamente planificada no puede medir lo que se considera importante, e incluso puede fallar para medir los cambios producidos por los ITS.

Cumplimiento de los objetivos políticos

En la evaluación hay aspectos políticos , dada la diversidad de los usuarios y sus necesidades. Los ITS pueden ser adaptados para servir ampliamente a diferentes objetivos políticos. Los criterios clave para los tomadores de decisiones son por lo general que un proyecto de ITS debe ser, y debe ser visto :

  • entregable
  • aceptable
  • asequible
  • mensurable

Una evaluación del proyecto puede informar de  todos estos aspectos. Si los ITS pueden provocar un cambio que sirva a las necesidades de los viajeros, los residentes y los operadores de redes dentro de un presupuesto asequible, entonces el ITS servirá al público y a los tomadores de decisiones por  igual. Por ejemplo, en verificar si un proyecto ITS es:

  • entregable - una evaluación técnica que demuestre hasta que punto las tecnologías se han comportado tal como era esperado, informará sobre las expectativas del rendimiento de un desarrollo ITS
  • aceptable -  la información de los usuarios, operadores y otras partes interesadas mostrará si, y de qué manera, es aceptable
  • asequible - un análisis de costo-beneficio puede ser utilizado para evaluar la asequibilidad
  • mensurable - un análisis de los factores críticos identificará los resultados visibles que  pueden ser medidos - para ilustrar hasta qué punto una inversión ITS ha proporcionado los resultados deseados

Intereses de las partes interesadas

Los intereses de los diversos grupos de interés involucrados en los ITS se deben considerar antes de iniciar una evaluación:

  • su rol en el proyecto
  • la forma en ellos pueden ser afectados
  • su  contribución al proceso de evaluación
  •  proporcionanando datos de monitoreo o de rendimiento
  • requisitos para los resultados de la evaluación

Cada uno de estos factores debe informar acerca del diseño de la evaluación. Una evaluación que tome en cuenta e involucre a los actores ​​en el proceso, tendrá muchas más posibilidades de producir resultados que sean aceptables para las partes interesadas. Esto puede significar dedicar un esfuerzo para informar a los grupos de interés (incluidos los políticos) acerca del proyecto- y las razones para llevar a cabo una evaluación independiente a fondo, en la que la contribución de los participantes será clave.

Al mismo tiempo, es importante recordar que uno de los principios clave en la producción de una evaluación creíble, es que esta debe ser independiente. En otras palabras, los resultados están en equilibrio, no sesgadas a favor de los intereses de cualquier grupo (s) de las partes interesadas.

Para garantizar una evaluación exitosa, es importante llegar a un acuerdo, en una etapa temprana, role sy responsabilidades claros, entre los diferentes actores involucrados en la evaluación (ya sea como usuarios de los resultados o como colaboradores del estudio).

cuestiones éticas

Las cuestiones éticas deben tenerse en cuenta cuando se planifica cómo llevar a cabo una evaluación y los métodos que se utilizarán. La evaluación debe ser diseñada de manera tal  que no exista riesgo de, o cualquier otro efecto adverso sobre los usuarios, y las partes interesadas. Quienes llevan a cabo estudios de evaluación tienen la responsabilidad de asegurar que los participantes (por ejemplo, usuarios o empleados) sean informados del prpósito  de las encuestas (u otros medios de recopilación de datos) - y cómo se utilizarán los datos. Los procesos deben ser puestos en marcha para garantizar el anonimato y la seguridad de los datos - incluyendo los datos que se recaban automáticamente (por ejemplo, de técnicas de reconocimiento automático de matrículas o cámaras CCTV). Serán requeridas  algunas organizaciones que llevan a cabo las evaluaciones, como parte de su gestión de calidad, para presentar sus planes y métodos ante un comité de ética para su aprobación,  antes de iniciar la evaluación.

consideraciones de eSCALa

Existe una  gran variedad de técnicas para la medición de los impactos. El esfuerzo puesto en una evaluación dependerá de la escala, la ubicación y los objetivos del  proyecto ITS. Una evaluación a gran escala, sobre una base científica, es apropiada para un ITS innovador donde haya poca o ninguna evidencia publicada sobre sus costos, beneficios e impactos. Un proyecto ITS que haya sido bien probado puede justificar una evaluación más simple o menor escala. La escala debe ser acordada por las partes interesadas que participan desde el principio. Las consideraciones incluyen los:

  • beneficios anticipados
  •  escala del proyecto
  • costos del proyecto
  •  grado de desarrollo
  • transferibilidad de los resultados a otros proyectos
  • nivel de certeza sobre los resultados
  • beneficios que puedan esperarse del monitoreo y de la evaluación

Durante el ciclo de vida de una aplicación de ITS - desde el concepto hasta pilotos iniciales, demostraciones de mayor escala y el despliegue a gran escala - el alcance y la cobertura de la evaluación necesari , se reduce. Esto se debe a la implementación a gran escala que sólo se produce después de una cantidad considerable de evaluaciones que han sido llevadas a cabo ya sea a nivel de  prototipos, pilotos y demostraciones - proporcionando un buen nivel de comprensión de la aplicación de ITS.El programa europeo EasyWay ilustra esto con un gráfico que indica cómo el nivel de trabajo de la evaluación cambia entre las etapas de desarrollo de los ITS.

Level of evaluation required at different stages of application development. Source: Tarry S, Turvey S and Pyne M 2012. EasyWay Project Evaluation Guidelines.  Version 4.0, p 8. EasyWay

 Programa EasyWay y Projectos (2007-2020)

EasyWay (2007-2020) ies un programa importante de la Unión Europea (UE)  centrado en a implementación de Sistemas de Transporte Inteligente (ITS) en las principales redes de carreteras de toda Europa. Se trata de 30 países europeos, que reúnen a las autoridades de tránsito de las carreteras - y sus principales  socios tecnológicos ITS tales como la industria automotriz, de telecomunicaciones y los operadores de servicios de viajes y las partes interesadas de transporte público. Se ocupa de los objetivos del transporte de la UE: mejorar la seguridad, reducir la congestión ylos  impactos negativos del medioambiente, y promover la continuidad de los servicios a través de la implementación coordinada de información en tiempo real, la gestión del tránsito y los servicios de transporte y logística  (http://www.easyway-its.eu/)

Lista de verificación

Al planificar una evaluación, es importante tener en cuenta los siguientes aspectos:

  • t la importancia de la evaluación socioeconómica (los efectos sobre los usuarios, otras partes interesadas, la economía, el medio ambiente), así como la evaluación técnica (sistema funcionando como se esperaba - por ejemplo, que cumple con la especificación técnica)
  • el desglose detallado de los impactos, así como la amplitud de múltiples impactos
  • la necesidad de una evaluación a gran escala de los sistemas totalmente implementados, así como la evaluación a pequeña escala de los proyectos piloto y pruebas
  • las variaciones en los impactos, así como los valores esperados de los impactos
  • tanto los impactos directos como los indirectos
  • ambas consecuencias, las no deseadas como las deseadas
  • a largo plazo, así como efectos casi a término
  •  adaptación gradual al cambio, así como a respuestas inmediatas
  •  los impactos más importantes, tanto los múltiples como los individuales
  •  las preocupaciones del sector privado y del sector público
  •  los intereses de las terceras partes, así como también los de los principales actores
  • costos y los beneficiosdistributivos así como  agregados (quién gana y quién pierde)

En la preparación de un plan de evaluación (Ver Plan de Evaluación), es útil elaborar una lista detallada donde se específique que es lo especíco para el proyecto que se está evaluando. Esto asegura que los  pertinentes costos, beneficios e impactos se identifiquen y evalúen. (Ver Mejora de la Performance)

kit de herramientas

Varias cajas de herramientas están disponibles las que proporcionan una orientación y ejemplos para los operadores y otras personas de la red de carreteras, dando apoyo a las actividades en las diferentes etapas del ciclo de evaluación - incluyendo:

Evaluación de itS en los países bajos

Los Países Bajos evaluaron y se resumieron los principios claves de las principales técnicas utilizadas en la evaluación de los ITS en 2003 - en relación con sus implementaciones en las rutas interurbanas (http://www.ltrc.lsu.edu/TRB_82/TRB2003-000237.pdf).

caja de herramientas ITS – reino unido (ru)

La caja de herramientas del Departamento de Transporte del Reino Unido se ha diseñado para que sean más fáciles de concebir y producir los ITS. Incluye una guía sobre cómo las autoridades locales pueden beneficiarse de los resultados de evaluación.

mas Información

Una visión general del conjunto de herramientas está contenida en la: Unidad de Asesoría de Tránsito , Understanding the Costs and Benefits of ITS: A Toolkit Approach, folleto ITS 1-06, Reino Unido Departamento de Transportes, 2006.

El conjunto de herramientas está disponible en: http://webarchive.nationalarchives.gov.uk/20120606085311/http://www.dft.gov.uk/itstoolkit/feeding-back-results.htm

Guia para la evaluación de proyectos de evaluación  ITS – Finlandia

La guías de Finlandia se basan en un marco nacional para la evaluación de proyectos - que están publicadas en Inglés. Abarcan tanto la evaluación del proyecto  pre- implementación) como la evaluación de proyectos (post-implementación) - e incluyen listas de comprobación de posibles impactos, listas de indicadores y métodos de medición, y listas de verificación para la evaluación de diferentes aspectos de los proyectos. Cuatro ejemplos son mostrados respecto a cómo las directrices se han aplicado a proyectos específicos. ( http://virtual.vtt.fi/virtual/proj6/fits/julkaisut/hanke2/FITS_4_2002_Guidelines_for_evaluation.pdf)

Manual EasyWay  – Europa

E manual EasyWay está dirigido a los operadores de redes de carreteras de Europa y a otras partes interesadas en la evaluación ITS para las carreteras interurbanas en Europa. Se discute el ciclo de evaluación e incluye ejemplos de mecanismos de retroalimentación que muestran cómo la evaluación de proyectos ITS es utilizada por los tomadores de decisiones. (Ver EU ITS Portal)

MAESTRO

Estas directrices están diseñadas para pilotos y demostraciones de nuevosproyectos de transporte en Europa. Proporcionan orientación a través de todas las etapas del ciclo de evaluación. (http://www.transport-research.info/Upload/Documents/200310/maestro.pdf).

caja de herramientas ITS  2DECIDE  – Europa

La caja de herramientas ITS  2DECIDE ITSes una herramienta de apoyo a las decisiones en línea para ayudar a las organizaciones de transporte, a los operadores de redes y a las autoridades, en la selección y laimplementación de los ITS. Los usuarios pueden consultar la base de datos para  soluciones relevantes ITS  para un contexto, un problema, una meta específica o  servicio ITS. Reciben información basada en  los servicios relevantes, con indicación sobre los impactos que se pueden esperar en un contexto específico. Incluye una base de datos de costos, estudios de casos e informes de evaluación. Para acceder a la caja de herramientas - (http://www.its-toolkit.eu/2decide//node/44) primero usted debe establecer una cuenta (gratuita).

Manual FESTA  (pruebas operativas de CAMPO   interconexión de redes y  Promoción de la metodología) – Europa

Este manual sobre la planificación y  organización de Pruebas Operativas de Campo  (FOT) de las tecnologías ITS,  incluye una orientación sobre el diseño experimental,el análisis de datos y el modelado de impactos socioeconómicos, y de cómo llevar a cabo una evaluación. Aunque está dirigido principalmente a  los ensayos de sistemas de asistencia al conductor, los principios se aplican igualmente a otros ITS. ( http://www.transport-research.info/Upload/Documents/201210/20121024_103630_69842_FESTA_Handbook_V4.pdf).

Evaluación del impacto Socio-económico FESTA – Europa

FESTA,  evaluación del impacto socioeconómico de los sistemas de asistencia al conductor (Field Operational Tests Networking and Methodology Promotion) - Europa

Esto complementa el Manual FESTA y proporciona asesoramiento sobre la metodología para la evaluación socioeconómica de las pruebas operativas de campo  (FOTs) de los ITS. Cubre el marco de la evaluación,de las partes interesadas, el alcance de la evaluación, los métodos de análisis, el análisis financiero y las necesidades de datos. Aunque está dirigido principalmente a los ensayos de los sistemas de asistencia al conductor, los principios se aplican igualmente a otros ITS

(http://www.transport-research.info/Upload/Documents/201210/20121024_103854_10861_FESTA_Impact_Assessment_Del_2_6_Final.pdf)

Base de Conocimientos ITS del departamento de transporte de los estados unidos

La base de conocimientos ITS del Depaertamento de Transporte de los Estados Unidos es un sitio webque provee información sobre los beneficios , costos,niveles de implementación y lecciones aprendidas  – a partir de las implemntaciones y operaciones de los ITS. La información ha sido recolectada a partir de resúmenes de ejemplos  de la vida real comenzando a partir de los finales de los años 90.La base de datos contiene información sobre las  decisiones tomadas en las inversiones ITS rastreando la eficacia de los sistemas que han sido implementados, a lo largo del tiempo.los ususrios pueden buscar en la base de datos, filtrando por tipo de proyecto y ciudad o estado de los EE.UU.en las cuales ellos han sido evaluados (http://www.itskrs.its.dot.gov/).

Caja  de herramientas its para el transporte urbano  del  BANCO MUNDIAL

El Banco Mundial proporciona una breve orientación sobre los criterios de rendimiento pre-implementación, y el monitoreo  la evaluación  post-implementación. Una serie de estudios de casos ofrecen ejemplos de implementaciones urbanas ITS. Se describe el grado en el que han sido evaluadas. Los estudios de caso cubren tanto las economías en desarrollo y como las desarrolladas. Ellos muestran que algunas organizaciones de transporte llevan a cabo una evaluación exhaustiva de ITS - lo lo cual dificulta la obtención de apoyo para los proyectos ITS futuros (http://www.robat.scl.net/content/ITS-Toolkit/guidance/evaluation.html). 

El banco mundial

El Banco Mundial ha elaborado una nota técnica "Evaluación Independiente: Principios, Directrices y Buenas Prácticas". Está dirigido a programas de asociación globales y regionales que lleven a cabo una evaluación independiente. Se proporciona orientación sobre los principios y la finalidad de la evaluación independiente,su conducción y la forma de evaluación, el desarrollo de indicadores de rendimiento - y cuestiones clave de la evaluación. Aunque no está diseñado específicamente para programas ITS, los principios se aplican a cualquier proyecto de evaluación (http://siteresources.worldbank.org/INTDGF/Resources/Evaluation&LearningNote.pdf).

IBEC Materiales de Capacitación

ha producido materiales  internacionales de capacitación basados en la experiencia internacional de Sistemas Inteligentes de Transporte en la forma de presentaciones "Evaluación 101 ' presentaciones de expertos en evaluación  ITS. (https://sites.google.com/site/ibecits/ibec-training-materials-in-english-and-spanish). 

Instituto VICTORIA  de políctica de transporte, Canadá

El Instituto Victoria de Política de Transporte  ha publicado muchos documentos sobre diferentes aspectos de la evaluación del transporte. Los temas incluyen: análisis de costos y beneficios, evaluación de transporte multimodal, la evaluación de los impactos sobre la seguridad de las estrategias de gestión de la movilidad, la evaluación de estrategias de ahorro de energía y reducción de las  emisiones, el desarrollo de indicadores para objetivos específicos y la evaluación de la calidad de la investigación. También proporciona una crítica de un mal estudio de evaluación  (http://www.vtpi.org/documents/evaluation.php).

 

Referencia

No reference sources found.