Variabilidad interobservador. Analizando algunas fuentes de error: heurísticas y categorizaciones

La educación médica ha intentado aprovechar la capacidad de observación humana para evaluar el desempeño de sus profesionales y estudiantes. Las herramientas de evaluación basadas en observadores han demostrado por un lado tener fortalezas en cuanto a su validez, fácil aplicabilidad, bajo costo y bu...

Descripción completa

Guardado en:
Detalles Bibliográficos
Autor principal: Alberto Alves de Lima
Formato: article
Lenguaje:EN
ES
Publicado: Universitat Politècnica de València 2012
Materias:
L
Acceso en línea:https://doaj.org/article/0f4891f4494743b6a5079345ce5b2948
Etiquetas: Agregar Etiqueta
Sin Etiquetas, Sea el primero en etiquetar este registro!
id oai:doaj.org-article:0f4891f4494743b6a5079345ce5b2948
record_format dspace
institution DOAJ
collection DOAJ
language EN
ES
topic observación directa
variabilidad interobservador
evaluación basada en el trabajo
categorización nominal
heurísticas
sesgos
error
Education
L
spellingShingle observación directa
variabilidad interobservador
evaluación basada en el trabajo
categorización nominal
heurísticas
sesgos
error
Education
L
Alberto Alves de Lima
Variabilidad interobservador. Analizando algunas fuentes de error: heurísticas y categorizaciones
description La educación médica ha intentado aprovechar la capacidad de observación humana para evaluar el desempeño de sus profesionales y estudiantes. Las herramientas de evaluación basadas en observadores han demostrado por un lado tener fortalezas en cuanto a su validez, fácil aplicabilidad, bajo costo y buena aceptación por parte de docentes y alumnos pero por otro una marcada debilidad en cuanto a su nivel de reproducibilidad. Son bien conocidas las diferencias de desempeño entre los estudiantes atribuible a la especificidad del contexto o del caso pero uno de los principales problemas es la variabilidad interobservador. Analizando la dificultad de este problema utilizando los marcos de referencia tradicionales, es necesario buscar otros puntos para analizar como las personas toman decisiones o como perciben a otras personas. Con respecto a la toma de decisiones es importante considerar que los evaluadores utilizan principios heurísticos de representatividad, de disponibilidad y anclajes que reducen las tareas mentales en el cálculo de probabilidades complejas en procesos simples, pero muchas veces promueven errores severos. Con respecto al acto de percibir a otra persona, podría describirse como una tarea de categorización analizable bajo 3 conceptos: a) formación de la impresión como una construcción de modelos de personas, b) formación de la impresión como la formación de un proceso de categorización nominal y c) formación de la impresión como un proceso de categorización multidimensional. Es posible que exista una discordancia entre forma en que los humanos perciben la información y la forma en que esta información es documentada. Hay mucho que aprender e investigar en relación al comportamiento de los observadores. Por el momento es necesario introducirnos en sus mentes, con el fin de comprender qué es específicamente lo que consideran importante al momento de tomar decisiones sobre el desempeño de un alumno y desde un punto de vista práctico, se impone la necesidad de realizar múltiples-mini observaciones con el fin de amortiguar estos sesgos. AbstractMedical education has tried to use human observation to evaluate students and professional performance. Assessment tools based on direct observation have shown, on one side, to have good results in terms of validity, feasibility, costs and acceptable satisfaction rates from teachers and students; but on the other side, they have as well shown a marked weakness in their reliability levels. The differences in performance among students related to case or context specificity are well known, but one of the main problems is the interrater variability. It is not easy to understand this problem using traditional frameworks, it is necessary to look to a different alternative to analyze how people make decisions or how they perceive others. Regarding to decision-making it is important to bear in mind that evaluators use heuristic principles of representativeness, availability and anchors to reduce complex mental process, but these principles often provoke errors. The act of perceiving another person could be described as an analyzable categorization task under 3 concepts: a) impression formation as a construction of person models, b) impression formation as a nominal categorization process and c) impression formation as a multidimensional categorization process. There is a mismatch between how humans perceive information and how this information is documented. There is too much to learn and research regarding the observers’ behavior. At this moment it is necessary to gain access to their minds, to understand what specifically they consider important when they are making decisions about a student's performance, and from a practical point of view, we need to apply multiple-mini observations in order to reduce these biases.
format article
author Alberto Alves de Lima
author_facet Alberto Alves de Lima
author_sort Alberto Alves de Lima
title Variabilidad interobservador. Analizando algunas fuentes de error: heurísticas y categorizaciones
title_short Variabilidad interobservador. Analizando algunas fuentes de error: heurísticas y categorizaciones
title_full Variabilidad interobservador. Analizando algunas fuentes de error: heurísticas y categorizaciones
title_fullStr Variabilidad interobservador. Analizando algunas fuentes de error: heurísticas y categorizaciones
title_full_unstemmed Variabilidad interobservador. Analizando algunas fuentes de error: heurísticas y categorizaciones
title_sort variabilidad interobservador. analizando algunas fuentes de error: heurísticas y categorizaciones
publisher Universitat Politècnica de València
publishDate 2012
url https://doaj.org/article/0f4891f4494743b6a5079345ce5b2948
work_keys_str_mv AT albertoalvesdelima variabilidadinterobservadoranalizandoalgunasfuentesdeerrorheuristicasycategorizaciones
_version_ 1718394438426820608
spelling oai:doaj.org-article:0f4891f4494743b6a5079345ce5b29482021-12-02T12:21:55ZVariabilidad interobservador. Analizando algunas fuentes de error: heurísticas y categorizaciones1887-4592https://doaj.org/article/0f4891f4494743b6a5079345ce5b29482012-10-01T00:00:00Zhttp://redaberta.usc.es/redu/index.php/REDU/indexhttps://doaj.org/toc/1887-4592La educación médica ha intentado aprovechar la capacidad de observación humana para evaluar el desempeño de sus profesionales y estudiantes. Las herramientas de evaluación basadas en observadores han demostrado por un lado tener fortalezas en cuanto a su validez, fácil aplicabilidad, bajo costo y buena aceptación por parte de docentes y alumnos pero por otro una marcada debilidad en cuanto a su nivel de reproducibilidad. Son bien conocidas las diferencias de desempeño entre los estudiantes atribuible a la especificidad del contexto o del caso pero uno de los principales problemas es la variabilidad interobservador. Analizando la dificultad de este problema utilizando los marcos de referencia tradicionales, es necesario buscar otros puntos para analizar como las personas toman decisiones o como perciben a otras personas. Con respecto a la toma de decisiones es importante considerar que los evaluadores utilizan principios heurísticos de representatividad, de disponibilidad y anclajes que reducen las tareas mentales en el cálculo de probabilidades complejas en procesos simples, pero muchas veces promueven errores severos. Con respecto al acto de percibir a otra persona, podría describirse como una tarea de categorización analizable bajo 3 conceptos: a) formación de la impresión como una construcción de modelos de personas, b) formación de la impresión como la formación de un proceso de categorización nominal y c) formación de la impresión como un proceso de categorización multidimensional. Es posible que exista una discordancia entre forma en que los humanos perciben la información y la forma en que esta información es documentada. Hay mucho que aprender e investigar en relación al comportamiento de los observadores. Por el momento es necesario introducirnos en sus mentes, con el fin de comprender qué es específicamente lo que consideran importante al momento de tomar decisiones sobre el desempeño de un alumno y desde un punto de vista práctico, se impone la necesidad de realizar múltiples-mini observaciones con el fin de amortiguar estos sesgos. AbstractMedical education has tried to use human observation to evaluate students and professional performance. Assessment tools based on direct observation have shown, on one side, to have good results in terms of validity, feasibility, costs and acceptable satisfaction rates from teachers and students; but on the other side, they have as well shown a marked weakness in their reliability levels. The differences in performance among students related to case or context specificity are well known, but one of the main problems is the interrater variability. It is not easy to understand this problem using traditional frameworks, it is necessary to look to a different alternative to analyze how people make decisions or how they perceive others. Regarding to decision-making it is important to bear in mind that evaluators use heuristic principles of representativeness, availability and anchors to reduce complex mental process, but these principles often provoke errors. The act of perceiving another person could be described as an analyzable categorization task under 3 concepts: a) impression formation as a construction of person models, b) impression formation as a nominal categorization process and c) impression formation as a multidimensional categorization process. There is a mismatch between how humans perceive information and how this information is documented. There is too much to learn and research regarding the observers’ behavior. At this moment it is necessary to gain access to their minds, to understand what specifically they consider important when they are making decisions about a student's performance, and from a practical point of view, we need to apply multiple-mini observations in order to reduce these biases.Alberto Alves de LimaUniversitat Politècnica de Valènciaarticleobservación directavariabilidad interobservadorevaluación basada en el trabajocategorización nominalheurísticassesgoserrorEducationLENESRed U, Vol 10, Iss extraordinario, Pp 229-241 (2012)