Confiabilidad

Dec 12, 2024

en cual de los siguientes “instrumentos” confías más para medir (el exceso de) velocidad?

cuándo podemos confiar en un testigo?

consistencia

• confiabilidad de un instrumento se trata de su consistencia para medir lo que se propone.

• una medición refleja el “valor real” + error (Teoría Clásica de la Prueba/Test)

• “real” en el sentido de que es la parte que puede ser replicable (independientemente de que sea válido o no)

• si la proporción del error es más grande, menos confiable es la medición

dónde está el error?

• 2 tipos de errores

  • error aleatorio (random)

  • error sistemático

error aleatorio

• se atribuye a acontecimientos inesperados que tienden a ampliar artificialmente la variabilidad o dispersión de las puntuaciones observadas de forma no sistemática.

• Los eventos fortuitos/aleatorios/azarosos, por definición, son no direccionales por lo general

• en un gran número de réplicas, los errores negativos y positivos se anulan mutuamente.

• peeeero: reducen la precisión de la medición, y afectan a la sensibilidad para detectar diferencias en la puntuación observada entre distintos grupos de participantes

• afecta la confiabilidad

error sistemático

• se atribuye a acontecimientos inesperados que tienden a aumentar o disminuir artificialmente las puntuaciones observadas de forma sistemática >> direccionada

• mueven todas las puntuaciones en la misma dirección.

• sesgo

• afecta la validez

• en el ámbito experimental nos importa saber si el tratamiento (variable independiente) que aplicamos efectivamente tiene efecto en los resultados.

• Error TIPO I: Falso positivo >> consideramos que el efecto existe cuando en realidad no

• Error TIPO II: Falso negativo >> consideramos que el efecto no existe cuando en realidad si

cómo sabemos la consistencia de una medida?

• varias formas de medir la confiabilidad…

  • test-retest (la más obvia y sencilla)

  • test paralelo

  • Consistencia interna

  • fiabilidad entre evaluadores

• Es importante notar la confiabilidad tiene dos grandes aspectos a ser evaluados: estabilidad temporal y consistencia interna.

• Consistencia interna: grado en que los distintos ítems, partes o piezas de un test miden la misma cosa. Significa la constancia de los ítems para operar sobre un mismo constructo de un modo análogo.

• Estabilidad temporal: grado en que un instrumento de medida arrojará el mismo resultado en diversas mediciones concretas midiendo un objeto o sujeto que ha permanecido invariable

test-retest

• es la forma más intuitiva de medir si un instrumento es confiable.

• simplemente son mediciones repetidas en el tiempo para comprobar si los resultados son consistentes.

• lo que evalúa específicamente el test-retest también se conoce como estabilidad temporal

• más alta la correlación de las mediciones (ICC, Pearson, etc.), mejor la estabilidad temporal del instrumento

• posibles problemas:

  • algunas puntuaciones son más estables en el tiempo que otras (estatura, peso, etc. vs estado de ánimo)

  • memoria: si el retest se toma en intervalo de tiempo corto, las personas pueden “recordar” lo que respondieron antes, sobre-estimando la confiabilidad

Test paralelo o equivalente

• a veces no es posible realizar varias mediciones del mismo test, entonces se realiza una medición que aplica 2 mediciones de un constructo al mismo tiempo a la persona.

• si la smediciones dan resultados similares, el instrumento es confiable

• problemas:

  • las escalas pueden no ser equivalentes

consistencia interna

• el grado de interrelación entre los componentes (por ejemplo, ítems individuales, observaciones) de un instrumento

• Se asume que todos los ítems de la escala miden el mismo constructo subyacente.

• 2 técnicas:

  • método por mitades
  • Coeficiente Alfa de Cronbach

por mitades

• divide aleatoriamente los ítems en dos partes (grupos).

• aplica ambas mitades (por separado) a los respondentes

• mide la correlación entre los resultados de ambas partes

• problemas:

  • las mitades no son siempre iguales (miden diferentes componentes de un mismo constructo)

alfa de Chronbach

• mide la coherencia entre los items de un instrumento

• en lugar de dividir en mitades una sola vez, realiza todas las combinaciones de ítems en escalas hipotéticas (por mitades) y mide las posibles correlaciones entre sí.

• valores van de 0 a 1, siendo uno elevada consistencia y 0 nula. A partir de 0.60 se puede decir que un instrumento es confiable

fiabilidad entre evaluadores

• compara mediciones realizadas por diferentes observadores

• una vez registradas las evaluaciones, se verifica si son consistentes (correlacionadas)

• la estimación depende el tipo de variable que el instrumento implementa (nominal, ordinal, intervalo, ratio)