TUTORÍA TÉCNICAS DE RECOGIDA INFORMACIÓN 23 OCTUBRE 2025
TÉCNICAS Y RECOGIDA DE INFORMACIÓN EN EDUCACIÓN
- GRABACIÓN TUTORIA 16 OCTUBRE 2025 LA OBSERVACIÓN
- GRABACIÓN TUTORÍA 17 OCTUBRE 2024: LA OBSERVACIÓN
- Tema 1 La Medida en Educación Centro Asociado Illes Balears
- Otras transparencias (equipo docente)
- Orientaciones para el estudio del Tema 1
- La ciencia se apoya en instrumentos capaces de cuantificar fenómenos estableciendo relaciones funcionales obtenidas a través de modelizaciones de la realidad.
- Para realizar este proceso, el investigador utiliza la medida; mediante ella, el científico es capaz de representar propiedades por medio de números. Ciertas propiedades han sido estudiadas desde hace siglos: los procesos de medida del tiempo, la longitud o el peso, son de todos conocidos, pero otras características, no menos importantes, como la inteligencia, la atención, el interés, etc. han sido investigadas recientemente.
- Para algunos, la medida de ciertos atributos del acto educativo es imposible de cuantificar. Sin entrar en una polémica estéril, resulta incuestionable la diferencia en cantidad de información y grado de exactitud existente, por ejemplo, entre la medida del peso de un alumno y la medida de su capacidad intelectual.
- Sin embargo, es interesante observar cómo las ciencias han progresado a partir del momento en que se ha dispuesto de buenos instrumentos de medida.
- Conviene tener presente la regla de Galileo: “medir lo medible e intentar hacer medible lo que aún no lo es”, sobre todo si aceptamos el principio del matemático y filósofo H. Poincaré, según el cual “lo que no se mide no puede ser objeto de ciencia”.
- Sin embargo, la necesidad de medir no significa que todo sea medible o que todo se pueda medir, se necesita conocer las variables a medir y someterlas a prueba, aventurar sobre si, entre sus características, se encuentra la posibilidad de ser medida.
- Siguiendo las premisas expresadas, en este capítulo se presentan los rudimentos de medida en el ámbito educativo y un breve anexo del programa estadístico R como apoyo a la medición.
- Se recomienda dedicar la 1ª y 2ª semanas lectivas del semestre para el estudio autónomo de este Tema 1.
El tema 1 tiene entre otros objetivos comprender la utilidad de la medición en Educación, así como el concepto de medida y escala de medida, valorar la importancia de la informática en la construcción y validación de instrumentos de medida e introducirse en algún sistema de tratamiento estadístico, que el curso menciona el R aunque ya hemos comentado, que puede servir el Excel o el PSPP gratuito.
La Pedagogía es la ciencia de la Educación, o más bien un conjunto de Ciencias, entre las que está la Didáctica, la Filosofía de la Educación, la Organización y Dirección de Centros, la Metodología de Investigación en Educación, todas ellas constituyen la Pedagogía.
Poincare señalaba que la ciencia es una conjunción de hechos, al igual que una casa se construye con ladrillos, y esos hechos tienen que ser medidos, porque lo que no se mide no puede ser objeto de la ciencia. Y, ¿cómo se mide?, la longitud con el metro, el peso con la balanza, la temperatura con el termómetro, ¿y los fenómenos educativos?, pues mediante instrumentos, en este caso a través de la respuesta del individuo a pruebas o tests que se supone que miden conocimiento o inteligencia, asociando números en definititva a la respuesta de los sujetos y combinando esos números para interpretar el concepto que estemos midiendo.
Inteligencia, atención, memoria, motivación son procesos o constructos que medimos habitualmente en Psicología y en Pedagogía. Evidentemente la medida de estos conceptos que subyacen a procesos cognitivos no tiene nada que ver con medidas físicas como puede ser el peso, que una vez determinado podemos comparar todos los días, comer menos o hacer ejercicio para pesar menos, o tomar determinados fármacos que eliminan por ejemplo orina o queman grasas para bajar peso. Eso es más complicado con la inteligencia, ¿cómo incrementar la inteligencia?, ... Con programas compuestos por actividades, que se pueden medir mediante tests, por ejemplo para medir inteligencia general o el factor G utilizamos las matrices progresivas de Raven, o los tests de dominó, y para evaluar inteligencia verbal o numérica utilizamos las escalas Wechsler. Los tests miden los constructos a través de indicadores o ítems que conforman un determinado instrumento.
Mientras que las variables físicas constan de una dimensión, las variables cognitivas suelen ser multidimensionales. Es una de las diferencias esenciales, por lo que la prueba que tenéis que construir en la práctica debéis primero profundizar en las dimensiones o factores del constructo que queréis medir. La medida por otra parte, no es algo objetivo, sino que es la propiedad de un determinado objeto que pretendemos medir, tal como decía Mario Bunge. La medida no es un concepto que se quede en sí mismo, sino que además de medir conlleva una emisión de un juicio de valor sobre las mediciones realizadas.
Eso no quiere decir que las pruebas empleadas en Psicología o Pedagogía no midan adecuadamente, tienen que tener una buena fiabilidad (precisión, estabilidad de la medida en el tiempo) y validez (que mida lo que las pruebas quieren medir). Las variables psicológicas no cuentan con las propiedades de las medidas físicas, de aditividad y proporcionalidad, características del nivel de razón. Las variables psicológicas no llegan al nivel de razón, sino que se quedan en el nivel ordinal y de intervalo, que sólo procede operaciones de ordenación y distancia - proximidad.
En la teoría de la medición en CCSS hay dos tendencias (no excluyentes): Tª Clásica (que compara al sujeto con la norma una vez contestada a la prueba) y frente a ésta la Tª Respuesta al Ítem, que permite tener en cuenta al sujeto en sí mismo para mejorar su rendimiento. El enfoque axiomático considera a la medición como la construcción de un modelo de alguna propiedad del mundo (y las posteriores medidas se deben referir y ajustar a dicho modelo). El modelo de teoría de respuesta al ítem (TRI) o rasgo latente de Rasch se fundamenta en la idea de que la respuesta a un ítem sólo depende de la capacidad del sujeto
y la dificultad intrínseca del ítem. Probabilidad Habilidad. “Si los datos no se ajustan al modelo, son los datos los que deben cambiarse, no el modelo” (dicho de otra forma, el axioma es el modelo; si los datos no se ajustan, entonces se desecha el instrumento).
Para Stevens la medición es “la asignación de números a objetos o eventos de acuerdo con leyes” y en consecuencia distingue diferentes tipos de asignación que dan lugar a los distintos niveles de medida: nominal, ordinal, de intervalo, y de razón (ratio). El nivel de medida nominal cada valor es una categoría distinta, y sólo sirve de etiqueta o nombre para la categoría... ...los valores sólo indican “distinto a”, no implican ni orden, ni distancia o proximidad. Ejemplos: “Sexo”, “Nacionalidad”, “Centro Educativo”, etc...
El nivel de medida ordinal cuando es posible establecer un orden o rango dentro de las categorías de acuerdo con un criterio, tenemos medidas ordinales... ...los valores sólo indican “mayor que o menor que” (orden), pero no determinan distancia o proximidad (no hay una unidad constante entre ellos). Ejemplo: Orden de llegada de una maratón.
El nivel de intervalo cuando la distancia entre los valores está definida en unidades iguales y fijas, pero el ‘cero’ de la escala es relativo (no es absoluto) estamos en el nivel de intervalo...
...los valores indican orden y distancia (pero no proporcionalidad). Ejemplos: las escalas de “temperatura”. y = ax + b (a≠0) oK = 1Co + 273,15 oF = 1,8oC + 32. En investigación social es difícil encontrar verdaderas medidas de intervalo (Ej. Sólidos tests, pruebas objetivas y pruebas criteriales).
El nivel de razón tiene todas las propiedades de las medidas de intervalos y, además, una propiedad adicional: el nivel cero es absoluto (inherente a la medida)... ...aquí sí se puede establecer proporcionalidad (o razón) y se puede afirmar, por ejemplo, que una persona de 1,80 m. mide el doble que una de 0,90 m.
“En investigación educativa las variables que manejamos llegan, en el mejor de los casos, a ser de intervalo. Sólo determinadas variables físicas de los sujetos (pero sin relevancia o con poca relevancia desde el aspecto educativo, como el peso, la altura, etc.) alcanzan la medida de nivel de razón”.
PREGUNTAS PRUEBAS PRESENCIALES
- ¿En qué nivel de medida pueden establecerse relaciones de proporcionalidad?
- Nivel ordinal
- Nivel de intervalo
- Nivel de razón
- Dos investigadores observan las 23 aulas de un IES. Tras el periodo de observación, cada uno de los observadores, de manera independiente, categoriza a cada una de las aulas en una de las siguientes categorías, según su clima social C1 = ordenada, C2 = colaborativa, C3 = disruptiva, C4 = caótica. Al cruzar las observaciones de ambos investigadores, se obtiene la siguiente tabla de contingencia, ¿cuál es la fiabilidad interobservadores, según el coeficiente de Kappa?:
- 0,41
- 0,47
- 0,53
Observ 2
C1 C2 C3 C4
C1 4 1 0 1
Observ 1 C2 0 3 2 1
C3 1 0 2 1
C4 0 1 1 5
23
Observ 2
C1 C2 C3 C4
C1 4 1 0 1 6
Observ 1 C2 0 3 2 1 6
C3 1 0 2 1 4
C4 0 1 1 5 7
5 5 5 8 23
Coinciden 4+3+2+1 = 14 / 23 = 0,61
Frecuencia esperada (6x5) / 23^2 + (6x5) / 23^2 + (4x5) / 23^2 + (7x8) / 23^2
30/529 + 30/529 + 20/529 + 56/529 = 0,056 + 0,056 + 0,037 + 0,105 = 0,2548
0,4347 - 0,2548 / 1 - 0,2548 = 0,61 - 0,2548 / 0,7452 = 0,355 / 0,743 = 0,4765
GRADO EN PEDAGOGÍA TÉCNICAS E INSTRUMENTOS PARA LA RECOGIDA DE INFORMACIÓN CURSO 2024/2025
ENUNCIADO DE LA “PRÁCTICA A” (“Diseño, aplicación y valoración de una prueba objetiva”)
Información General:
La “Práctica A” es supervisada por el Tutor/a del Centro Asociado, que es la persona igualmente responsable de su calificación (en una escala de 0 a 10 puntos) a través de la plataforma. Las dudas acerca de la realización de la “Práctica A” deben ser dirigidas, por tanto, al Tutor/a del Centro Asociado, presencialmente durante las tutorías, o telemáticamente a través del correo electrónico y/o foro de tutoría.
La “Práctica A” puede realizarse bien individualmente, bien en grupo (de hasta 3 estudiantes, y que pertenezcan al mismo Centro Asociado o, en su defecto, al mismo Grupo de Tutoría en el curso virtual).
En caso de realización en grupo, éste debe ser comunicado al Tutor/a del Centro Asociado durante el mes de noviembre.
La “Práctica A” puede ser entregada en convocatoria ordinaria (fecha de entrega: 15 de enero de 2023) o en convocatoria extraordinaria (fecha de entrega: 05 de septiembre de 2023). El enunciado que se expondrá a continuación es válido para ambas convocatorias.
En cualquier caso, se recomienda vivamente entregar la “Práctica A” en la convocatoria ordinaria dado que es el periodo en el cual se contará con la supervisión y ayuda del Tutor/a del Centro Asociado (no habrá tutorización para la convocatoria extraordinaria, y las prácticas entregadas en convocatoria extraordinaria serán corregidas por el Equipo Docente de la Sede Central).
Con respecto a la entrega de la “Práctica A”, se realizará exclusivamente a través del curso virtual de la asignatura, en el buzón correspondiente que estará accesible a través del enlace “Entrega de Trabajos” del menú izquierdo del curso.
En caso de realizar la práctica en grupo, todos los miembros deben entregar una copia digital de la misma. Enunciado de la “Práctica A”: Según se indica en la Guía de Estudio de la asignatura, el objetivo general de las prácticas obligatorias es “que el estudiante aprenda a diseñar, aplicar y evaluar, de manera integrada y significativa, algunas de las técnicas e instrumentos que se estudian a lo largo de la asignatura”.
Más concretamente, en esta “Práctica A” del curso 2022/2023, se solicita al estudiante: que diseñe/construya una ‘prueba objetiva’, compuesta por al menos 10 ítems de elección múltiple; que la aplique sobre una muestra (real o simulada), compuesta por al menos 20 sujetos; que analice alguna de las propiedades métricas de la ‘prueba objetiva’ construida, y de los ítems que la componen, desde la Teoría Clásica de los Test (TCT); que evalúe/valore la calidad de dicha prueba; y que reflexione finalmente sobre todo el proceso seguido.
Se recomienda al estudiante repasar los Temas 2 y 4 del texto básico para poder afrontar la práctica con garantías. Igualmente, el estudiante se puede apoyar en los programas Excel y/o R para su realización. Por tanto, el desarrollo de la práctica exige abordar las siguientes 5 fases, en cada una de las cuales se exigen una serie de cuestiones; este desarrollo se expone detalladamente a continuación, y con el apoyo de un ejemplo, y puede servir al estudiante como guion-índice para realizar la práctica:
1ª Fase: Diseño y construcción de la prueba.
- Definir el objetivo de la prueba: es decir, definir la variable que será objeto de medida (por ejemplo, “medir la competencia matemática”).
- Definir la población diana de la prueba: es decir, definir la población de referencia sobre la cual se aplicará la prueba (por ejemplo, “niños y niñas escolarizados en 5º Primaria en España”).
- Definir la utilidad esperada de la prueba: es decir, anticipar a qué uso se van a destinar los resultados derivados de la aplicación de la prueba (por ejemplo, “para detectar niños y niñas susceptibles de recibir atención educativa especial en el área de Matemáticas”).
- Fundamentar y definir el contenido de la prueba: es decir, definir el universo de contenidos que serán objeto de la prueba (por ejemplo, “sumas, restas, multiplicaciones y divisiones, con números de hasta dos cifras”); dicha definición debe estar fundamentada, es decir, debe apoyarse en algún tipo de documento que evidencie que el universo de contenidos corresponde a la variable y población definidos anteriormente (por ejemplo, un Real Decreto, Orden, o documento curricular similar, que especifique “la competencia matemática exigida para el nivel de 5º Primaria”).
- Los documentos citados deben ser referenciados al final del trabajo, en un apartado de “Referencias”, según el estilo APA.
- Realizar la tabla de especificación de la prueba: es decir, construir una tabla en la cual se dispongan en las columnas las áreas que componen el universo de contenidos a medir, y en las filas los procesos cognitivos que operarán sobre dichos contenidos.
- Por ejemplo:
- Contenidos Suma Resta Multiplicación División
- Procesos Conocer/Calcular Comprender/Aplicar
- Definir el tipo de prueba: en este caso, es obligatorio que en todos los trabajos se opte por una “prueba objetiva compuesta por ítems de elección múltiple con, al menos, 3 alternativas de respuesta (sólo 1 alternativa correcta)”.
- Las alternativas de respuesta deben nombrarse como A, B, C…
- Definir la longitud de la prueba: es decir, definir el número de ítems que compondrán la prueba. La prueba debe tener una longitud de, al menos, 10 ítems. Igualmente, debe haber al menos 1 ítem por cada una de las celdas definidas en la tabla de especificación. Siguiendo con nuestro ejemplo, “definimos que nuestra prueba tendrá una longitud de 10 ítems, distribuidos de la siguiente manera”:
- Contenidos Suma Resta Multiplicación División TOTAL
- Procesos
- Conocer/Calcular 1 1 1 1 4
- Comprender/Aplicar 2 2 1 1 6
- TOTAL 3 3 2 2 10
- Redactar los ítems: para lo cual recomendamos seguir las indicaciones de la página 143 del texto básico. Cada ítem redactado, debe acompañarse con sus correspondientes especificaciones.
- Por ejemplo: Para tu cumpleaños, quieres regalar a cada uno de tus 25 compañeros de clase, una bolsita con 12 caramelos ¿Cuántos caramelos te hacen falta para conseguirlo?: A. 280 B. 300 C. 320
- Contenido Proceso Opción correcta Especificaciones Multiplicación
- Comprender/Aplicar B
- Ordenar/Numerar los ítems: es decir, especificar el orden en el cual se presentarán los ítems anteriormente redactados (ítem 1, ítem 2, ítem 3…).
- Redactar las instrucciones de la prueba: puede tomarse como referencia el ejemplo de instrucciones que se presenta en las páginas 144 y 145 del texto básico.
- Nota importante: una vez redactados y ordenados los ítems de la prueba, y redactadas las instrucciones, se puede presentar el conjunto definitivo de la prueba como “Anexo” al final del trabajo.
- Se recomienda que dicho anexo incluya igualmente la plantilla con las respuestas correctas a los ítems de la prueba.
- Definir el tiempo de aplicación: es decir, definir, de manera justificada, cuál es el tiempo de aplicación de la prueba (por ejemplo, “se estima que cada uno de los 10 ítems de la prueba puede ser contestado en un máximo de 3 minutos; por tanto, el tiempo total de aplicación será de 30 minutos”).
- Definir el soporte de aplicación: es decir, definir si la prueba será aplicada en formato papel, en formato digital, por teléfono… en caso de realizar el trabajo con una muestra real, recomendamos vivamente aplicar la prueba en formato digital, utilizando para su virtualización la herramienta “Google Forms” o similar; puesto que con ella las respuestas de los sujetos quedarán grabadas automáticamente en una matriz de datos que servirá de base para los posteriores análisis.
- Definir el tipo de aplicación: es decir, si la aplicación se hará de manera individual o colectiva; con o sin la presencia del investigador.
- Definir la muestra de aplicación: es decir, definir el tamaño de la muestra sobre la cual se va aplicar la prueba. Se exige que se aplique al menos a 20 sujetos.
- Obtener la matriz de respuestas directas: una vez aplicada la prueba se obtendrá, y así debe aportarse en el trabajo, una primera matriz de datos con las respuestas directas de los sujetos.
- Es decir, una matriz con tantas filas como sujetos, tantas columnas como ítems tenga la prueba, y en cada una de las celdas aparecerá la respuesta directa (“A”, “B”, “C”…) dada por el sujeto al ítem.
- Se recomienda añadir una columna inicial a la izquierda que incluya un identificador del sujeto (“Sujeto1”, “Sujeto2”, “Sujeto3”…o “ID1”, “ID2”, “ID3”…).
- Obtener la matriz de aciertos/errores: es decir, a partir de la matriz anterior, debe obtenerse, y aportarse en el trabajo, una segunda matriz en donde cada una de las respuestas directas sea sustituida por “0” (en caso de respuesta incorrecta) o “1” (en caso de respuesta correcta”).
- Cálculo de la puntuación total de cada sujeto en la prueba: finalmente, a la matriz de aciertos/errores, se le añadirá una columna adicional que contendrá la puntuación total de cada sujeto en la prueba.
- Para simplificar los posteriores análisis, se permite calcular la puntuación total como simple suma de aciertos del sujeto a lo largo de la prueba (es decir, sin hacer la corrección por azar = los fallos no restan).
- Calcular el Índice de Dificultad (ID’), para todos y cada uno de los ítems que componen la prueba. En este caso, sí que se exige que se calcule aplicando la corrección debida a los efectos del azar. Se pide igualmente representar de manera gráfica cómo evoluciona el ID’ a lo largo de los ítems de la prueba.
- Escoger 1 de los ítems de la prueba (se recomienda escoger un ítem de dificultad media), y sobre el mismo calcular:
- Índice de Discriminación (D). Para simplificar, por ejemplo en el caso de tener 20 sujetos, se puede coger como ‘extremo superior’ el 25% de sujetos (=5 sujetos) con mayor puntuación en la prueba, y como ‘extremo inferior’ el 25% de sujetos (=5 sujetos) con menor puntuación en la prueba.
- Índice de Homogeneidad (IH). Se recomienda utilizar el procedimiento de correlación ítem – total (excluido el ítem).
- Análisis de los Distractores. Es decir, comprobar la equiprobabilidad de los distractores mediante la prueba Ji-Cuadrado.
- Calcular la fiabilidad de la prueba en su conjunto, como consistencia interna. Se admite tanto el procedimiento de las dos mitades como el alfa de Cronbach.
- Definir un criterio externo relevante para estudiar la validez criterial de la prueba. (Por ejemplo, “nota media en Matemáticas obtenida en la última evaluación de 5º Primaria”).
- Tras definir de manera justificada el criterio elegido, deberá añadirse a la matriz de acierto/error una nueva columna con la puntuación directa de cada sujeto en dicho criterio (que será necesariamente una puntuación simulada).
- Calcular la validez criterial de la prueba, con respecto al criterio previamente definido.
- Baremar la prueba: se pide calcular el valor de los deciles (percentil 10, 20,…, 80, 90) y cuartiles (percentil 25, 50, 75), correspondientes a la puntuación total en la prueba.
- OPCIONAL: De manera opcional, se pide transformar las puntuaciones totales de los sujetos en la prueba a puntuaciones típicas (z).
- Valorar los Índices de Dificultad (ID’) obtenidos:
- ¿Cuáles son los dos ítems más fáciles de la prueba?
- ¿Cuáles son los dos ítems más difíciles?
- ¿Cuál es el ID’ promedio de la prueba?
- ¿La prueba en su conjunto es de dificultad baja, media, alta?
- ¿Sigue la prueba la recomendación de presentar los ítems en dificultad creciente (los más fáciles al principio y los más difíciles al final)?
- Para el ítem escogido, valorar el Índice de Discriminación (D), el Índice de Homogeneidad, y la equiprobabilidad de sus distractores.
- En conjunto, ¿cómo valorarías la calidad de este ítem? ¿lo incluirías en una próxima versión perfeccionada de tu prueba?
- ¿Por qué?
- Valorar la fiabilidad de la prueba: ¿Cómo dirías que es la fiabilidad de tu prueba? ¿Excelente, Buena, Aceptable, Cuestionable…?
- Dada la fiabilidad encontrada, ¿crees que puedes extraer conclusiones de tus resultados?
- En caso de que tu prueba tenga una fiabilidad por debajo de 0,80, ¿cómo podrías incrementarla?
- Valorar la validez criterial de la prueba: ¿Cómo dirías que es la validez criterial de la prueba? ¿Cómo interpretas el valor de validez criterial que has obtenido?
- Aplicación práctica de la baremación realizada:
- ¿Qué sujetos se encuentran por debajo del percentil 20? ¿les aplicarías alguna medida educativa especial?
- ¿qué sujetos se encuentra por encima del percentil 80? ¿les aplicarías alguna medida educativa especial?
- Valoración global de la prueba construida.
- ¿Cuáles crees que son los puntos fuertes de tu prueba?
- ¿Cuáles son sus puntos débiles?
- ¿Cómo crees que se podría mejorar para el futuro?
- ¿Qué has aprendido?
- ¿Qué competencias has adquirido?
- ¿Cómo relacionas dichas competencias con tu futuro perfil profesional de pedagogo/a?
- ¿Tienes algún comentario o sugerencia al respecto de esta “Práctica A”?
Nota importante: Tras el desarrollo de las anteriores 5 fases, al final del trabajo, se incluirá un apartado de “Referencias” (estilo APA) y otro de “Anexos”, según ya se ha ido comentando en el enunciado.
Criterios de Evaluación: La “Práctica A” será calificada en la convocatoria ordinaria por el Tutor/a del Centro Asociado (y por el Equipo Docente de la Sede Central en la convocatoria extraordinaria), a través de la plataforma virtual, en una escala de 0 a 10 puntos. Para evaluar la práctica, se aplicarán los siguientes criterios:
- Adecuado diseño y construcción de la prueba: 20% de la calificación.
- Adecuada aplicación y puntuación de la prueba: 20% de la calificación.
- Adecuado análisis de las propiedades métricas: 30% de la calificación.
- Adecuada valoración de las propiedades métricas: 20% de la calificación.
- Adecuada reflexión final: 10% de la calificación.
Formato de Entrega: La “Práctica A” se debe entregar en formato Word (.doc, .docx), y con las matrices de datos en formato de tabla editable (no como imagen), de forma que el Tutor/a o Equipo Docente pueda copiar/pegar dicha información en una hoja de cálculo para hacer las comprobaciones necesarias. Se recomienda letra Times New Roman, tamaño de 12 puntos, interlineado 1,15 o 1,5. La extensión orientativa del trabajo es de 15-20 páginas (sin contar anexos).
2ª Fase: Aplicación y puntuación de la prueba.
Nota importante: la aplicación de la prueba puede realizarse sobre una muestra real o simulada. o
- Definir el tiempo de aplicación: es decir, definir, de manera justificada, cuál es el tiempo de aplicación de la prueba (por ejemplo, “se estima que cada uno de los 10 ítems de la prueba puede ser contestado en un máximo de 3 minutos; por tanto, el tiempo total de aplicación será de 30 minutos”).
- Definir el soporte de aplicación: es decir, definir si la prueba será aplicada en formato papel, en formato digital, por teléfono… en caso de realizar el trabajo con una muestra real, recomendamos vivamente aplicar la prueba en formato digital, utilizando para su virtualización la herramienta “Google Forms”1 o similar; puesto 1 https://www.google.es/intl/es/forms/about/ que con ella las respuestas de los sujetos quedarán grabadas automáticamente en una matriz de datos que servirá de base para los posteriores análisis.
- Definir el tipo de aplicación: es decir, si la aplicación se hará de manera individual o colectiva; con o sin la presencia del investigador. o Definir la muestra de aplicación: es decir, definir el tamaño de la muestra sobre la cual se va aplicar la prueba. Se exige que se aplique al menos a 20 sujetos.
- Obtener la matriz de respuestas directas: una vez aplicada la prueba se obtendrá, y así debe aportarse en el trabajo, una primera matriz de datos con las respuestas directas de los sujetos. Es decir, una matriz con tantas filas como sujetos, tantas columnas como ítems tenga la prueba, y en cada una de las celdas aparecerá la respuesta directa (“A”, “B”, “C”…) dada por el sujeto al ítem. Se recomienda añadir una columna inicial a la izquierda que incluya un identificador del sujeto (“Sujeto1”, “Sujeto2”, “Sujeto3”…o “ID1”, “ID2”, “ID3”…).
- Obtener la matriz de aciertos/errores: es decir, a partir de la matriz anterior, debe obtenerse, y aportarse en el trabajo, una segunda matriz en donde cada una de las respuestas directas sea sustituida por “0” (en caso de respuesta incorrecta) o “1” (en caso de respuesta correcta”).
- Cálculo de la puntuación total de cada sujeto en la prueba: finalmente, a la matriz de aciertos/errores, se le añadirá una columna adicional que contendrá la puntuación total de cada sujeto en la prueba. Para simplificar los posteriores análisis, se permite calcular la puntuación total como simple suma de aciertos del sujeto a lo largo de la prueba (es decir, sin hacer la corrección por azar = los fallos no restan).
- Calcular el Índice de Dificultad (ID’), para todos y cada uno de los ítems que componen la prueba. En este caso, sí que se exige que se calcule aplicando la corrección debida a los efectos del azar. Se pide igualmente representar de manera gráfica cómo evoluciona el ID’ a lo largo de los ítems de la prueba. o Escoger 1 de los ítems de la prueba (se recomienda escoger un ítem de dificultad media), y sobre el mismo calcular:
- Índice de Discriminación (D). Para simplificar, por ejemplo en el caso de tener 20 sujetos, se puede coger como ‘extremo superior’ el 25% de sujetos (=5 sujetos) con mayor puntuación en la prueba, y como ‘extremo inferior’ el 25% de sujetos (=5 sujetos) con menor puntuación en la prueba.
- Índice de Homogeneidad (IH). Se recomienda utilizar el procedimiento de correlación ítem – total (excluido el ítem).
- Análisis de los Distractores. Es decir, comprobar la equiprobabilidad de los distractores mediante la prueba Ji-Cuadrado.
- Calcular la fiabilidad de la prueba en su conjunto, como consistencia interna. Se admite tanto el procedimiento de las dos mitades como el alfa de Cronbach.
- Definir un criterio externo relevante para estudiar la validez criterial de la prueba. (Por ejemplo, “nota media en Matemáticas obtenida en la última evaluación de 5º Primaria”). Tras definir de manera justificada el criterio elegido, deberá añadirse a la matriz de acierto/error una nueva columna con la puntuación directa de cada sujeto en dicho criterio (que será necesariamente una puntuación simulada).
- Calcular la validez criterial de la prueba, con respecto al criterio previamente definido. o Baremar la prueba: se pide calcular el valor de los deciles (percentil 10, 20,…, 80, 90) y cuartiles (percentil 25, 50, 75), correspondientes a la puntuación total en la prueba.
- OPCIONAL: De manera opcional, se pide transformar las puntuaciones totales de los sujetos en la prueba a puntuaciones típicas (z).
- Valorar los Índices de Dificultad (ID’) obtenidos:
- ¿Cuáles son los dos ítems más fáciles de la prueba?
- ¿Cuáles son los dos ítems más difíciles? ¿Cuál es el ID’ promedio de la prueba?
- ¿La prueba en su conjunto es de dificultad baja, media, alta?
- ¿Sigue la prueba la recomendación de presentar los ítems en dificultad creciente (los más fáciles al principio y los más difíciles al final)?
- Para el ítem escogido, valorar el Índice de Discriminación (D), el Índice de Homogeneidad, y la equiprobabilidad de sus distractores.
- En conjunto, ¿cómo valorarías la calidad de este ítem?
- ¿lo incluirías en una próxima versión perfeccionada de tu prueba? ¿Por qué?
- Valorar la fiabilidad de la prueba:
- ¿Cómo dirías que es la fiabilidad de tu prueba? ¿Excelente, Buena, Aceptable, Cuestionable…?
- Dada la fiabilidad encontrada, ¿crees que puedes extraer conclusiones de tus resultados?
- En caso de que tu prueba tenga una fiabilidad por debajo de 0,80, ¿cómo podrías incrementarla?
- Valorar la validez criterial de la prueba:
- ¿Cómo dirías que es la validez criterial de la prueba? ¿Cómo interpretas el valor de validez criterial que has obtenido?
- Aplicación práctica de la baremación realizada:
- ¿Qué sujetos se encuentran por debajo del percentil 20?
- ¿les aplicarías alguna medida educativa especial?
- ¿qué sujetos se encuentra por encima del percentil 80?
- ¿les aplicarías alguna medida educativa especial?
- Valoración global de la prueba construida.
- ¿Cuáles crees que son los puntos fuertes de tu prueba?
- ¿Cuáles son sus puntos débiles?
- ¿Cómo crees que se podría mejorar para el futuro?
- ¿Qué has aprendido?
- ¿Qué competencias has adquirido?
- ¿Cómo relacionas dichas competencias con tu futuro perfil profesional de pedagogo/a?
- ¿Tienes algún comentario o sugerencia al respecto de esta “Práctica A”?
La “Práctica A” será calificada en la convocatoria ordinaria por el Tutor/a del Centro Asociado (y por el Equipo Docente de la Sede Central en la convocatoria extraordinaria), a través de la plataforma virtual, en una escala de 0 a 10 puntos. Para evaluar la práctica, se aplicarán los siguientes criterios:
- Adecuado diseño y construcción de la prueba: 20% de la calificación.
- Adecuada aplicación y puntuación de la prueba: 20% de la calificación.
- Adecuado análisis de las propiedades métricas: 30% de la calificación.
- Adecuada valoración de las propiedades métricas: 20% de la calificación.
- Adecuada reflexión final: 10% de la calificación.
Formato de Entrega: MUY IMPORTANTE: La “Práctica A” se debe entregar en formato Word (.doc, .docx), y con las matrices de datos en formato de tabla editable (no como imagen), de forma que el Tutor/a o Equipo Docente pueda copiar/pegar dicha información en una hoja de cálculo para hacer las comprobaciones necesarias.
Se recomienda letra Times New Roman, tamaño de 12 puntos, interlineado 1,15 o 1,5.
La extensión orientativa del trabajo es de 15-20 páginas (sin contar anexos).
Comentarios
Publicar un comentario