Tipo
de Publicación: Articulo Científico
Recibido: 30/05/2021
Aceptado: 04/06/2021
Autor: María De
Los Ángeles Mendoza González
Licenciada en inglés
Contador Público
Maestría en Administración
Doctorado en Derecho Público
Universidad de Ciencias y Artes de Chiapas.
Tuxtla Gutiérrez
Chiapas. México
https://orcid.org/0000-0002-5423-7017
E-mail: maria.mendoza@unicach.mx
Aplicación de exámenes estandarizados de inglés como estrategia de
evaluación formativa de la competencia lingüística
Resumen
Generalmente, los exámenes aplicados para evaluar la
competencia lingüística del inglés dentro del aula son elaborados por el
profesorado y sirven para la evaluación sumativa. En este documento se plantea
el uso de exámenes estandarizados del idioma inglés para evaluación formativa,
los objetivos planteados son determinar
el grado de confiabilidad de usar exámenes internacionales para evaluar la
competencia lingüística, contrastar los resultados obtenidos con el tipo de
examen aplicado y nivel esperado conforme al semestre de estudios,
presentar conclusiones y recomendaciones para mejorar el proceso de evaluación
formativa. La investigación se llevó a cabo con estudiantes de la Licenciatura
en Lenguas Internacionales de la Universidad de Ciencias y
Artes de Chiapas (UNICACH), México. Sin embargo, los
resultados obtenidos son importantes para docentes de inglés y personal
involucrado en planeación educativa, puesto que permite vislumbrar la necesidad
de aplicar exámenes de certificación de manera regular. Los principales hallazgos arrojaron que gran parte del
alumnado obtuvo el mismo resultado en dos exámenes diferentes y se determinó
que no todos alcanzan el nivel requerido conforme el semestre en que se
encuentran; a través de evaluación formativa se retroalimenta al estudiantado
acerca de sus resultados y contribuye al aprendizaje mediante la información
obtenida para fortalecer las áreas de mejora detectados.
Palabras Clave: Competencia,
evaluación formativa, estrategias educativas
Application of standardized
English tests as a language proficiency formative assessment strategy
Abstract
Generally,
the exams applied to assess the linguistic competence of English within the
classroom are elaborated by the teachers and are used for summative evaluation.
This document proposes the use of standardized English language tests for
formative assessment, the objectives set are to determine the degree of
reliability of using international tests to assess linguistic competence, contrast
the results obtained with the type of test applied and level expected according
to After the semester of studies, present conclusions and recommendations to
improve the formative evaluation process. The research was carried out with
students of the Bachelor of International Languages of the University of
Sciences and Arts of Chiapas (UNICACH), Mexico. However, the results obtained
are important for English teachers and staff involved in educational planning,
since it allows us to see the need to apply certification exams on a regular
basis. The main findings showed that a large part of the students obtained the
same result in two different exams and it was determined that not all reach the
required level according to the semester in which they are; Through formative
evaluation, the students are given feedback about their results and contributes
to learning through the information obtained to strengthen the areas for
improvement detected.
Keywords: Competence, educational strategies, formative evaluation.
Introducción
La Licenciatura en
Lenguas Internacionales es un programa que inició en el 2018. Por lo tanto, se
encuentra aún en proceso de consolidación y se requiere de investigación para allegarse
de información para la toma de decisiones. Asimismo, un requisito de titulación
para el alumnado es la certificación del idioma inglés nivel C1 (Avanzado,
conforme a los niveles de competencia que establece el marco Común Europeo de
Referencia para las Lenguas), por lo que se considera importante determinar el
nivel de inglés que el estudiantado del cuarto semestre tiene en la actualidad
y si corresponde a los niveles esperados conforme a los programas del pregrado.
En este sentido, y derivado
de la obligatoriedad de que el alumnado tiene de presentar un examen de
certificación de representación internacional, es necesario que se realicen
evaluaciones con carácter formativo para monitorear el progreso y en caso
detectar las debilidades que se observen para retroalimentarlos y tomar
decisiones individuales y grupales que conlleven al logro de los objetivos de
aprendizaje en cada semestre.
Desarrollo
Referente teórico
Evaluación educativa
Evaluación es el proceso que
puede y debe potenciar el aprendizaje del educando. Las evaluaciones para el
aprendizaje sirven para ayudar a los alumnos a aprender más. Entre otros propósitos la evaluación se
utiliza para determinar el estatus del aprendizaje y promover un aprendizaje
mayor.
Se puede considerar a la
evaluación educativa “como un proceso sistemático de recopilación de
información (cualitativa y/o cuantitativa) para enjuiciar el valor o mérito de
algún ámbito de la educación (aprendizajes, docencia, programas, instituciones,
sistemas nacionales de educación), previa comparación con unas normas o
criterios...” (Pimienta, 2008, p.4).
Funciones de la evaluación
educativa
La evaluación en general permite
comprender el logro de las metas que los alumnos están alcanzando, informar a
los alumnos de esas metas de aprendizaje, favorecer el conocimiento de la
evaluación, construir la confianza de los alumnos en sí mismos como aprendices
y ayudarlos a asumir la responsabilidad de su propio aprendizaje. “La
evaluación no es un momento final del proceso en el que se comprueba cuáles han
sido los resultados del trabajo. Es un permanente proceso reflexivo apoyado en
evidencias de diverso tipo” (Santos, 2014, p.160).
Asimismo, Moreno (2016) plantea
la importancia de usar los resultados de la evaluación en retroalimentación
descriptiva y ofrecer orientaciones específicas para mejorar, ajustar la
enseñanza basada en los resultados y conducir a los alumnos hacia la
autoevaluación con estándares sostenidos de forma constante, de modo que puedan
ver su progreso y sentirse responsables de su propio éxito.
Tipos de evaluación educativa
Existen diferentes tipos de
evaluación, pueden ser clasificados conforme al momento de la evaluación, tal
como se menciona en los puntos siguientes:
1. Evaluación diagnóstica
Se realiza al iniciar el ciclo
educativo con la finalidad de determinar el nivel de conocimientos del
estudiante. Según Reyes, Carrillo y Zapata (2015) los resultados que se
obtengan deben utilizarse para la toma de decisiones, considerando necesidades
y dificultades de los estudiantes, con la finalidad de alcanzar los objetivos
educativos planteados durante el período escolar.
2. Evaluación sumativa
Registra el logro del aprendizaje
de una forma cuantitativa. Normalmente se realiza al final del período escolar
y se utiliza para medir el aprendizaje del estudiante y aprobar o ser promovido
al siguiente período.
El objetivo de la evaluación
sumativa (Pimienta, Ob. Cit.) es determinar el valor al final de un proceso y
no tiene intención de mejorar lo evaluado en forma inmediata, sino para
sucesivos procesos o productos; se dirige principalmente a la toma de
decisiones finales.
3. Evaluación formativa
La evaluación formativa es el
proceso en el que se evalúa para aprender, es decir se enfoca en verificar los
objetivos de aprendizaje y la efectividad de la enseñanza aprendizaje. Un
elemento importante de la evaluación formativa es la regulación de las
dificultades y áreas de mejora de alumnos durante el proceso.
Pimienta (Ob. Cit.) establece que
las características de la evaluación formativa es que se aplica a la evaluación
de procesos, incorporándolo como parte integrante y su finalidad es mejorar el
proceso y tomar decisiones inmediatas.
De acuerdo con Heritage (2007)
citado por Moreno (Ob. Cit.), la evaluación formativa incluye una variedad de
estrategias para obtener evidencia, la cual puede ser categorizada en tres
grandes tipos: a) Evaluación al vuelo que ocurre durante una clase, b)
Evaluación planeada para la interacción cuando el docente decide previamente
cómo aclarar las dudas o ideas de los alumnos, y c) Evaluación situada en el currículum
que puede ser de dos tipos, aquéllas que los profesores y desarrolladores del
currículum incorporaron en él de forma continua para solicitar
retroalimentación en puntos clave de una secuencia de aprendizaje, y las que
forman parte de las actividades continuas del aula.
Evaluación
formativa, importancia e instrumentos
Importancia: La evaluación formativa se asocia con el tipo de evaluaciones llevadas a
cabo por los docentes en el aula. Tienen un ciclo corto ya que pueden
realizarse semanal o diariamente. La evaluación formativa introduce una ruptura
al proponer desplazar la regulación al nivel de los aprendizajes e
individualizarla cuando la evidencia se utiliza efectivamente para adaptar la
enseñanza y responder a las necesidades de aprendizaje de los alumnos.
En este sentido Reyes, Carrillo y
Zapata (Ob. Cit.) consideran que una actividad de evaluación puede contribuir
al aprendizaje si proporciona información que los profesores y los alumnos
puedan usar como retroalimentación para evaluarse a sí mismos como a otros, y
para modificar las actividades de enseñanza y aprendizaje en las que
participan.
Las prácticas de evaluación
formativa, si se implementan efectivamente, pueden proveer a los profesores y a
sus alumnos de los datos que ellos necesitan, Black, William y Boud (citados
por Moreno, Ob. Cit.), establecen que es necesario un criterio o marco basado
en estándares. Sin esto, los alumnos no pueden saber si sus logros son el
resultado de satisfacer un estándar aceptable o si simplemente van mejor que
otros alumnos de la misma generación.
La evaluación formativa según
Pimienta (Ob. Cit.) se dirige a mejorar los procesos de aprendizaje de los
estudiantes, por lo que las decisiones a tomar podrían ser reestructurar
contenidos, modificar la metodología didáctica, intervenir para mejorar el
clima institucional, es decir, todo lo que contribuya a que los procesos de
construcción del conocimiento de los estudiantes mejoren. La evaluación
formativa puede ser informal o formal. La informal se da durante las clases de
una manera constante y sobre todo a través de la observación.
La evaluación formativa formal
suele comenzar con una actividad planificada por el profesor, diseñado para
enfocar algún aspecto del aprendizaje. El propósito de la actividad es comprobar
la comprensión del estudiante para planificar el siguiente paso de la
instrucción con el fin de avanzar en el aprendizaje de sus estudiantes. Por lo
tanto, la evaluación formativa cuando se utiliza adecuadamente proporciona
evidencias valiosas para informar acerca del proceso enseñanza-aprendizaje y el
logro de los alumnos mejora a través de esta retroalimentación constante
(Vingsle, 2015, p. 8).
Instrumentos de evaluación formativa:
La evaluación formativa viene a constituir
como una constatación permanente del nivel de aprendizaje de cada alumno en
cada unidad instructiva. Dicha constatación se puede realizar a través de
procedimientos de observación o a través de la aplicación de pruebas con
carácter frecuente y específico (Rosales, 2016, p.18).
Como menciona el autor anterior,
hay procedimientos y pruebas para constatar el nivel de aprendizaje de los
estudiantes. Estos procedimientos se conocen como técnicas y las más utilizadas
para la evaluación son la observación, la encuesta, los exámenes y los
portafolios. De estas técnicas se desprenden los instrumentos de evaluación que
permiten a los docentes la toma de decisiones y emisión de juicios de valor
apoyados en información obtenida a través de diferentes medios. Para efecto de
este trabajo se considera importante profundizar en la técnica de los exámenes.
Exámenes:
Son instrumentos empleados en la
evaluación del aprendizaje, pueden ser exámenes abiertos con preguntas
formuladas por los profesores y respondidas por los alumnos de forma oral o por
escrito, por lo general se basan en los contenidos enseñados en el aula.
También se utilizan las pruebas
objetivas que contienen diversos reactivos que los estudiantes deben responder
o seleccionar la respuesta de una variedad de propuestas. Para Moreno (Ob. Cit.
p. 218), el examen “es una prueba de evaluación estructurada en torno a un
número limitado de preguntas que el alumno debe responder”.
Exámenes
de certificación: Un examen de certificación
es aquel que se refiere a una disciplina específica y como resultado de la
aplicación de este se obtiene una calificación o puntuación que representa el
grado de conocimientos, destrezas o habilidades que se tiene en la materia.
Existen diversos exámenes de
certificación conforme a las diferentes disciplinas científicas y sociales. En
el caso de los idiomas están diversas instituciones internacionales que
certifican el nivel que una persona posee en un tiempo determinado y con
respecto a los niveles de referencia que el Marco Común Europeo de Referencia
para las Lenguas (MERCL) ha establecido.
La vigencia de las
certificaciones varia conforme al tipo de examen y la institución
certificadora, pudiendo ser de dos (2) años hasta las que no tienen perdida de
vigencia. Para efectos del idioma inglés, existen diversos exámenes, que pueden
tomarse dependiendo del nivel que se considera una persona posee conforme a los
estudios que haya cursado, así como exámenes que son de carácter acumulativo
que discurren todos los niveles y el resultado indica en qué nivel se encuentra
el aplicante.
Al igual que conocer en donde
están en su aprendizaje, los docentes necesitan asegurarse de que los
estudiantes entienden los criterios de éxito, o lo que se espera que deben ser
capaces de hacer cuando los alcancen. Si los estudiantes no entienden los
estándares que se pretenden alcanzar será más difícil para ellos utilizar la
retroalimentación dada y entender cómo puede ayudarlos para mejorar. Dos formas
para ayudar a los estudiantes a entender los objetivos que se pretenden
alcanzar en su aprendizaje son a través de la negociación de los criterios de
éxito y el uso de ejemplos o modelos (Oxford, 2015, p. 16).
Al aplicar un procedimiento de
evaluación es de vital importancia la validez y fiabilidad. Se considera que la
prueba tiene validez en la medida en que pueda demostrarse que lo que se evalúa
realmente es lo que se debería valorar y que la información obtenida es una
representación exacta del dominio lingüístico que poseen los alumnos que
realizan el examen. “La fiabilidad es el grado en que se repite el mismo orden
de los candidatos respecto a las calificaciones obtenidas en dos aplicaciones
de la misma prueba de evaluación” (MERCL, 2002, p.177).
Por lo anterior, se considera que
el uso de exámenes de certificación es válido para efectos de la evaluación
formativa puesto que proporciona la validez y fiabilidad necesarios para su
aplicación y los resultados que los alumnos obtengan se utilizarán para la
retroalimentación de los propios alumnos y para efectos de la toma de
decisiones respecto al proceso de enseñanza-aprendizaje en busca de la mejora
individual y grupal.
De esta manera Moreno (Ob. Cit.) establece que, aunque las
pruebas estandarizadas también son consideradas una consecuencia inevitable de
la presión administrativa para la medición de resultados, y como un problema
porque puede convertir a los alumnos en aprendices pasivos y con énfasis en la
memorización, también son importantes porque enmarcan las definiciones
aceptadas del éxito académico; por lo que la rendición de cuentas obliga a
atender estos estándares cuando se planea e imparte la enseñanza en el aula.
De este modo, en el proceso de
enseñanza de lenguas, una forma de regular estos aprendizajes es la aplicación
de exámenes internacionales de idioma inglés que están basados en las
competencias y habilidades conforme al MERCL, que debe poseer un hablante de
una lengua extranjera. Los exámenes internacionales utilizados como una
herramienta de evaluación formativa presentan las siguientes ventajas:
1. Proporciona un diagnóstico
de los conocimientos del estudiantado.
2. Da certeza a los alumnos
acerca del nivel de conocimientos que posee.
3. Permiten determinar
objetivamente sobre las dificultades y áreas de mejora que el estudiantado
posee.
Competencia lingüística
Perrenoud (2010), considera la
competencia como la capacidad de actuar de manera eficaz. De acuerdo con
Castillo (2010) citado por Reyes, Carrillo y Zapata (Ob. Cit. p.56) “la
competencia es el resultado del proceso formativo de cualificación que permite
a una persona «ser capaz de», o «estar capacitado para»”.
Por lo tanto, se considera que
las competencias son las habilidades, destrezas y conocimientos que una persona
posee y que puede hacer, demostrar y actuar. Las competencias se pueden
clasificar en básicas, genéricas y específicas. Para Castellanos, Morga y
Castellanos (2012) las competencias básicas se desarrollan en la educación
básica y permiten adquirir competencias más complejas; las competencias
genéricas son las comunes a una rama profesional, relevantes en las disciplinas
académicas y extracurriculares y aplicables a cualquier contexto y por último,
las competencias específicas son las propias de cada profesión, son aquellos
conocimientos, habilidades y actitudes asociados a los saberes técnicos que
debe poseerse.
En el caso de la adquisición de
una lengua las competencias pueden ser generales que incluye el conocimiento
declarativo (saber), conocimiento sociocultural, destrezas y habilidades (saber
hacer), la competencia existencial (saber ser) y las competencias comunicativas
de la lengua (MERCL, 2002).
Las competencias comunicativas de
la lengua se refieren a las intenciones comunicativas y a la forma en que se
ejercen las capacidades de las personas, se dividen en competencias
lingüísticas, sociolingüísticas y pragmáticas. La competencia lingüística se
subdivide a su vez en la competencia léxica, gramatical, semántica, fonológica,
ortográfica y orto épica.
Conforme al MERCL (Ob. Cit.) la
competencia léxica se refiere a conocimiento del vocabulario de una lengua y la
capacidad para utilizarlo, se compone de elementos léxicos y elementos
gramaticales; la competencia gramatical es el conocimiento de recursos
gramaticales de una lengua, es la capacidad de comprender, expresar
significados a través de frases y
oraciones bien formadas; la competencia semántica se relaciona con el
significado de las palabras; la competencia fonológica es la capacidad de
reproducir sonidos de la lengua; la competencia ortográfica comprende el
conocimiento y la destreza en la percepción y la producción de los símbolos de
que se componen los textos escritos; por último la competencia orto épica es la capacidad de articular una
pronunciación correcta partiendo de la forma escrita.
Así, se considera que la
competencia lingüística comprende los conocimientos y destrezas léxicas,
fonológicas y sintácticas y otras dimensiones de la lengua que se relacionan no
solo con el alcance y la calidad de conocimientos, sino también con la
habilidad cognitiva, de recuperación y accesibilidad. Para determinar la competencia lingüística de
una persona es necesario evaluarla. En
este sentido, “evaluar los aprendizajes de los estudiantes implica enjuiciar
sistemáticamente el mérito y/o valía de las competencias adquiridas por ellos
en un contexto específico” (Moreno, Ob. Cit. p.38)
Por lo anterior, se considera que
los exámenes de certificación son útiles para medir la competencia lingüística
de una persona ya que se basan en los elementos de esta capacidad. Por supuesto
considerando los niveles de competencia que el estudiante o usuario de una
lengua va adquiriendo conforme avanza en su aprendizaje.
Metodología
Enfoque Metodológico
La investigación por su naturaleza es de tipo
cualitativo debido a que busca analizar el problema mediante la interpretación
y comprensión, hermenéutica de los instrumentos de medición y los resultados de
su aplicación.
Los objetivos de la investigación
serán de tipo descriptivo, de campo y explicativo. Con estos objetivos se
determinará el grado de confiabilidad del uso de exámenes internacionales para
evaluar la competencia lingüística del idioma inglés, contrastar los resultados
obtenidos con el tipo de examen aplicado y con el nivel esperado que debe tener
el estudiantado conforme al semestre estudiado.
Unidades de análisis
La población está constituida por
los alumnos del cuarto semestre de la Licenciatura en Lenguas Internacionales
adscrita a la Facultad de Humanidades de la Universidad de Ciencias y Artes de
Chiapas, México. Los participantes representan el 90% del estudiantado treinta
(30) en este semestre. El criterio para seleccionar a los alumnos se refiere a
que se encuentran a la mitad del período del octavo (8) semestre que comprende
el pregrado y, conforme a los conocimientos esperados representados en los
programas de las unidades de aprendizaje deben poseer un conocimiento del nivel
B2 conforme al MERCL como se muestra a continuación en el Cuadro 1.
|
Semestre
|
Nivel MERCL
|
|
Primero
|
A2.2-B1.1
|
|
Segundo
|
B1.2-B2.1
|
|
Tercero
|
B2.1-B2.2
|
|
Cuarto
|
B2
|
|
Quinto
|
C1.1-C1.2
|
|
Sexto
|
C1
|
Cuadro 1
Nivel de inglés de los programas de
LELI conforme al semestre de estudios y competencias.
Fuente: Elaboración propia con datos de los programas de
estudios vigentes de la LELI UNICACH, (2020)
El estudiantado fue informado de
que los resultados de los exámenes formarían parte de una investigación
respetando la confidencialidad de sus identidades. El período de análisis
contempló dos semanas consecutivas. Las pruebas se aplicaron durante la primera
y segunda semana de abril del 2020.
Técnicas de recolección de datos
Los instrumentos de medición
aplicados fueron exámenes que se encuentran en línea, en el sitio oficial de
los organismos certificadores. Los alumnos recibieron un enlace para acceder a
los exámenes, es importante mencionar que una vez enviado, tuvieron un tiempo
límite para resolverlos tal como se realizan las pruebas en tiempo real.
Los exámenes son gratuitos por lo
que pueden utilizarse libremente y son similares a los que cualquier persona
que opte por la certificación aplica. Los resultados que se obtienen son
fiables y válidos para determinar el nivel de competencia en el idioma inglés
de los aplicantes porque se basan en los estándares que establece el MERCL y
por lo tanto los certificados son aceptados en todos los ámbitos y propósitos
en que se requiera su comprobación.
Los exámenes utilizados para esta
investigación fueron el EF-SET y First Certificate English (FCE) que
corresponde al nivel avanzado. EF-SET (Education First Standard English Test)
es un examen que realiza la empresa Education First y FCE es elaborado por
Cambridge University, ambos exámenes están a disposición del público en general
a través de sus sitios web oficiales.
Dichos exámenes presentan los
resultados obtenidos a través de puntuaciones que se reflejan en los niveles
esperados de competencia, en el caso del Cambridge, además se presenta el nivel
conforme a los tipos de examen que el usuario puede optar por aplicar
formalmente para obtener la certificación. La tabla de equivalencias conforme a
la conversión de puntos obtenidos es del nivel principiante (0 -30 puntos) de
EF SET corresponde a YLE en Cambridge, elemental (31- 40 puntos) a KET,
Intermedio (41-50 puntos) al PET, Intermedio alto (51 - 60 puntos) al FCE,
avanzado (61-70 puntos) al CAE y competente (71-100) al CPE (EF, 2020).
Las especificaciones de los
exámenes pueden variar pero algunos elementos esenciales según Martínez (2011)
son: a) propósito de la prueba, b)
descripción de los candidatos, c) usuarios de la prueba, d) niveles que
mide, e) marco de referencia teórico, f) forma de administración, g) número de
secciones, h) tiempos y ponderación, i) situaciones de la lengua meta, j) tipos
de textos, k) cantidad, longitud y duración, l) destrezas lingüísticas, m)
elementos lingüísticos, n) tipos de tarea, o) tipos de ítems, p) instrucciones,
q) criterios de corrección, r) descripción de realizaciones típicas, s)
descripción de lo que los candidatos podrán hacer con el certificado y t)
descripción de lo que se supone deben
conocer. En este sentido y considerando estos elementos como base para determinar
la estructura de los exámenes aplicados en este proyecto, se presenta el Cuadro
2 comparativo.
|
Elementos
|
FCE
|
EF-SET
|
|
Niveles que
mide
|
Avanzado (B2)
|
Todos. Para
el nivel avanzado (B2) deberán alcanzar un puntaje entre 61-70 puntos.
|
|
Marco de
referencia teórico
|
Marco Común
Europeo de Referencia para las Lenguas
|
Marco Común
Europeo de Referencia para las Lenguas
|
|
Forma de
administración
|
En línea
|
En línea
|
|
Número de
secciones
|
4 (para este
proyecto se tomarán sólo 2)
|
2
|
|
Tiempos y
ponderación
|
Listening-40
minutos
Reading &
use of English- 75 minutos
|
50 minutos
|
|
Situaciones
de la lengua meta
|
Familiares,
personales, trabajo, escolares, de ocio.
|
Familiares,
personales, trabajo, escolares, de ocio.
|
|
Tipos de
texto
|
Cortos,
medianos, situaciones complejas, inferencias
|
Cortos,
medianos, situaciones
complejas,
inferencias
|
|
Destrezas
lingüísticas
|
Comprensión
oral y escrita
|
Comprensión
oral y escrita
|
|
Tipos de
tarea
|
Dar
respuestas a situaciones, razonar y seleccionar la mejor opción.
|
Dar
respuestas a situaciones, razonar y seleccionar la mejor opción.
|
|
Tipos de
ítems
|
Opción
múltiple
|
Opción
múltiple
|
|
Instrucciones
|
Cortas y
precisas
|
Cortas y
precisas
|
|
Criterios de
corrección
|
No se puede
regresar a la pregunta o sección anterior
|
No se puede regresar
a la pregunta o sección anterior
|
|
Descripción
de que se supone que deben conocer/hacer
|
Describir
en forma detallada de un lugar. Entender ideas principales de un texto
complejo sobre temas concretos, abstractos, incluyendo discusiones técnicas
en su campo de especialización.
Interactúa
con un grado de fluidez y espontaneidad haciendo que la interacción regular
con hablantes nativos sea posible sin esfuerzo. Produce texto claro y
detallado sobre una amplia gama de temas, explica un punto de vista sobre un
tema de actualidad dando ventajas y desventajas de las diversas opciones.
|
Entender
ideas principales de textos complejos sobre temas concretos o abstractos,
incluyendo análisis técnicos en su campo de especialización.
Interactúa
con un cierto grado de fluidez y espontaneidad, que posibilita la interacción
normal con hablantes nativos sin provocar. Redacta texto claro y detallado
sobre un tema, explica un punto de vista sobre una cuestión concreta, ofrece
ventajas y desventajas de las diversas opciones.
|
Cuadro 2
Comparativa de elementos esenciales de los exámenes
FCE y EF-SET.
Fuente:
Elaboración propia con base en la información presentada en los sitios web
English.com y www.efset.org/es/ (2020).
Conforme al
análisis de elementos de ambos exámenes, el FCE mide cuatro (4)
competencias, en este caso se aplicó la sección de lectura y gramática (Reading
& use of English) y auditiva (listening), para que los resultados pudieran
equipararse con el examen de EF-SET; aunque las estructuras son distintas y
únicas, es posible acercarse a un resultado similar ya que los tipos de
reactivos son equivalentes en su constructo, de opción múltiple y la
descripción de lo que se supone que los usuarios del examen deben saber hacer o
conocer es parecido.
Procesamiento de análisis
El procedimiento se realizó a través del
método de formas alternativas o paralelas. Las versiones de los exámenes son
similares en contenido e instrucciones, se administraron a un mismo grupo de
personas dentro de un periodo de tiempo relativamente corto. Se considera que
el resultado obtenido a través de los instrumentos es confiable porque la
correlación entre los resultados de ambas administraciones es
significativamente positiva como se muestra en el siguiente apartado.
Resultados
Para el procesamiento y análisis de la
información se realizó una hoja de trabajo de Excel y un análisis descriptivo
comparando los resultados obtenidos para determinar las diferencias y
semejanzas entre la puntuación emanada en ambos exámenes, así como la
frecuencia de los datos. En el Cuadro 3 se presenta un resumen de los
resultados obtenidos.
N.º del
estudiante
|
Test 1
FCE
|
Test 2
EF-
SET
|
Posición
en Test 1
|
Posición
en Test 2
|
Diferencia
|
Cuadrado
|
001
|
C1
|
B1
|
5
|
19
|
14
|
196
|
002
|
C1
|
B2
|
7
|
17
|
13
|
169
|
003
|
A2
|
A2
|
28
|
27
|
1
|
1
|
004
|
B2
|
C2
|
19
|
2
|
17
|
289
|
005
|
C1
|
C1
|
8
|
3
|
5
|
25
|
006
|
B2
|
C1
|
18
|
8
|
10
|
100
|
007
|
B2
|
B2
|
9
|
16
|
7
|
49
|
008
|
B1
|
B1
|
26
|
20
|
6
|
36
|
009
|
B2
|
B1
|
17
|
28
|
11
|
121
|
010
|
C1
|
C1
|
6
|
5
|
1
|
1
|
011
|
B1
|
B1
|
27
|
21
|
6
|
36
|
012
|
C1
|
C1
|
11
|
4
|
7
|
49
|
013
|
B1
|
B2
|
25
|
15
|
10
|
100
|
014
|
A2
|
B1
|
29
|
22
|
7
|
49
|
015
|
B2
|
B2
|
15
|
14
|
1
|
1
|
016
|
B1
|
B1
|
24
|
23
|
1
|
1
|
017
|
B1
|
B1
|
23
|
24
|
1
|
1
|
018
|
C1
|
C1
|
4
|
6
|
2
|
4
|
019
|
C1
|
C1
|
3
|
7
|
4
|
16
|
020
|
B2
|
B1
|
14
|
18
|
4
|
16
|
021
|
B2
|
B2
|
13
|
13
|
0
|
0
|
022
|
C2
|
C2
|
1
|
1
|
0
|
0
|
023
|
B1
|
B2
|
22
|
11
|
11
|
121
|
024
|
C1
|
B1
|
10
|
25
|
15
|
225
|
026
|
A2
|
A2
|
30
|
30
|
0
|
0
|
027
|
B2
|
B2
|
12
|
12
|
0
|
0
|
028
|
B1
|
A2
|
20
|
29
|
9
|
81
|
029
|
B1
|
B1
|
21
|
26
|
5
|
25
|
030
|
C1
|
C1
|
2
|
9
|
7
|
49
|
Suma
|
|
|
|
|
|
1797
|
Cuadro 3
Resultados obtenidos
Fuente: Elaboración propia de los resultados de los
exámenes EF-SET y FCE aplicados y el cálculo de datos para aplicar la fórmula
de relación de Spearman. (2020).
A efecto de determinar la
relación entre ambos exámenes de certificación se aplicó la fórmula de relación
de Spearman (Fallas, 2012).
Coeficiente de relación de
Spearman
RSp= 1- 6x Σd2
n (n2 -1)
Donde:
Σ= suma
d2=diferencia de
posiciones al cuadrado
n= número de estudiantes
Entonces: 1 -
6 x 1797 =
30 (899)
1- 10782 =
26970
1 - 0.3998 = 0.60
El resultado indica que las
pruebas comparten el 36% de contenido similar por lo que los resultados del
alumnado son diferentes en ambos exámenes.
Algunas características de la
evaluación basada en criterios consideran objetivos o criterios descritos y
evalúan de una forma clara; el resultado es comprensible porque se explica por
los criterios predefinidos, no se compara la actuación de los candidatos y
ayuda a definir los objetivos de cursos, actividades, exámenes, programas a
desarrollar.
En este sentido, los resultados
serán diferentes según los criterios con que se califique a los candidatos.
“Los mismos datos interpretados con distintas escalas ofrecerán diferentes
resultados…. los resultados no dependen sólo del comportamiento del candidato,
sino del evaluador y diseñador” (Martínez, Ob. Cit. p.31).
A continuación, se presenta en la
Figura 1 los resultados obtenidos y la descripción de cada uno de ellos.
Figura 1
Resultados
equivalentes de exámenes EF-SET y FCE
Fuente:
Elaboración propia derivada del resultado de exámenes aplicados. (2020).
Como se observa en la Figura anterior, del total de exámenes aplicados,
el 53.33% obtuvo los mismos niveles de competencia en ambos exámenes, este
resultado cumple con uno de los objetivos de la investigación sobre determinar
el grado de confiabilidad del uso de exámenes internacionales para evaluar la
competencia lingüística del idioma inglés puesto que más del 50% de la
población que llevó a cabo el examen obtuvo resultados equivalentes.
Diferencias
en resultados obtenidos
(Mayor
puntuación en EF SET comparado con FCE)
Fuente:
Elaboración propia derivada del resultado de exámenes aplicados (2020).
De los y las estudiantes que
obtuvieron resultados diferentes, 8 obtuvieron puntuación más alta en el FCE
que en EF-SET. Este resultado demuestra que efectivamente existen diferencias
en el constructo de cada examen por lo que puede influir en los resultados que
se obtienen.
Figura 3
Nivel de
competencia obtenido
Fuente: Elaboración
propia derivada del resultado de exámenes aplicados (2020).
Del total, el 6.66% tiene un
nivel A2, el 16.67% tiene un nivel de B1, el 43.33% nivel B2 y el 33.34% un
nivel C1. Este resultado es de gran relevancia puesto que uno de los objetivos
de la investigación es contrastar los resultados obtenidos en los exámenes con
el nivel esperado conforme a los planes de estudio del semestre en que se
encuentran estudiando.
Los resultados son favorables
puesto que en total el alumnado alcanza el nivel esperado y lo supera, siendo
un 76.67% acumulado igual o mayor nivel. Desde luego, también está la
problemática del 23.33 % restante de estudiantes que tienen un nivel B1 y A2,
representando una diferencia a la baja muy amplia respecto a las competencias
esperadas.
Resultados
EF-SET según competencia
Fuente:
Elaboración propia derivada del resultado de exámenes aplicados (2020).
En el examen EFSET, el 66.67%
obtuvo la misma puntuación en Reading y listening. Mientras que el 26.66% obtuvo
mayor puntuación en Reading que en listening, el 6.67% obtuvo mayor puntuación
en listening que en Reading.
Estos datos permiten conocer cuál
de las dos habilidades son más simples o complejas para el estudiantado.
Asimismo. pueden reflejar de forma indirecta el enfoque de la enseñanza que los
docentes abordan y las actividades que realizan durante las clases. El que el
66.67% obtenga la misma puntuación en las dos habilidades implica un balance,
mientras que el 26.66% se desempeñó mejor en el Reading, lo que puede sugerir
que una parte de la planta docente está realizando más actividades o prácticas
enfocados a desarrollar más esta habilidad que en el listening.
Figura 5
Resultados FCE según competencia
Fuente:
Elaboración propia derivada del resultado de exámenes aplicados (2020).
En el examen FCE, el 76.66%
obtuvo la misma puntuación en Reading y listening, el 23.25% obtuvo mayor
puntuación en reading que en listening.
Al comparar estos datos con los
de la Figura anterior gráfico anterior se observa que refleja la misma
tendencia en los datos superiores en reading que en listening.
Conclusiones
Los aportes de la investigación
realizada son sumamente importantes no sólo para el estudiantado y docentes de
la Licenciatura en lenguas internacionales de la UNICACH, sino para docentes de
inglés y personal involucrado en toma de decisiones respecto a la planeación
educativa puesto que permite vislumbrar la necesidad de aplicar exámenes de
certificación a los alumnos de manera regular con el fin de determinar si los
planes y programas de estudio están cumpliéndose respecto a los niveles de
competencia establecidos en ellos.
Por lo general los exámenes que
se aplican son los elaborados por docentes y aunque cumplan apegándose a los
programas de estudio, es importante utilizar exámenes que han sido diseñados
cumpliendo con los estándares del MERCL y que además son de uso común para
miles de personas que los aplican cada año.
Conforme al análisis de Spearman
se determinó qué basado en los resultados obtenidos por los alumnos, los
exámenes utilizados en esta investigación comparten un 36% de similitud en su
constructo. Asimismo, ambos exámenes han sido diseñados para medir el nivel B2
que se requiere conforme a las competencias del programa educativo en el
semestre que el estudiantado se encuentra al momento del estudio.
Los resultados permiten
determinar con mayor claridad las decisiones que deben tomarse para incrementar
el nivel de competencia del alumnado que no obtenga la puntuación requerida y
en general reforzar su aprendizaje. La importancia de los datos radica en el
enfoque que se dé a los resultados y propósitos para los que será utilizado.
Para efectos de esta
investigación, a través de la evaluación formativa se ha proporcionado
retroalimentación individual a los alumnos para que conforme a los objetivos de
la evaluación formativa el estudiantado se involucre en su aprendizaje,
reflexione y pueda participar activamente en la toma de decisiones para su
mejora continua.
En este sentido, la
retroalimentación es sumamente importante puesto que el alumno pudo haberse
desanimado al obtener su resultado. Por lo tanto, la retroalimentación es
crucial para que el estudiantado esté consciente de que necesita mejorar, por
lo que deberán participar en actividades extraordinarias y asesorías especiales
para incrementar su nivel de competencia.
Asimismo, con los resultados
obtenidos se está en proceso de diseño de un programa específico personalizado
para el alumnado que refleja un nivel A2 y por lo tanto son los que presentan
un nivel más bajo respecto al requerido.
Por otra parte, también se ha
detectado parte de la población estudiantil que están en un nivel B1 y que
también requieren de atención especial para poder incrementar las competencias
y llegar al nivel B2 requerido conforme al plan de estudios del pregrado.
Respecto a los resultados
específicos encontrados en la presente investigación, es posible emitir algunas
recomendaciones para apoyar al estudiantado a que obtengan el nivel requerido
conforme a los programas de estudio.
Algunas actividades especiales
que se proponen son:
1. Club de conversación en
diferentes niveles, uno para los alumnos con nivel A2 y B1, y uno para el
estudiantado de nivel B2 y C1, esta actividad refuerza la adquisición
fonológica, léxica y de gramática
2. Un club de lectura y
redacción puede ser de gran ayuda para incrementar el nivel de adquisición
gramatical, semántica y ortográfica.
3. Establecimiento de
asesorías personalizadas para el estudiantado es necesaria para fortalecer
aquellas partes de gramática que no han sido comprendidas en su totalidad y, ya
sea por falta de acción del o la docente o del estudiantado, no se han
adquirido.
De los hallazgos encontrados, el
hecho de que algunos alumnos reflejen resultados más altos en la sección de
lectura y gramática comparado con la sección auditiva permite hacer conjeturas
acerca de si esto es derivado del enfoque de enseñanza que se centra más en
lecturas y resolución de ejercicios gramaticales escritos que en actividades
auditivas, o en su caso se refiere más a las habilidades del estudiantado
relacionadas con su estilo de aprendizaje. Esta situación pudiera ser analizada
y resuelta en una investigación posterior.
Por último, se considera
necesario aplicar los exámenes de certificación semestralmente para
retroalimentar a los alumnos y docentes con un enfoque de evaluación formativa
que contribuya al aprendizaje a través de la información que proporcionan y
fortalecer las áreas de mejora que presenten en los resultados.
Referencias
Castellanos, T.,
Morga, R. y Castellanos, T. A. (2012). Educación por competencias: hacia la
excelencia en la formación superior. Red Tercer Milenio. https://cvc.cervantes.es/ensenanza/biblioteca_ele/marco/cap_03_01.htm
Education first
(2020). El primer examen de inglés estandarizado en el mundo. https://www.efset.org/es/
FCE (First Certificate English). English.com. https://www.examenglish.com/FCE/index.html
Fallas, J.
(2012). Correlación lineal. Midiendo la relación entre dos variables. https://www.ucipfg.com/Repositorio/MGAP/MGAP-05/BLOQUE-ACADEMICO/Unidad
2/complementarias/correlacion_lineal_2012.pdf
Martínez, A.
(2011). La evaluación de las lenguas: garantías y limitaciones. Ed.
Magina. España.
MCERL (2002).
Marco común europeo de referencia para las lenguas: aprendizaje, enseñanza,
evaluación. [pdf]. Instituto Cervantes. España. https://cvc.cervantes.es/ensenanza/biblioteca_ele/marco/cvc_mer.pdf
Moreno Olivos, Tiburcio.
(2016). Evaluación del aprendizaje y para el aprendizaje. Reinventar la
evaluación en el aula. México: UAM,
Unidad Cuajimalpa, 10-57.
Oxford University
Press (2014). Effective feedback: The key to successful assessment for
learning.[Retroalimentación efectiva: Clave para el éxito en evaluación
para el aprendizaje] https://elt.oup.com/feature/global/expert/assessment-for-learning?utm_source=twitter&utm_medium=post&utm_campaign=TL_Assessment&cc=tr&selLanguage=en
Perrenoud, P.
(2010). Construir Competencias Desde la Escuela. Ed. Trillas. México.
Pimienta, J.
(2008). Evaluación de los aprendizajes. Un enfoque basado en competencias.
Pearson Prentice-Hall. México
Reyes, C.;
Carrillo, S. y Zapata, R. (2015). Evaluación educativa nuevas perspectivas.
[pdf]. http://repositorio.utmachala.edu.ec/bitstream/48000/6924/1/127%20EVALUACION%20EDUCATIVA%20NUEVAS%20PERSPECTIVAS.pdf
Rosales, C. (2016). Criterios para una evaluación
formativa. Ed. Narcea. España.
Santos, M.
(2014). La evaluación como aprendizaje. Cuando la flecha impacta en la diana.
Ed. Narcea. España
Zambrano, G.,
Tejada, J., y González, A. (2008). CDCTH, “La evaluación formativa en la
enseñanza-aprendizaje del inglés”. Artículo. Código NUTA-H-251-06-04-B. Barcelona. https://www.researchgate.net/publication/259993740_La_Evaluacion_Formativa_en_la_Ensenanza-Aprendizaje_de_Ingles
Vingsle, Ch. (2014). Formative assesment: Teacher knowledge and skills
to make it happen. UMEA Universitet Sverige. https://umu.diva-portal.org/smash/get/diva2:735415/FULLTEXT01.pdf