Indicadores léxicos de calidad textual en español nativo y no nativo

Abstract

La calidad textual se presenta insistentemente como un concepto complejo de describir tanto en lenguas primeras como en lenguas segundas, por cuanto resulta desafiante dilucidar qué criterios concretos aplican los evaluadores para catalogar si una producción concreta es un buen texto o un mal texto. Cuando producimos un texto, tanto oral como escrito, tomamos una serie de decisiones sobre la manera más adecuada de expresarnos orientadas, principalmente, a integrar elecciones léxicas, sintácticas y retóricas a nivel oracional en la organización global del discurso. En particular, el desarrollo léxico, central en la adquisición del lenguaje, desempeña una función fundamental en la consecución y mejora de las habilidades lingüísticas involucradas en la producción de textos. A pesar de ello, hasta el momento, las investigaciones previas no han podido determinar con exactitud qué rasgos léxicos específicos se asocian con un texto de calidad. En este sentido, la presente investigación se centra en examinar y caracterizar la calidad textual de hablantes nativos y no nativos de español, presentando especial atención a los aspectos léxicos que determinan que un texto sea considerado de calidad.

El repertorio léxico estudiado incluye dispositivos que operan a nivel de palabra (longitud media de palabra, uso de adjetivos, uso de nominalizaciones, diversidad léxica, densidad léxica) y más allá del nivel de palabra (uso de colocaciones y uso de metáforas deliberadas). Dicho propósito general se concreta a su vez en dos objetivos específicos que suponen dos formas complementarias de abordar la producción textual: (1) analizar el desarrollo del repertorio de recursos léxicos considerado en hablantes nativos y no nativos de español en distintos géneros discursivos (narrativo y expositivo) y modalidades producción (oral y escrita) y (2) examinar cómo se relacionan estos recursos léxicos con las evaluaciones externas de la calidad textual en español nativo y no nativo en dichos contextos comunicativos.

La muestra del estudio está formada por 30 hablantes nativos monolingües de español y

66 hablantes no nativos de español (L1 = árabe, coreano y chino) distribuidos en tres grupos de edad y nivel educativo: 9 años (cuarto de primaria), 12 años (primer curso de educación secundaria) y adultos estudiantes universitarios, y en cuatro niveles de competencia: inicial (A1-A2), intermedio (B1-B2), avanzado (C1-C2) y nativo. A los participantes se les pidió que, por una parte, narraran y escribieran una experiencia personal sobre una situación similar en la que habían estado involucrados y, por otra, que discutiesen también oralmente y por escrito el tipo de problemas que se mostraban en el

video. De esta forma, cada participante produjo un total de cuatro textos: dos narrativos (en oral y por escrito) y dos expositivos (en oral y por escrito) sobre situaciones conflictivas en la escuela. De los 384 textos resultantes se obtuvieron evaluaciones holísticas y analíticas de los textos realizadas por jueces expertos, es decir, profesores experimentados de cada nivel educativo, como medidas externas de calidad textual. Los jueces se asignaron de forma aleatoria a dos condiciones de evaluación: condición normalizada y condición modificada.

En relación con nuestro primer objetivo, se analizó el uso del conjunto de recursos léxicos considerado en español L1 y L2 según la edad, el nivel de competencia de los hablantes, el género discursivo y la modalidad de producción. Los resultados nos muestran un panorama evolutivo complejo por cuanto para cada recurso se observan patrones de desarrollo distintos. En relación con nuestro segundo objetivo, se analizó la relación entre el uso de los recursos léxicos considerados y las evaluaciones externas de calidad textual. Nuestros resultados indican que las características léxicas de los textos permiten explicar por sí mismas, esto es, con independencia de aspectos gramaticales y/o discursivos, variaciones en la calidad textual en L2. En el caso de los hablantes nativos, en cambio, a pesar de que se observen correlaciones fuertes (pero no significativas) entre el uso de dichos recursos y las evaluaciones de la calidad textual, los recursos léxicos analizados no alcanzan a explicar las variaciones de las puntuaciones que reciben sus textos.

Text quality is generally presented as a complex concept to describe both in first and second languages, since it is challenging to elucidate what specific criteria the evaluators apply to catalog whether a specific production is a good text or a bad text. When we produce a text, both oral and written, we make decisions about the most appropriate way of expressing ourselves focused on, mainly, integrating lexical, syntactic and rhetorical choices at the sentence level into the global organization of discourse. Lexical development, central to language acquisition, plays a fundamental role in achieving and improving the language skills involved in the production of texts. Despite this, so far, previous research has not been able to determine exactly which specific lexical features are associated to text quality. In this sense, the present research focuses on examining and characterizing the textual quality of native and non-native speakers of Spanish, giving special attention to the lexical aspects that determine that a text is considered to be good.

The lexical repertoire studied includes devices that operate at the word level (average word length, use of adjectives, use of nominalizations, lexical diversity, lexical density) and beyond the word level (use of collocations and use of deliberate metaphors). This general purpose is in turn specified in two specific objectives that involve two complementary ways of addressing text quality: (1) analyze the development of the lexical resources repertoire considered in native and non-native speakers of Spanish in different discourse genres (narrative and expository) and modalities of production (oral and written) and (2) examine how these lexical resources relate to external evaluations of text quality in native and non-native Spanish in these communicative contexts.

The study sample consists of 30 native monolingual speakers of Spanish and 66 non- native speakers of Spanish (L1 = Arabic, Korean and Chinese) distributed in three age groups and educational level: 9 years (fourth grade), 12 years (first year of secondary education) and adult university students, and in four levels of competence: initial (A1- A2), intermediate (B1-B2), advanced (C1-C2) and native. Participants were asked, on the one hand, to narrate and write a personal experience about a similar situation in which they had been involved and, on the other, to also discuss orally and in writing the type of problems that they were shown in the video. In this way, each participant produced a total of four texts: two narratives (oral and written) and two expository (oral and written) about conflict situations in the school. Furthermore, as an external measure of text quality, we obtained analytical and holistic evaluations of the 384 resulting texts by expert judges,

that is, experienced teachers of each educational level. The judges were randomly assigned to two assessment conditions: normalized condition and modified condition.

In relation to our first goal, we analyzed the use of the set of lexical resources in Spanish L1 and L2 according to age, the level of proficiency of the speakers, the discourse genre and the modality of production. The results show us a complex evolutionary panorama in that for each resource different development patterns are observed. In relation to our second goal, the relationship between the use of the lexical resources and the external evaluations of text quality were analyzed. Our results indicate that the lexical characteristics of the texts allow to explain for themselves, that is, regardless of grammatical and/or discursive aspects, variations in text quality in L2. In the case of native speakers, however, despite strong (but not significant) correlations between the use of these resources and text quality assessments, the lexical resources analyzed fail to explain the variations in the scores.