Exploring graphic pathographies construction: a multimodal analysis

Abstract

In the last couple of years, medical information has been presented across different digital and visual forms of communication. Mainly, comics are published on various social media platforms and websites to submit a medical discourse about public health concerns or individual human experiences such as cancer, anxiety, or depression. Moreover, when looking closely at these human experiences, we discovered graphic medical memoirs or graphic pathographies. These are long visual narratives that present an entire medical journey. They capture the unique human experience by exploring a medical condition’s emotional and technical aspects. Consequently, this study explores the visual and textual elements that help communicate medical information on the condition’s symptoms, medical treatments, procedures, and side effects. We focused on five objectives: 1) to identify specific technical and medical knowledge communicated in a predetermined graphic novel corpus; 2) to identify visual elements (text, image, color, panel transition, word-picture combination, narrative plot, a point of view, etc.) used to represent this knowledge; 3) to document, analyze, and interpret how readers decipher these resources and what they understand from them; 4) to discover readers’ basic reading practices, such as seeking additional information, consulting external resources that aid or contribute to their reading process, and interacting with graphic pathographies, and 5) to contextualize medical graphic narratives and their role in health literacy or knowledge and social practices in relation to an illness. Specifically, we investigate these areas in two stages: first, we constructed a corpus of 17 graphic pathographies in English, Spanish, Catalan, and French that covered different medical conditions such as cancer, severe anxiety, and depression, Crohn's disease, down syndrome, autism, bipolar disorder, and childhood schizophrenia. Moreover, each graphic novel was analyzed and interpreted deeply three times during the selection process from 60 graphic pathographies. Once we had selected the graphic pathographies, we proceeded to code them according to preselecting themes. However, we noted emerging themes and later integrated them into the coding system. We analyzed the medical condition, procedure, treatment, appointments, color, panel transition, word-picture combinations, and visual references/ metaphors. We also interviewed ten avid graphic narrative readers to learn about their reading habits. We discovered the visual and textual elements that help them understand the medical information in the reading packets we created. In total, we conducted two sets of interviews. In the first interview, we learn about the participants reading practices, habits, and themes. While in the second interview, we talk about the reading packets. Specifically, we selected for the English reading packet: Marbles Mania, Depression, Michelangelo, and Me by Ellen Forney and Swallow Me Whole by Nate Powell. The Spanish reading packet consisted of R.I.P by Felipe Almendros and 17 Vivir, Revivir, Sobrevivir by Àlex Santaló. We learned that specific visual elements such as style, panel transitions, wordpicture combination, color, visual metaphor, and references contribute to communicating different aspects of a medical journey by presenting and focusing on the following phases: experiencing symptoms, visiting a doctor (medical appointment), undergoing diagnostic tests, receiving a diagnosis (test results), undergoing medical treatment or procedures, experiencing sideeffects from the treatment and procedure, and recovery/ managing a medical condition. The results suggest that technical, medical information sequences use a diverse combination of panel transitions and word-picture combinations, while emotional experiences also combine these elements. They present symptoms and positive and negative reactions toward a treatment, procedure, or diagnosis through color, visual metaphors, and references. For example, picture-specific word-picture combinations and visual references or metaphors communicate pain, distress, and medical experiences. The panel sequences focus on individual and private experiences such as receiving a diagnosis or being prepared for an invasive surgical procedure (medical procedure). Moreover, we discovered that different visual references and metaphors give an insight into the character's personality and illustrate inexplicable physical and emotional experiences; specifically, movie, comic, cartoon, and manga visual references across 3 of the four selected graphic pathographies. Moreover, all four graphic pathographies use different visual metaphors specific to the characters' medical conditions to communicate their symptoms, medical procedures, or treatment side effects, such as side effects from medication, surgery, or chemotherapy. These visual metaphors included cultural references, animals, insects, and mundane objects. In terms of color, it marked medical environments, intense emotions, medical conditions, and visual references or metaphors. It also reinforced the panel sequences message and drew the reader's attention to specific panels and images within the panel, such as tumors or surgical scars. The examples above suggest that different visual elements communicate different aspects of a medical experience—the relationship between image and text shifts across the sequences to illustrate complex emotional and medical information. Additionally, we discovered that panel sequences presenting detailed information about a condition or treatment were word specific. Therefore, these panel sequences had more speech or narration bubbles. Finally, the interview results suggest that a traditional comic or graphic narrative format facilitated the participants reading experience. Color, visual metaphors, or visual references help the reader understand and, at times, relate to the emotional aspects of the characters’ medical journey in specific narrative sequences. Some participants share their personal experiences and reflect on them by making critical comments about the issue of medication or the scenes settings. Which in turn introduces the notion of “how accurate are medical sequences portrayed?”. This question prompted ideas on whether graphic pathographies need to be medically accurate since they are medical memoirs. Hence personal experiences from a specific perspective and perhaps their intent is not to provide medical information but share a personal medical experience.

En los últimos años, la información médica se ha presentado a través de varios modos de comunicación digitales y visuales. Principalmente, se publican cómics en diversas plataformas de medios sociales y sitios web para presentar un 10 discurso médico sobre problemas de salud pública o experiencias individuales como el cáncer, la ansiedad o la depresión. Además, al observar de cerca estas experiencias humanas, descubrimos las autografías médicas visuales o patografías gráficas . Se trata de largas narraciones visuales que presentan experiencias médicas completas. Captan la experiencia humana explorando los aspectos emocionales y técnicos de una condición médica. En este contexto, este estudio explora los elementos visuales y verbales que ayudan a comunicar la información médica sobre los síntomas de una enfermedad o condición médica, los tratamientos, los procedimientos quirúrgicos y sus efectos secundarios. Nos centramos en cinco objetivos: 1) identificar los conocimientos técnicos y médicos en un corpus predeterminado de novelas gráficas; 2) identificar los elementos visuales (texto, imagen, color, la transición de viñetas, la combinación de palabras e imágenes, la trama narrativa, un punto de vista, etc.) utilizados para representar estos conocimientos; 3) documentar, analizar e interpretar cómo los lectores descifran estos recursos y qué entienden de ellos; 4) descubrir las prácticas lectoras más relevantes, como la búsqueda de información adicional, la consulta de recursos externos que ayudan o contribuyen a su proceso de lectura y la interacción con las patografías gráficas, y 5) contextualizar las narrativas gráficas médicas y su papel en la alfabetización sanitaria o el conocimiento y las prácticas sociales con relación a una enfermedad. En particular, investigamos estas áreas en dos etapas. En la primera, hemos construido un corpus representativo de 17 patografías gráficas en cuatro idiomas (inglés, catalán, español y francés), que cubren condiciones médicas muy variadas (cáncer, ansiedad, depresión, enfermedad de Crohn, síndrome de Down, autismo, trastorno bipolar y esquizofrenia infantil). Para elegir cada unidad del corpus leímos y analizamos en profundidad tres veces un número muy superior de obras (60 patografías). Una vez cerrado el corpus de estudio, procedimos a codificar las obras según los temas preseleccionados. Además de estos, anotamos también los temas secundarios emergentes y los integramos posteriormente en el sistema de codificación. En concreto, analizamos la condición médica, procedimientos y tratamientos médicos, las visitas médicas, el color y las transiciones de viñetas, 11 las combinaciones de palabras e imágenes y las referencias visuales y metafóricas. También, entrevistamos a diez lectores de narrativa gráfica para conocer sus hábitos de lectura. Descubrimos que los elementos visuales y textuales les ayudaron a comprender la información médica en los paquetes de lectura que creamos para tal fil. En total, realizamos dos series de entrevistas. En la primera, descubrimos las actividades y hábitos que tienen durante la lectura de novela gráfica, al igual que las prácticas lectoras más generales. En la segunda entrevista, nos centramos en los paquetes de lectura. En concreto, seleccionamos para leer en inglés Marbles Mania, Depression, Michelangelo, and Me de Ellen Forney y Swallow Me Whole de Nate Powell. El paquete de lectura en español consistía en R.I.P de Felipe Almendros y 17 Vivir, Revivir, Sobrevivir de Àlex Santaló. Aprendimos que algunos elementos visuales son esenciales para significar el contenido de la obra, como el estilo de las narrativas, las transiciones entre viñetas, la combinación de palabras e imágenes, la presencia muy variable del color, la metáfora visual y las referencias culturales. Del mismo modo, los aspectos centrales de la experiencia médica que se exponen son: experimentar síntomas, visitar médicos y hospitales, someterse a pruebas de diagnóstico, recibir sus resultados, someterse a tratamientos o procedimientos médicos, experimentar sus efectos secundarios y recuperarse y aprender a vivir con la nueva condición médica, a menudo crónica o permanente. Los resultados sugieren que las secuencias de información médica especializada utilizan recursos variados de transiciones entre viñetas y combinaciones de palabras e imágenes. Presentan los síntomas y las reacciones positivas y negativas ante un tratamiento, procedimiento o diagnóstico mediante colores, metáforas visuales y referencias culturales. Por ejemplo, las combinaciones palabra-imagen y las referencias visuales o metáforas comunican el dolor y la angustia durante ciertas experiencias médicas. Estas secuencias se centran en experiencias individuales y privadas, como la recibir un diagnóstico o la preparación para un procedimiento quirúrgico invasivo. Además, descubrimos que las diferentes referencias visuales y metáforas dan una idea de la personalidad de los enfermos e ilustran experiencias físicas y emocionales inexplicables por medio de referencias a diferentes escenas o personajes de películas, cómics, dibujos animados y manga que aparecen en tres de las cuatro obras seleccionadas. Además, las cuatro patografías gráficas utilizan metáforas visuales específicas para representar las condiciones médicas de los personajes. Estas comunican sus síntomas, los procedimientos médicos y sus consecuencias, como los efectos secundarios de la medicación, la cirugía o la quimioterapia. Además, estas metáforas visuales hacen referencias a animales, insectos, objetos mundanos, y culturales, muy presentes en el imaginario sociocultural. Por otro lado, el color marca los sucesivos contextos médicos, la intensidad de las emociones, las condiciones médicas particulares y también resalta las referencias culturales y las metáforas visuales. También refuerza el mensaje de las secuencias y despierta la atención del lector hacia detalles significativos dentro de una viñeta, como los tumores o las cicatrices quirúrgicas. Los ejemplos anteriores sugieren que los distintos elementos visuales comunican diferentes aspectos de una experiencia médica: la relación entre la imagen y el texto cambia a lo largo de las secuencias para ilustrar información emocional y médica compleja. Además, descubrimos que las secuencias que presentan información detallada sobre una enfermedad o un tratamiento incluyen terminología específica. Por ello estas secuencias suelen contener más bocadillos de conversación o de explicación verbal narrativa. Por último, los resultados de las entrevistas sugieren que el formato tradicional del cómic o la narrativa gráfica facilita la experiencia lectora de los participantes. El color, las metáforas o las referencias visuales ayudan al lector a entender y, a veces, a vincularse de manera más estrecha con los aspectos emocionales de la experiencia médica de los personajes. Así, algunos participantes compartieron sus experiencias personales y reflexionaran al respecto haciendo comentarios críticos sobre cuestiones como la medicación o los escenarios médicos. Finalmente, este punto plantea la noción de “¿hasta qué punto son correctas y precisas las secuencias médicas retratadas?”. Esta pregunta suscitó ideas sobre si las patografías gráficas tienen que ser médicamente rigurosas, puesto que son memorias médicas individuales y no tanto informes o registros objetivos. Por lo tanto, son experiencias personales desde una perspectiva particular y quizás su intención no sea tanto proporcionar información médica como compartir una experiencia vivida.