[:en]The Future of UX Research: Uncovering the True Emotions of Our Users[:zh]未来[:KO]우리 사용자들의 진실된 감정을 찾아서: UX 연구의 미래[:pt]Revelando as verdadeiras emoções de nossos usuários: O futuro da pesquisa de experiência do usuário[:ja]ユーザーの真の心理を明らかにする:UXリサーチの将来[:es]Develando las emociones reales de nuestros usuarios: el futuro de la investigación de experiencia del usuario[:]

[:en]Truly understanding the feelings of our users has always been the dream of user experience researchers. Are they enjoying themselves? Are they frustrated? Are they genuinely interested and engaged? Understanding how a user truly feels in reaction to an experience can help us to optimize specific aspects of the experience to exude certain expressive states. We are entering a new age of insight that probes at the core of our users’ experience: studying their emotions.

Group of people riding on a rollercoaster with different expressions and body language.

Figure 1. Think about the emotions experienced while riding on a roller coaster.

Failings of Current Methods

UX research often centers on gaining insights directly from participants to understand their experience. However, it is important to recognize that participants (as well as researchers) are not always objective, and fall prey to the weaknesses of the human mind. A common way to address emotional and cognitive aspects in user experience testing today is through a retrospective self-report where users are asked to describe or answer questions about their experience, either verbally or through a written questionnaire. While these methods are commonplace, they rely too heavily on the highly subjective nature of participants’ interpretation and recollection of their emotions. The reality is that participants tell us what they think we want to hear and/or selectively report their emotions. Sometimes they can’t even interpret their own feelings well enough to tell us about them. Physiological measurements remove subjectivity in evaluating user experience by relying on quantitative metrics that are the output of devices that measure primarily involuntary, often subconscious, responses to stimuli.

New Methods for Measuring Emotion

New biometric (as well as neurometric) devices that are practical, reasonably priced, and suitable for UX practitioners, have evoked both enthusiasm and skepticism. I freely admit that I was highly skeptical of seemingly mystical devices that could tell me what my users were feeling, but I was also fascinated by the possibilities. Much of the skepticism is rooted in a lack of knowledge and experience. Presently, little has been published or presented on this topic within the UX community and, to my knowledge, there are few who are currently performing this kind of research. My personal journey with these devices started by applying eye tracking in UX research. Eye tracking provides an objective way to directly understand the user’s eye movement.

Eye Tracking

Eye tracking is a powerful tool for user researchers, and, when properly used, can provide insights unachievable by other research methods. The most obvious, yet nonetheless unique, ability of the eye tracker (Figure 2), is that it can track the location of a participant’s eyes.

A woman works at a computer with the small eye tracker hardware attached under the monitor.

Figure 2. Monitor with eye tracker attached. Courtesy of Tobii Technologies.

Eye tracking is an essential tool that can be combined with any biometric measurement; such measurements are useless unless they are analyzed in the context of what the user is observing. Time-locking eye movement data with these measurements is key to understanding exactly when and what the participant is looking at. While eye tracking is insightful, it can only tell you what the user is looking at, not why.

Getting Into the Heads of Our Users: EEG

In my early investigations of finding suitable devices for measuring emotional responses, I encountered electroencephalography (EEG). EEG measures electrical activity in the brain by placing electrodes along various points along the scalp. The signals obtained from these electrodes are represented by waveforms reflecting voltage variation over time. (Figure 3)

A screen with several windows with different data displays.

Figure 3. Real-time output from an EEG headset displaying brain region activity and electrode channels. Courtesy of Emotiv.

EEG is the most sensitive instrument accessible to UX researchers and offers features including:

  • Real-time, millisecond level precision
  • Full spectrum of emotions and cognitive activity
  • On-the-fly representation of emotions (depending on software used)

More recent EEG models such as the Emotiv headset (Figure 4) are completely wireless via Bluetooth connectivity and use an over-the-counter saline solution to provide conductivity for the electrodes. These headsets can be worn comfortably during a user experience test and minimally interfere with a participant’s natural behaviors. The trend towards less expensive, lighter weight, and totally wireless solutions will make EEG more practical for UX researchers within the next few years.

A man with a device on his head sits at a computer, while another adjusts the screen.

Figure 4. Setting up a study with a participant wearing an Emotiv EEG headset.

It is true that correctly interpreting the meaning of EEG waveforms and translating that data into emotional states is extremely complex and likely outside the expertise of a UX researcher. However, analysis tools can process the raw EEG data and produce visualizations that correspond with a standardized set of emotional states, such as engagement, interest, frustration, happiness, or sadness.

Your Skin Reveals a Lot About How You Are Feeling: GSR

Galvanic skin response (GSR) has long been used to measure physiological arousal. The technology measures the electrical conductivity of the small amount of sweat generated by the pores on your skin. GSR can provide insights into a spectrum of emotional states from being aroused, engaged, or stressed, to feelings of boredom, disinterest, or relaxation. This measurement is ideal for detecting situations where a user is having difficulty using an interface and becoming increasingly frustrated and stressed. These measurements can be evaluated longitudinally to determine emotional trends (for example, periods of increasing or decreasing stress) felt throughout the experience. For applications designed to keep a user actively engaged and/or interested, GSR can help measure the intensity of their engagement, as well as how long it can be sustained. Newer devices such as the Shimmer3 (Figure 5) are far less intrusive and allow for total freedom of movement while interacting with devices. In addition to participant comfort, the device is also fairly stress-free for researchers who want to quickly set up and gather data.

A hand with sensors worn like bands around three fingers and a small electronic device worn on the wrist.

Figure 5. Participant connected to Shimmer3 GSR + Optical Pulse (for instance, heart rate) sensors. Image courtesy of Shimmer.

For all biometric measurements, but especially with GSR, it is critical to obtain a baseline measurement prior to the presentation of stimuli. Participants will vary in terms of their typical level of sweat output and their emotional state (for example, feeling anxious) when they arrive at the test facility. Establishing a baseline provides a point of comparison between their state prior to and after a stimulus has been shown. It’s important to know that GSR is incapable of representing a broader set of emotional states such as EEG or facial response analysis, which can both detect levels of valence (positive or negative emotions). For example, GSR would be able to very accurately detect a person’s level of excitement while riding a rollercoaster (as shown in Figure 1). However, it would not be able to detect whether they are having a good experience (or like myself, a terrifying one). EEG and GSR are not for everyone due to the complexity of setup and analysis. Some participants might not be too enthusiastic about wearing something on their heads or having something strapped to their wrists. A far less intrusive (and potentially covert) method for capturing emotions is staring you right in the face.

Let’s Face it, Your Emotions Are Showing: Facial Response Analysis

Facial coding is the systematic analysis of facial expressions. In the 1970s, psychologist Paul Ekman’s early work identified the universality of six core emotions. He is also well known for popularizing a facial action coding system (FACS) that systematically describes facial expressions and movements.

Four side-by-side photos of the same individual’s face displaying different facial expressions.

Figure 6. Detecting and extracting features. Image courtesy of Affectiva.

Companies like Affectiva and Emotient have developed new software that can be used to analyze a user’s emotions by examining their facial reactions. Webcams are already used to capture nonverbal behaviors and audio from participants in user experience studies. Using facial analysis is one of the least intrusive methods for capturing emotional reactions in a highly automated manner. These systems use computer algorithms that take video from a common webcam and provide frame-by-frame emotion metrics as outputs. The first step in analyzing the data is to locate the face and then extract the key facial landmarks (represented by green dots in Figure 6) needed to classify each emotional characteristic. The output generated by the software produces an engagement score (Figure 7, top) that signifies whether the user is focused (for instance, “face looking at screen”) on the task at hand. Lower attention values indicate that the user is looking away from the camera—usually an indication of boredom or fatigue (for instance, he or she is “inattentive”). Individual emotions (Figure 7, bottom) are displayed along with the intensity of the emotion being felt by the user.

Two graphs. The one on top is a single line. The one on the bottom has color-coded regions.

Figure 7. Graphs representing output from facial analysis. The first represents overall emotional engagement and the second displays the intensity of each individual emotion. Image courtesy of Emotient.

While facial response is the easiest to collect and analyze relative to the other methods, in my experience it is also the least accurate. Current algorithms are very accurate for highly expressive emotions such as a large smile, but are not consistent for more complex emotions such as contempt. In a UX test the participant’s reactions are often subtly conveyed, such as a slight grin to indicate that they are pleased, or a slight raise of an eyebrow to indicate surprise. The ability to capture these less expressive emotions or varying levels of valence (positive or negative feelings) is critical for user experience research where participants do not always have a strong outward reaction to stimuli.

Why a Mixed Method Is Important

None of the measurements discussed can, by themselves, completely capture the user’s emotional experience. I would consider them to be complementary and, in certain cases, supplementary. The benefit of using multiple types of biometric and neurometric devices is that we can learn different things from different devices. Valence is a measure of the positive or negative nature of the participant’s experience. Using EEG and facial response analysis, we can measure whether the participant is having a relatively good or bad reaction. GSR and heart rate cannot measure valence, but are good indicators of a participant’s level of arousal. When combining the benefits of each type of measurement, we can identify specific types of emotional experiences (Figure 8).

Text of image is in box below.

Figure 8. Arousal/valence model developed by James Russell and Lisa Feldman Barrett. (Read the text in this image)

Another benefit of using multiple types of measurements is that we can often use them to validate or invalidate each other. For example, if the facial analysis data strongly indicates that a participant is experiencing high levels of happiness, but the EEG data indicates high levels of anger, one of the measurements is likely reporting incorrect information. At the beginning of this article I discussed the pitfalls of relying on a user’s self-reporting of what they felt. While we can’t completely rely on users to provide this information, it is still critical to ask. Even if the physiological methods were 100 percent accurate (which they are not) we would still be left without an understanding of why users felt the way they did. By using several of these methods together it creates a system of checks and balances to ensure a higher degree of confidence that we are accurately interpreting and understanding the user’s emotions.

Applications for UX Research

UX researchers and designers can now work to create and refine experiences that are both usable and evoke specific emotional responses. The quality of a user’s experience is no longer limited to whether they can use an interface, but can now include how they feel as they are interacting with it. Let’s say that it’s your job to help your team evaluate the effectiveness of a website’s new product selection process. Under normal circumstances you would likely identify key metrics that would measure the experience, such as task performance, verbal comments, satisfaction scores, etc. However, you realize that this won’t be enough to identify any subtle pain points, and may not help you to know how the user’s emotions impact their decision-making process. By using a combination of eye tracking, EEG, GSR, and facial response analysis (Figure 9) you can pinpoint when certain emotions are being felt.

A screen with eye tracking identifies what the user is reacting to. EEG (Emotiv) graph can isolate specific emotions such as frustration. Facial response (Emotient) can be used to measure positive and negative responses. GSR (Shimmer) identifies periods of stress.

Figure 9. Output displaying emotional responses during a usability test. Screen from iMotion Attention.

Key benefits to this approach include: Understanding what attracts & engages attention. Using eye tracking, we can determine:

  • What initially attracts attention (for example, pricing, feature comparison, interactive elements, photos, etc.)
  • What sustains users’ attention
  • What pattern users’ eyes follow as they browse the online store

Understanding emotional engagement. Using EEG, GSR, and facial response analysis we can determine:

  • What the moment-by-moment emotional state is during the entire online experience
  • Overall valence (positive or negative) reaction via Facial Response
  • What excites the user and what they find engaging (GSR)

Using self-report methods conducted post experience we will learn:

  • Why users look at certain elements on the website
  • Why users feel a certain way when looking at elements
  • How users feel at various parts of the shopping experience (such as the homepage, landing pages, product pages, or checkout.)

By understanding the highs and lows of a user’s emotional journey, a team can optimize features of the design to minimize specific pain points and emphasize elements that provided a positive experience.

Challenges for the User Researcher

The benefits of these tools also come with significant challenges for user researchers. All of these tools originate from fields unfamiliar to user researchers, such as human physiology and neurology. These tools can therefore be intimidating and potentially risky for user researchers to adopt. Even with new, more approachable equipment, there are many challenges to tackling this kind of research:

  • The need to acquire the necessary technical competence to set up and operate advanced equipment and ensure a rigorous process is in place to collect accurate data.
  • Someone on your team needs a neuroscience, cognition, or experimental psychology background (preferably a Ph.D.).
  • Physiological studies require higher sample sizes than typical qualitative user research methods.
  • Pilot testing is essential to determine if the equipment is properly configured and outputting the expected type of data.
  • Equipment must be carefully calibrated with each participant and baseline measurements should be taken to account for variations between individuals.

Another challenge lies in the interpretation of data, since the same kind of physiological responses may be observed for different mental states, such as frustration, surprise, or increased cognitive effort. A correct interpretation requires knowledge of the context in which the data was obtained. To better understand the results, it is therefore advisable to record additional observations along with the physiological measurements, such as comments, observed behaviors, and subjective ratings of events.

The Future of Studying Emotions

Current methods for understanding a user’s emotional response are, at best limited, and, at worst, entirely inaccurate. As the field of user experience evolves, we need to explore new methods for measuring emotional response using technologies borrowed and refined from neuroscience and human biology. There are still significant challenges to implementing these new measurements. However, the current generation of tools is considerably more economical and practical for UX researchers than ever before, and all indications are that this trend will continue over the next several years. I’m convinced that eventually we will reach a point where collecting physiological data that helps us understand our users’ emotions will be commonplace. A brave new world of user experience research that includes physiological responses is on its way. Stay tuned.

Where to Learn More

Intro to Emotion Research

Eye Tracking

EEG

  • EmotivEpoc Headset – The Emotiv EEG headset offers the best combination of accuracy and relative unobtrusiveness for participants.

GSR

Facial Analysis

Integrated Solutions

  • iMotions Platform – iMotion’s Attention Suite provides a platform for data collection and analysis of numerous bio/neurometric measurements
  • Noldus Usability Testing Suite – Software for capturing various usability test metrics now including a facial analysis module.

Text of Figure 8: Arousal/Valence model

This diagram shows a list of descriptive words around a circle. The circle is divided by a horizontal line showing valence from unpleasant to pleasant and a vertical line showing arousal from activated to deactivated. Starting from the top of the circle, the four quadrants are:

  • Activated and Pleasant
    • alert
    • excited
    • enthusiastic
    • elated
    • happy
  • Deactivated and Pleasant
    • contented
    • serene
    • relaxed
    • calm
  • Deactivated and Unpleasant
    • bored
    • sluggish
    • depressed
    • sad
  • Activated and Unpleasant
    • upset
    • stressed
    • nervous
    • tense

[:zh]用户体验评估可能包括用于度量情感反应的新方法,它们采用了从神经系统科学和人体生物学领域借鉴并改良的技术。虽然实现这些新的度量方法仍面临重大挑战,但是对于用户体验研究人员而言,当前这些工具的经济实用程度已经远远超越以往。最终,收集生理数据并借此了解用户情感会成为一种司空见惯的方法。

文章全文为英文版[:KO]사용자 경험 평가에는 신경과학과 인간생물학에서 차용되는 개선된 기술을 이용하여 감정적 반응을 측정할 수 있는 방법이 포함될 수도 있습니다. 이런 새로운 측정법을 실행하기에는 여전히 상당한 어려움이 있지만, 현 세대의 도구들은 UX 연구원들에게 그 어느 때보다 상당히 더 경제적이고 실용적입니다. 결국 우리는 사용자들의 감정을 더 잘 이해하는 데 도움이 되는 생리적 데이터 수집이 일반화되는 수준에 이를 것입니다.

전체 기사는 영어로만 제공됩니다.[:pt]A avaliação de experiência do usuário pode incluir novos métodos para medir a resposta emocional usando tecnologias emprestadas e refinadas da neurociência e da biologia humana. Ainda existem desafios significativos para implementar essas novas mensurações, entretanto a geração atual de ferramentas é consideravelmente mais econômica e prática para pesquisadores de experiência do usuário do que no passado. Com o tempo, alcançaremos um ponto em que a coleta de dados fisiológicos, que nos ajuda a compreender as emoções de nossos usuários, será uma medida rotineira.

O artigo completo está disponível somente em inglês.[:ja]ユーザーエクスペリエンスの評価には、神経科学とヒト生物学から取り入れ、精緻化されたテクノロジーを用いて心理的反応を測定するための新たな方法を含めることができる。このような新たな測定法を導入するにはまだ大きな課題があるものの、現世代のツールは、UX調査者にとってかつてないほど経済的かつ実用的なものとなっている。いずれ、ユーザーの心理を理解するのに役立つ生理学的データの収集が当たり前のこととなる日がやってくるであろう。

原文は英語だけになります[:es]Es posible que la evaluación de la experiencia del usuario incluya nuevos métodos para medir la respuesta emocional mediante tecnologías adaptadas y refinadas de la neurología y la biología humana. Aún existen grandes desafíos a la hora de implementar estas nuevas medidas; no obstante, la generación actual de herramientas es considerablemente más económica y práctica que antes para los investigadores de experiencia del usuario. Con el tiempo, llegaremos a una instancia donde la recopilación de información fisiológica que nos ayude a comprender las emociones de nuestros usuarios será una tarea habitual.

Grupo de gente en una montaña rusa con diferentes expresiones y lenguaje corporal.

Piensa respecto a las emociones que se experimentan mientras se viaja en una montaña rusa.

Errores de los Métodos Actuales

La investigación de UX suele centrarse en obtener conocimientos directamente de los participantes para entender su experiencia. Sin embargo, es importante reconocer que esos participantes (así como los investigadores) no siempre son objetivos, y caen presas de las debilidades de la mente humana. Una forma común de abordar aspectos emocionales y cognitivos en pruebas de experiencia de usuario hoy en día es a través de un auto informe en retrospectiva, donde se les pide a los usuarios describir o responder a preguntas sobre su experiencia, ya sea de forma verbal o en un cuestionario escrito. Mientras estos métodos son lugares comunes, confían demasiado en la naturaleza altamente subjetiva de la interpretación y recolección de sus emociones de parte de los participantes. La realidad es que los participantes nos cuentan lo que piensan que queremos escuchar y/o selectivamente reportan sus emociones. Algunas veces ellos ni siquiera pueden interpretar sus propios sentimientos lo suficientemente bien para contarnos acerca de ellos. Mediciones fisiológicas remueven la subjetividad en las evaluaciones de experiencia de usuario apoyándose en métricas cuantitativas que entregan dispositivos que miden principalmente respuestas a estímulos que son involuntarios y a menudo subconscientes.

Nuevos métodos para Medir las Emociones

Nuevos dispositivos biométricos (así como neurométricos) que son prácticos, a un precio razonable, y adecuados para los profesionales de UX, han generado tanto entusiasmo como escepticismo. Admito que yo era muy escéptico de los dispositivos aparentemente místicos que podían decirme lo que mis usuarios estaban sintiendo, pero también estaba fascinado por las posibilidades. Gran parte del escepticismo tiene sus raíces en la falta de conocimiento y experiencia. En la actualidad, poco se ha publicado o presentado sobre este tema dentro de la comunidad UX y, que yo sepa, son pocos los que actualmente están llevando a cabo este tipo de investigación. Mi viaje personal con estos dispositivos comenzó con la aplicación de seguimiento de los ojos (Eye Tracking) en la investigación UX. El Eye Tracking ofrece una manera objetiva para comprender directamente el movimiento de los ojos del usuario.

Eye Tracking (Seguimiento Ocular)

El Eye Tracking es una poderosa herramienta para investigadores de usuarios y, cuando se utiliza apropiadamente puede proveer conocimientos que son inalcanzables por otros métodos de investigación. La más obvia habilidad del Eye Tracker, no obstante única, (Figura 2), es que se puede rastrear la ubicación de los ojos del participante del estudio.

A woman works at a computer with the small eye tracker hardware attached under the monitor.

Figura 2. Un monitor con una máquina de seguimiento ocular. Cortesía de Tobii Technologies.

El seguimiento de los ojos es una herramienta esencial que puede ser combinada con cualquier medición biométrica; estas mediciones son inútiles a menos que sean analizadas en el contexto de lo que el usuario está observando. La medición del tiempo en conjunto con el movimiento de los ojos es clave para entender exactamente cuándo y qué es lo que el participante está mirando. Mientras el seguimiento de los ojos es revelador, sólo te puede decir lo que el usuario está mirando, no por qué.

Entrando en las cabezas de nuestros usuarios: EEG

En mis primeras investigaciones de búsqueda de dispositivos adecuados para medir respuestas emocionales, me encontré con la electroencefalografía (EEG). La EEG mide la actividad eléctrica en el cerebro mediante la colocación de electrodos en varios puntos del cuero cabelludo. Las señales obtenidas de estos electrodos son representadas por formas de onda que reflejan la variación de tensión con el tiempo. (Figura 3)

Una pantalla con muchos despliegues de datos en diferentes ventanas.

Figura 3. Salida en tiempo real de los datos de una EEG que muestran la actividad de regiones cerebrales y los canales de electrodos. Cortesía de Emotiv.

EEG es el instrumento más sensitivo que está disponible para los investigadores de UX y ofrece características que incluyen:

  • En tiempo real, nivel de precisión de milisegundos.
  • Espectro completo de emociones y actividad cognitiva.
  • Representación de las emociones sobre la marcha (dependiendo del software utilizado).

Modelos más recientes de EEG, como los cascos Emotiv (Figura 4) son completamente inalámbricos a través de conectividad Bluetooth y utilizan una solución salina de venta libre para proveer conductividad a los electrodos. Estos cascos pueden ser utilizados cómodamente durante una prueba de experiencia de usuario e interfieren mínimamente con las conductas naturales del participante. La tendencia hacia soluciones menos costosas, más livianas, y totalmente inalámbricas harán a la EEG más práctica para los investigadores de UX en los próximos años.

Un hombre con un dispositivo en su cabeza está sentado frente a un computador, mientras otra persona ajusta la pantalla.

Figura 4. Preparando un estudio con un participante utilizando un casco para EEG Emotiv.

Es verdad que la interpretación correcta del significado de las ondas de la EEG y traducir esos datos en estados emocionales es extremadamente complejo y probablemente fuera de la experiencia de un investigador de UX. No obstante, las herramientas de análisis pueden procesar los datos en bruto de la EEG y producir visualizaciones que se correspondan con un conjunto estandarizado de estados emocionales, tales como el compromiso, el interés, la frustración, la felicidad o la tristeza.

Tu piel revela mucho acerca de cómo te sientes: GSR

La respuesta galvánica de la piel (GSR) se ha utilizado por mucho tiempo para medir la excitación fisiológica. La tecnología mide la conductividad eléctrica de la pequeña cantidad de sudor generado por los poros de la piel. GSR puede proporcionar ideas sobre un espectro de estados emocionales, desde estar excitado, comprometido, o estresado, a sentimientos de aburrimiento, desinterés, o relajación. Esta medida es ideal para detectar situaciones en las que un usuario está teniendo dificultad para usar una interfaz y cada vez se siente más frustrado y estresado. Estas mediciones pueden ser evaluadas longitudinalmente para determinar las tendencias emocionales (por ejemplo, los períodos de aumento o disminución del estrés) que se sintieron durante la experiencia. Para las aplicaciones diseñadas para mantener a un usuario participando y/o interesado activamente, la GSR puede ayudar a medir la intensidad de su compromiso, así como el tiempo que se puede sostener. Los dispositivos más nuevos, como el Shimmer3 (Figura 5) son mucho menos intrusivos y permiten una total libertad de movimientos mientras se interactúa con los dispositivos. Además de la comodidad de los participantes, el dispositivo también libera bastante de estrés a los investigadores que desean configurarlo rápidamente y recabar los datos.

Una mano con sensores alrededor de tres dedos y con un pequeño dispositivo electrónico en su muñeca.

Figura 5. Un participante conectado a los sensores de Shimmer3 GSR + Optical Pulse (por ejemplo, para medir frecuencia cardiaca). Imagen cortesía de Shimmer.

Para todas las mediciones biométricas, pero sobre todo con GSR, es crítico obtener una medición de línea basal antes de la presentación de estímulos. En los participantes variarán los niveles típicos de producción de sudor y su estado emocional (por ejemplo, la sensación de ansiedad) cuando lleguen al lugar de las pruebas. Se ha demostrado que establecer una línea de base entrega un punto de comparación entre su estado antes y después de un estímulo. Es importante saber que la GSR es incapaz de representar un conjunto amplio de estados emocionales, como sí lo hacen la EEG o el análisis de respuesta facial, que pueden detectar tanto los niveles de valencia (emociones positivas o negativas). Por ejemplo, la GSR sería capaz de detectar con gran precisión el nivel de excitación de una persona mientras viaja en una montaña rusa (como se ve en la Figura 1). Sin embargo, no sería capaz de detectar si está teniendo una buena experiencia (o como yo, una aterradora). Las EEG y GSR no son para todos debido a la complejidad de la configuración y el análisis. Puede que algunos participantes no se muestren muy entusiasmados respecto a utilizar algo en sus cabezas o tener algo atado en sus muñecas. Un método mucho menos intrusivo (y potencialmente encubierto) para captar las emociones es mirarlo fijamente a la cara.

Encarémoslo, tus emociones se ven: Análisis de Respuesta Facial

La codificación facial es el análisis sistemático de las expresiones faciales. En la década de 1970, los primeros trabajos del psicólogo Paul Ekman identificaron la universalidad de seis emociones básicas. También es bien conocido por popularizar el Sistema de Codificación Facial de Acciones (FACS, pos sus siglas en inglés) que describe sistemáticamente las expresiones y movimientos faciales.

Cuatro fotografías de la cara del mismo individuo mostrando distintas expresiones faciales.

Figura 6. Detectar y extraer expresiones faciales. Imagen cortesía de Affectiva.

Compañías como Affectiva y Emotient han desarrollado nuevos softwares que pueden ser utilizados para analizar las emociones de un usuario al examinar sus reacciones faciales. Las webcams ya se utilizan para capturar comportamientos no verbales y audio de los participantes en estudios de experiencia de usuario. Utilizar el análisis facial es uno de los métodos menos intrusivos para captar las reacciones emocionales de una forma altamente automatizada. Estos sistemas usan algoritmos computacionales que captan video de una webcam común y entregan como resultado métricas de emociones cuadro a cuadro. El primer paso al analizar los datos es localizar el rostro y luego extraer los puntos de referencia faciales clave (representados por puntos verdes en la Figura 6) necesarios para clasificar cada característica emocional. El resultado generado por el software produce una puntuación de compromiso (Figura 7, arriba) que indica si el usuario está enfocado (por ejemplo, “la cara mirando a la pantalla”) en la tarea. Los valores más bajos de atención indican que el usuario no está mirando a la cámara, lo que por lo general es una indicación de aburrimiento o fatiga (por ejemplo, él o ella está “distraído”). Las emociones individuales (Figura 7, abajo) se muestran junto con la intensidad de la emoción que sentía el usuario.

Dos gráficos. El de arriba es una línea simple. El de abajo tiene regiones con códigos de color.

Figura 7. Estos gráficos muestran cómo se ven los resultados de un análisis facial. El primero muestra el compromiso emocional a nivel general mientras que el segundo muestra la intensidad de cada emoción individual. Imagen cortesía de Emotient.

Si bien la respuesta facial es el más fácil de recoger y analizar respecto a los otros métodos, en mi experiencia, también es el menos preciso. Los algoritmos actuales son muy precisos para las emociones altamente expresivas, como una gran sonrisa, pero no son consistentes para las emociones más complejas, como el desprecio. En una prueba UX las reacciones de los participantes a menudo se transmiten sutilmente, como una leve sonrisa para indicar que están satisfechos, o una ligera levantada de las cejas para indicar sorpresa. La capacidad de capturar estas emociones menos expresivas o niveles variables de valencia (sentimientos positivos o negativos) es fundamental para la investigación de experiencia de usuario donde los participantes no siempre tienen una reacción a los estímulos fuertemente demostrativa.

Por qué un método mixto es importante

Ninguno de las mediciones discutidas pueden, por sí solas, capturar completamente la experiencia emocional del usuario. Yo las consideraría complementarias y, en algunos casos, suplementarias. El beneficio de usar múltiples tipos de dispositivos biométricos y neurométricos es que podemos aprender distintas cosas de distintos dispositivos. Valencia es una medida de la naturaleza positiva o negativa de la experiencia del participante. Al utilizar EEG y análisis de respuesta facial podemos medir si participante está una reacción relativamente buena o mala. GSR y el ritmo cardíaco no miden valencia, pero son buenos indicadores del nivel de excitación del participante. Cuando se combinan los beneficios de cada tipo de medición podemos identificar tipos específicos de experiencias emocionales (Figura 8).

El texto de la imagen està en la caja de màs abajo.

Figura 8. El modelo Excitación/valencia desarrollado por James Russell y Lisa Feldman Barrett. (Lea el texto en esta imagen)

Otro beneficio de usar múltiples tipos de mediciones es que podemos utilizarlos frecuentemente para validar o invalidar unos a otros. Por ejemplo, si los datos de análisis facial indican fuertemente que un participante está experimentando altos niveles de felicidad, pero los datos de la EEG indican altos niveles de ira, es probable que una de las mediciones esté entregando información incorrecta. Al principio de este artículo discutí los problemas de depender del auto-reporte de lo que sentía el usuario. Si bien no podemos descansar completamente en los usuarios para que entreguen esta información, sigue siendo fundamental preguntarles. Incluso si los métodos fisiológicos fueran 100 por ciento exactos (que no lo son) quedaríamos sin comprender por qué los usuarios sintieron de la manera que lo hicieron. Mediante el uso de varios de estos métodos en conjunto se crea un sistema de pesos y contrapesos para garantizar un mayor grado de confianza en que estamos interpretando y entendiendo las emociones del usuario con precisión.

Aplicaciones para la Investigación de Experiencia de Usuario

Los investigadores de UX y diseñadores pueden ahora trabajar en crear y refinar las experiencias que sean usables y también evoquen respuestas emocionales específicas. La calidad de la experiencia de un usuario ya no está limitada a si puede utilizar una interfaz, pero ahora puede incluir cómo se siente mientras interactúa con ella. Digamos que es tu trabajo ayudar a tu equipo a evaluar la efectividad de los nuevos procesos de selección de productos de un sitio web. En circunstancias normales, lo más probable sería identificar las métricas clave que midieran la experiencia, tales como la ejecución de tareas, comentarios verbales, las puntuaciones de satisfacción, etc. Sin embargo, te das cuenta de que esto no será suficiente para identificar los puntos débiles sutiles, y puede que no te ayude a conocer cómo las emociones del usuario afectan su proceso de toma de decisiones. Mediante el uso de una combinación de seguimiento de los ojos, EEG, GSR, y el análisis de la respuesta facial (Figura 9) puedes identificar cuando se están haciendo sentir ciertas emociones.

Una pantalla con eye tracking identifica a qué reacciona el usuario. El gráfico EEG (Emotiv) puede describir emociones específicas como la frustración. La respuesta facial (Emotient) puede ser utilizada para medir respuestas positivas y negativas. GSR (Shimmer) identifica periodos de stress.

Figura 9. Resultados de respuestas emocionales durante una prueba de usabilidad. La pantalla es de iMotion Attention.

Los beneficios clave de este enfoque incluyen: Entender qué atrae e involucra la atención. Utilizando el seguimiento de los ojos podemos determinar:

  • Lo que inicialmente atrae la atención (por ejemplo, el precio, ofrecer comparaciones, elementos interactivos, fotos, etc.)
  • Lo que sostiene a la atención de los usuarios
  • *¿Qué patrón siguen los ojos de los usuarios mientras navegan por la tienda en línea?

Entender el compromiso emocional. El uso de EEG, GSR, y el análisis de la respuesta facial podemos determinar:

  • Cuál es el estado emocional momento a momento durante toda la experiencia online
  • Reacción de la valencia general (positiva o negativa) a través de la Respuesta Facial
  • Qué excita al usuario y qué considera atractivo (GSR)

Usando los métodos auto informes conducidos tras la experiencia conoceremos:

  • Por qué los usuarios miran ciertos elementos en el sitio web
  • Por qué los usuarios se sienten de cierta manera cuando miran los elementos
  • Cómo los usuarios se sienten en diversas etapas de la experiencia de compra (como la página principal, landing pages, páginas de productos, o el proceso de pago)

Al comprender los altos y bajos del viaje emocional de un usuario, se pueden optimizar las características del diseño para minimizar puntos débiles específicos y hacer hincapié en los elementos que proporcionan una experiencia positiva.

Desafíos para el Investigador de Experiencia de Usuario

Los beneficios de estas herramientas también implican retos importantes para los investigadores de los usuarios. Todas estas herramientas se originan en campos que son desconocidos para los investigadores de usuario, como la fisiología y neurología humana. Por lo tanto, estas herramientas pueden ser intimidantes y potencialmente riesgosas para que las adopten los investigadores de usuarios. Incluso con los nuevos y más accesibles equipos, hay muchos desafíos al enfrentar este tipo de investigación:

  • Se debe adquirir la competencia técnica necesaria para preparar y operar este equipamiento avanzado y así asegurar un proceso riguroso para recolectar datos precisos
  • Es necesario que alguien en tu equipo tenga conocimientos en neurociencia, cognición, o psicología experimental (de preferencia un doctorado).
  • Los estudios fisiológicos requieren mayores tamaños de muestra que los métodos típicos de investigación cualitativos de usuarios.
  • Las pruebas piloto son esenciales para determinar si el equipamiento está configurado correctamente y entregando los tipos de datos esperados.
  • El equipamiento debe ser calibrado cuidadosamente con cada participante y las mediciones de referencia se deben tomar en cuenta ante las variaciones de resultados entre individuos.

Otro desafío está en la interpretación de los datos, ya que el mismo tipo de respuestas fisiológicas se puede observar para diferentes estados mentales, como la frustración, sorpresa, o el aumento de esfuerzo cognitivo. Una correcta interpretación requiere el conocimiento del contexto en el que se obtuvo la información. Para entender mejor los resultados es recomendable registrar observaciones adicionales junto con las mediciones fisiológicas, tales como comentarios, comportamientos observados, y valoraciones subjetivas de los acontecimientos.

El Futuro de Estudiar las Emociones

Los métodos actuales para comprender la respuesta emocional de un usuario son, en el mejor de los casos, limitados, y en el peor, completamente inexactos. A medida que el campo de la experiencia del usuario evoluciona, tenemos que explorar nuevos métodos para medir la respuesta emocional utilizando tecnologías prestadas y refinadas de la neurociencia y biología humana. Todavía hay retos importantes para la implementación de estas nuevas mediciones. Sin embargo, la actual generación de herramientas es considerablemente más económica y práctica para los investigadores UX que nunca antes, y todo indica que esta tendencia continuará en los próximos años. Estoy convencido de que con el tiempo vamos a llegar a un punto en que será común la obtención de datos fisiológicos que nos ayuden a entender las emociones de nuestros usuarios. Un nuevo mundo de la investigación experiencia de usuario que incluye respuestas fisiológicas está en camino. Manténganse al tanto.

Dónde aprender más

Introducción al Estudio de las Emociones

Eye Tracking

  • Eye Tracking in UX Design -Este libro entrega una visión general del seguimiento de los ojos en la investigación UX y, específicamente, se refiere a la utilización de la biometría.
  • SMI Eye Tracker + EEG Integration – SMI está trabajando actualmente para integrar las mediciones fisiológicas con seguimiento de los ojos.

EEG

  • EmotivEpoc Headset – El Emotiv EEG headset ofrece la mejor combinación de precisión y que los participantes relativamente sientan escasa molestia.

GSR

  • Shimmer3 GSR + Optical Pulse – La Shimmer3 es una unidad de GSR inalálbrica, fácil de configurar y que relativamente genera pocas molestias en el participante.

Análisis Facial

Soluciones Integradasted Solutions

  • iMotions Platform – La plataforma de atención iMotion proporciona una plataforma para recoger y analizar de numerosos datos de mediciones bio/neurométricas.
  • Noldus Usability Testing Suite – Software para la captura de diversas métricas de pruebas de usabilidad que ahora incluye un módulo de análisis facial.

Texto de la Figura 8: Modelo Excitación/Valencia 

Este diagrama muestra una lista de palabras descriptivas alrededor de un círculo. El círculo está dividido por una línea horizontal que muestra la valencia desde desagradable a agradable y una línea vertical que muestra la excitación desde activada a desactivada. Partiendo desde la parte superior del círculo, los cuatro cuadrantes son:

  • Activado y Agradable
    • alerta
    • emocionado
    • entusiasta
    • exaltado
    • feliz
  • Desactivado y Agradable
    • contento
    • sereno
    • relajado
    • calmo
  • Desactivado y Desagradable
    • aburrido
    • inactivo
    • deprimido
    • triste
  • Activado y Desagradable
    • perturbado
    • estresado
    • nervioso
    • tenso

[:]

Schall, A. (2015). [:en]The Future of UX Research: Uncovering the True Emotions of Our Users[:zh]未来[:KO]우리 사용자들의 진실된 감정을 찾아서: UX 연구의 미래[:pt]Revelando as verdadeiras emoções de nossos usuários: O futuro da pesquisa de experiência do usuário[:ja]ユーザーの真の心理を明らかにする:UXリサーチの将来[:es]Develando las emociones reales de nuestros usuarios: el futuro de la investigación de experiencia del usuario[:]. User Experience Magazine, 15(2).
Retrieved from https://oldmagazine.uxpa.org/the-future-of-ux-research/

Comments are closed.