Searching for Worth: The Impact of Effort Throughout Reward Processing

Abstract

[eng] What drives behavior? This fundamental inquiry has been the cornerstone of disciplines spanning from philosophy to biology. In neuroscience and economics, however, the prevailing viewpoint posits that reward plays a central role in motivating an organism’s behavior, such that one is willing to endure larger costs for more valuable rewards. Within this framework, effort naturally becomes an integral component of reward valuation since the subjective value of a reward can be observed through the level of effort one is willing to expend to obtain it. Despite the inherent connection between effort and reward, the impact that effort costs have on reward value – and the neural architecture that underlies that valuation process – remains unclear. Extant research indicates that the processing of effort sometimes occurs in the same brain regions as other cost-based rewards, while at other times, it engages distinct prefrontal regions, suggesting that effort demands are treated separately from other reward-related costs. Additionally, substantial evidence suggests that effort requirements diminish the value of prospective rewards, as demonstrated by the consistent preference of animals and humans for pursuing less effortful rewards. Interestingly, this preference reverses once a reward is obtained such that more value is attributed to rewards earned through greater effort. This dissociation presents a unique opportunity to explore how effort and reward are integrated during reward receipt and incorporated into representations of future predicted rewards. Nevertheless, previous studies tend to focus on select phases of effort-based reward processing in isolation, obscuring a fuller understanding of this valuation process. This factor, coupled with variability in experimental paradigms and insufficient control for confounders like success probability, potentially contribute to inconsistencies in previous findings, necessitating new research focusing on how pure effort demand impacts reward processing. In this thesis, we employed a diverse range of techniques to examine the influence of effort costs at different stages of reward processing. Firstly, we conducted a comprehensive meta- analysis, utilizing both coordinate-based and image-based approaches to identify brain regions consistently involved in signaling prospective effort demands and the net value of effort-based rewards. Our findings indicate that during the evaluation and selection of cues, the net value of effort-based rewards is represented by a system comprised of the ventromedial prefrontal cortex (vmPFC) and the ventral striatum, regions known to play a role in processing the subjective value of rewards across various domains, costs, and stages of processing. The meta-analysis also revealed a specific role for the pre-sensory motor area (pre-SMA), which tracked both effort costs and net value, albeit in a different manner than the vmPFC. These results provide robust evidence for the distinct contributions of the vmPFC and pre-SMA in valuing incentivized effort

costs and highlight their central involvement in the network that drives motivated behavior.

While preparing the meta-analysis, we observed that many experimental designs included features that generated confounds that could have potentially contributed to conflicting findings from previous studies. Motivated by this observation, we aimed to design a simple experimental paradigm that would allow us to isolate pure effort and reward value signals by controlling critical confounding factors, measuring responses across different phases of reward processing, and assessing effort-based reward signals in the absence of option comparison. Surprisingly, across two experiments, we failed to observe any net value signal during cue evaluation at the pre- SMA/dACC (as putatively measured by frontal midline theta). Instead, effects in component P3 suggest that higher magnitude and less probable rewards were more salient than lower magnitude and more probable rewards, and that paid effort costs amplified this effect. Additionally, we observed enhanced theta power for successful high effort outcomes, although theta did not track reward magnitude. These findings suggest that the pre-SMA/dACC does not track prospective effort when success rates are equivalent between effort conditions and in the absence of option comparison. Finally, effort-related effects at feedback indicate that rewards earned through high effort are more salient, suggesting a general attentional bias toward high effort outcomes.

We next aimed to test whether this attentional bias could potentially modulate individuals learning speed. Specifically, we were interested in exploring how cognitive effort modulates the reinforcing value of received rewards. Our results indicated that participants successfully acquired cue-reward contingencies but that learning rates were unaffected by effort demands. Instead, we observed an effect of performance feedback, such that learning rates were higher when participants successfully completed the effort task than when efforts were unsuccessful.

Collectively, the findings presented in this thesis provide several crucial insights into the field of effort-based reward processing. Firstly, we provide compelling evidence that the net value of prospective effort-based rewards engages a system involving the vmPFC and pre-SMA, with supporting roles played by the ventral striatum, anterior cingulate cortex, and anterior insula. This suggests that effort is treated similarly to other costs within the framework of value-based decision-making. Furthermore, we demonstrate that when reward probabilities are fully dissociated from effort requirements, frontal midline theta primarily reflects expended effort during reward delivery and that effort enhances the salience of rewards during feedback, which suggests that more attention is allocated to rewards obtained through greater effort. Lastly, we investigated the impact of cognitive effort demands on reward learning and found that positive performance feedback, but not effort demands, facilitated the updating of cue- reward contingencies.

In conclusion, this thesis significantly advances our understanding of effort-based reward valuation by shedding light on the neural mechanisms involved at different stages of reward processing. This collection of work provides conclusive evidence for the roles of the vmPFC and pre-SMA in valuing prospective incentivized effort costs. The current findings also provide additional evidence in support of the idea that effort is weighed differently in early stages of reward processing (i.e., choice, cue evaluation, etc.) than in later stages (i.e. feedback, learning, etc.) and that performance feedback may be more relevant in certain contexts than sheer effort expenditure. Critically, these findings also underscore the need to reevaluate current methodologies in the field of neuroeconomics, as the failure to replicate certain established effects calls for a comprehensive reevaluation of existing practices.

[spa] ¿Qué impulsa el comportamiento? Esta pregunta fundamental ha sido el pilar de diversas disciplinas, desde la filosofía hasta la biología. En neurociencia y economía, la perspectiva predominante propone que la recompensa es uno de los principales impulsores del comportamiento del organismo y que estamos dispuestos a invertir más esfuerzo por recompensas de mayor valor. Según esta lógica, el esfuerzo es un componente natural de la recompensa, ya que el valor subjetivo de una recompensa puede observarse en el grado de esfuerzo que uno invierte para obtenerla. A pesar de la relación clara entre el esfuerzo y la recompensa, existen aún grandes lagunas en nuestro conocimiento sobre como el esfuerzo afecta el valor de la recompensa. Hallazgos de experimentos de neuroimagen indican que a veces el esfuerzo se procesa en las mismas regiones del cerebro que otros costes, pero otras veces se procesa en regiones completamente diferentes. También tenemos evidencia significativa de que las demandas de esfuerzo reducen el valor de las recompensas futuras, como se evidencia en la observación consistente de que animales y humanos prefieren buscar recompensas que requieran menos esfuerzo. Sin embargo, curiosamente, una vez que se obtiene una recompensa, esta relación se invierte y las recompensas que fueron conseguidos tras mayor esfuerzo tienden a ser más valoradas. Esta disociación nos brinda una oportunidad única para observar cómo se integra el coste de esfuerzo al valor de una recompensa antes y después de ejercer ese esfuerzo, y cómo se incorporan estas representaciones en las predicciones de recompensas futuras. Sin embargo, los estudios anteriores tienden a centrarse, de forma aislada, en fases selectas del procesamiento de recompensas, lo cual limita una comprensión más completa del proceso de valoración. Junto con diferencias entre paradigmas experimentales y la falta de control de factores de confusión como la probabilidad de éxito, estos factores potencialmente contribuyen a las inconsistencias en los hallazgos anteriores, lo cual impulsa nuevas investigaciones que puedan captar el efecto de esfuerzo en representaciones de la recompensa. En esta tesis se ha utilizado un conjunto diverso de técnicas para investigar el impacto del esfuerzo en diferentes etapas del procesamiento de la recompensa. En primer lugar, realizamos un metaanálisis híbrido basado en coordenadas e imágenes para identificar las regiones consistentemente involucradas en la señalización de las demandas prospectivas de esfuerzo y el valor neto de las recompensas basadas en el esfuerzo. Nuestros hallazgos sugieren que durante la evaluación y elección de las señales, el valor de las recompensas basadas en el esfuerzo se representa en un sistema compuesto por la corteza prefrontal ventromedial (vmPFC) y el cuerpo estriado ventral, regiones implicadas en el procesamiento del valor subjetivo de las recompensas en diversos dominios y con diversos costes. El metaanálisis también reveló un papel especial para el área motora pre-sensorial (pre-SMA), que seguía tanto los costes del esfuerzo como el valor neto, aunque con efectos opuestos a las que fueron identificadas en el vmPFC. Estos resultados proporcionan evidencia sólida sobre el papel diferenciable del vmPFC y el pre-SMA en la valoración de los costes del esfuerzo incentivado, y muestran que estas dos regiones son actores centrales en la red que impulsa el comportamiento motivado.

Al revisar los datos del metaan´alisis, observamos varias diferencias importantes en los diseños experimentales, lo cual limitaba la interpretación de los hallazgos. Esto nos llevó a intentar aislar las señales puras de esfuerzo y valor de recompensa mediante la creación de un paradigma que nos permitiera: 1) controlar factores críticos de confusión, 2) medir las respuestas en diferentes fases del procesamiento de la recompensa y 3) medir las señales de recompensa basadas en el esfuerzo sin tener que comparar opciones. Sorprendentemente, en dos experimentos no logramos encontrar ninguna señal de valor neto en la evaluación de las señales. Por el contrario, los efectos en el componente P3 sugieren que las recompensas de mayor magnitud y menos probables resultaron más salientes que las recompensas de menor magnitud y más probables, y que los costes del esfuerzo amplificaron este efecto. Además, observamos un aumento en la potencia de la onda theta para los resultados exitosos de alto esfuerzo, aunque dicha actividad no correlacionó con la magnitud de la recompensa. Estos hallazgos sugieren que el preSMA/dACC no sigue el esfuerzo prospectivo cuando las tasas de éxito son equivalentes entre las condiciones de esfuerzo y en ausencia de comparación de opciones. Por último, los efectos relacionados con el esfuerzo en la retroalimentación indican que las recompensas obtenidas a través de un alto esfuerzo son más relevantes, lo que sugiere un sesgo de atención general hacia los resultados de alto esfuerzo.

La ausencia de una señal de valor neto en la evaluación de las señales nos llevó a cuestionar la relevancia del valor neto en esta fase bajo condiciones en las cual el esfuerzo era obligatorio y las probabilidades de recompensa eran comparables entre diferentes niveles de esfuerzo. En su lugar, planteamos la hipótesis de que la entrega de recompensa podría ser más relevante, ya que el esfuerzo y los resultados de recompensa podrían proporcionar más información sobre el valor de una opción determinada. Por lo tanto, nos propusimos explorar si el esfuerzo cognitivo modula el valor reforzante de una recompensa recibida. Nuestros resultados indicaron que los participantes adquirieron exitosamente las contingencias estímulo-recompensa, pero que la tasa de aprendizaje no se vio afectada por las demandas de esfuerzo. Sin embargo, observamos un efecto de retroalimentación de rendimiento, ya que las tasas de aprendizaje fueron más altas cuando los participantes recibieron retroalimentación positivo.

En conjunto, los hallazgos de esta tesis contribuyen al campo del procesamiento de recompensas basado en el esfuerzo de varias maneras cruciales. En primer lugar, proporcionamos las primeras pruebas concluyentes de que el valor neto de las recompensas prospectivas basadas en el esfuerzo recluta un sistema compuesto por la vmPFC y el pre-SMA, con papeles de apoyo desempeñados por el estriado ventral, la corteza cingulada anterior y la ínsula anterior. Esto sugiere que el esfuerzo se trata de manera similar a otros costes dentro del marco de la toma de decisiones basada en el valor. Además, demostramos que cuando las probabilidades de recompensa se desvinculan por completo de los requisitos de esfuerzo, la amplitud theta en la línea media frontal refleja principalmente el esfuerzo invertido durante la entrega de la recompensa, y que el esfuerzo realza la relevancia de las recompensas durante el feedback, lo que contradice la noción de que las recompensas obtenidas con mayor esfuerzo pierden valor. Por último, investigamos el impacto de las demandas de esfuerzo en el aprendizaje de recompensas y encontramos que el feedback positivo, pero no las demandas de esfuerzo, facilita la actualización de las contingencias estímulo-recompensa. En conclusión, esta tesis avanza significativamente nuestra comprensión del procesamiento de recompensas basado en el esfuerzo. Este conjunto de investigaciones proporciona evidencia concluyente sobre las funciones de la vmPFC y el pre-SMA en la valoración de los costes prospectivos incentivados del esfuerzo. Además, los hallazgos actuales respaldan la idea de que el esfuerzo se evalúa de manera diferente en las etapas iniciales del procesamiento de la recompensa (elección, evaluación de señales, etc.) que en las etapas posteriores (feedback, aprendizaje, etc.), y que el feedback de rendimiento puede ser más relevante en ciertos contextos que el simple esfuerzo. Es importante destacar que estos hallazgos también subrayan la necesidad de reevaluar las metodologías actuales en el campo de la neuroeconomía, ya que la falta de replicación de ciertos efectos establecidos requiere una revisión crítica de las prácticas existentes.