Sentiment induction for attention and lexicon regularized neural sentiment analysis: improving aspect-based neural sentiment analysis with lexicon enhancement, attention regularization and sentiment induction

Abstract

Deep neural networks as an end-to-end approach lacks flexibility and robustness from an application point of view, as one cannot easily adjust the network to fix an obvious problem, especially when new training data is not available: e.g. when the model consistently predicts positive when seeing the word “disappointed”. Meanwhile, it is less stressed that the attention mechanism is likely to “over-focus” on particular parts of a sentence, while ignoring positions which provide key information for judging the polarity. In this thesis, we describe a simple yet effective approach to leverage lexicon information so that the model becomes more flexible and robust. We also explore the effect of regularizing attention vectors to allow the network to have a broader “focus” on the input sequence. Moreover, we try to further improve the proposed lexicon enhanced neural sentiment analysis system by applying sentiment domain adaptation.

Las redes neuronales profundas como enfoque integral carecen de flexibilidad y robustez desde el punto de vista de la aplicación, ya que no se puede ajustar fácilmente la red para solucionar un problema evidente, especialmente cuando no se dispone de nuevos datos de entrenamiento: por ejemplo, cuando el modelo predice sistemáticamente positivo al ver la palabra ”decepcionado”. Por otro lado, se hace menos hincapié en que es probable que el mecanismo de atención "se concentre demasiado” en partes concretas de una oración, mientras ignora posiciones que proporcionan información clave para juzgar la polaridad. En esta tesis, describimos un enfoque sencillo pero eficaz para aprovechar la información del léxico de modo que el modelo sea maás flexible y robusto. También exploramos el efecto de regularizar los vectores de atención para permitir que la red tenga un ”enfoque” más amplio en la secuencia de entrada. Además, tratamos de mejorar aún más el sistema que proponemos de análisis profundo de sentimiento con el soporte de léxico aplicando sobre el mismo la adaptación del anàlisis de sentimiento al dominio.

深度神经网络作为一种端到端的方法，从应用的角度来看缺乏灵 活性和鲁棒性。例如，当模型看到词语“失望”却始终预测正值时， 在没有新的训练数据的情况下，很难轻易地通过调整模型来解决问 题。另外，常用的注意力机制可能会“过度关注”句子的某些特定部 分，从而忽略能提供判断极性关键信息的位置；此情况在业界鲜有 提及。在本文中，我们描述一种简单却行之有效的方法将词典信息 与深度神经网络相结合，从而改进模型的灵活性及鲁棒性。我们亦 探索通过正则化注意力向量来抑制注意力机制“过度关注”的问题。 此外，我们尝试通过应用情感域自适应来进一步改进所提出的词典 增强型神经情感分析系统。