Counter a drone via deep reinforcement learning

Abstract

(English) Unmanned aerial vehicles (UAV) also known as drones have been used for a variety of reasons such as surveillance, reconnaissance, shipping and delivery, etc. and commercial drone market growth is expected to reach remarkable levels in the near future. However, drones can accidentally or intentionally violate the air routes of major airports, flying too close to commercial aircraft or invading the privacy of someone. In order to prevent these unwanted events to happen, counter-drone technology is needed to eliminate the threats coming from drones and hopefully the drones can be integrated into the skies safely. A number of counter-drone solutions are being developed, but the cost of drone detection ground systems can also be very high, depending on the number of sensors deployed and powerful fusion algorithms.

Counter-drone system supported by an artificial intelligence (AI) method can be an efficient way to fight against drones instead of human intervention. Considering the recent advances in AI, counter-drone systems with AI can also be very accurate. The time required to engage with the target can be less than other methods based on human intervention such as bringing down a malicious drone by a laser gun. Also, AI can identify and classify the target with a high precision in order to prevent a false interdiction with the targeted object. Counter-drone technology with AI will bring important advantages to the threats coming from some drones and will help the skies to become safer and more secure. AI has been used in different research areas in aerospace to create an intelligent system. Especially, a drone can be controlled by AI methods such as deep reinforcement learning (DRL) in different purposes. With the support of DRL, drones can become more intelligent and eventually they can be fully autonomous.

The main objective of this PhD thesis is to develop an artificial intelligence approach based on deep reinforcement learning to counter drones that may pose a threat to safety or security. AI agents can continuously learn and adapt to new threats and countering drones with DRL has several advantages. One of the most important advantages is autonomous decision-making which enables AI agents to make autonomous decisions based on their environment and the situation. In this way, drone threats can be countered quickly and effectively, even in vulnerable environments. Additionally, AI agents can be trained in simulation, allowing for safe experimentation, testing, and validation before deployment.

Firstly, DRL architecture is proposed to make drones behave autonomously inside a suburb neighborhood environment. Secondly, a state-of-the-art object detection algorithm for drone detection is also added to the counter drone solution. The construction of drone detection models involves transfer learning and training a state-of-the-art object detection algorithm. After achieving fully autonomous drone which can avoid obstacles in an environment, a deep reinforcement learning method to counter a drone in a 2D space in an environment is presented. In this way, drone can maintain its current altitude, and it can try to catch another drone without crashing any obstacle in the environment. Finally, a deep reinforcement learning model is developed to counter a drone in a challenging 3D space in an environment. The learner drone is not only moving in a 2D space but also changing altitudes to eliminate the target drone.

It is important to ensure that AI agents are properly trained and validated so that they can make safe and responsible decisions. Without proper testing and validation, there is a risk that AI agents in sensitive areas such as airports or critical infrastructure might perform actions that could be dangerous or violate regulations. As a result, DRL-based counter-drone solutions can be made more practical, efficient, and secure for future use.

(Català) Els vehicles aeris no tripulats, també coneguts com a drons, s'han utilitzat per una gran varietat de tasques, com ara vigilància, reconeixement, lliurament de paquets, etc. i s'espera que el creixement del mercat de drons arribi a nivells notables en un futur proper. Tot i això, els drons poden violar accidentalment o intencionadament les rutes aèries d'aeroports, volar massa a prop d'avions comercials o envair la privacitat de les persones. Per evitar que succeeixin aquestes situacions, cal tecnologia contra-drons capaç d'eliminar les amenaces dels drons maliciosos i deixar els altres integrar-se a l'espai aeri de manera segura.

Un sistema contra-drons recolzat per la intel·ligència artificial (IA) pot ser una forma eficient de lluitar contra els drons ilegals, sense necessitat d'intervenció humana. Tenint en compte els avenços recents a la IA, els sistemes contra-drons poden arribar a ser molt precisos i el temps requerit molt menor comparat amb enderrocar-lo amb, per exemple, una pistola làser operada a mà. A més, la IA pot identificar i classificar un dron objectiu amb una alta precisió i evitar un error en neutralitzar un objectiu equivocat. La tecnologia contra-drons amb IA brindarà avantatges importants a les amenaces que suposen alguns drons i ajudarà que el cel es torni més segur. Especialment, un drone pot ser controlat per mètodes d'aprenentatge profund per reforç (DRL) i eventualment arribar a ser completament autònom.

L'objectiu principal d'aquesta tesi doctoral és desenvolupar una solució contra-drons controlada per intel·ligència artificial i basada en aprenentatge profund per reforç, per contrarrestar els drons que poden representar una amenaça per a la seguretat. Aquesta solució consisteix en un altre dron, que anomenem agent intel·ligent. Un agent basat en IA pot aprendre i adaptar-se contínuament a un entorn canviant. Un dels avantatges més importants d'aquesta solució és la presa de decisions autònoma i, per tant, mes econòmica. D'aquesta manera, les amenaces dels drons es poden contrarestar de manera ràpida i eficaç, fins i tot en entorns complexos. Aquests agents intel·ligents s'entrenen amb simulacions, cosa que permet una experimentació, prova i validació segures abans de la implementació.

En primer lloc, s'ensenya el dron a comportar-se de manera autònoma en un entorn de barri suburbà. En segon lloc, s'estén l'aprenentatge per convertir-se en una solució contra-drons. Aquest segon pas es recolza en un algorisme de detecció d’objectes d’última generació, modificat per a la detecció de drons. En la construcció de models de detecció de drons es fa servir l'aprenentatge per transferència per accelerar l'aprenentatge. Després de l'aprenentatge l'agent pot evitar obstacles de l'entorn i alhora és capaç de neutralitzar un dron en un espai 2D, és a dir, amb el dron agent i el dron objectiu volant a la mateixa altura. Finalment, es desenvolupa un model d'aprenentatge profund per reforç per contrarestar un dron també en un espai 3D, un entorn de complexitat desafiant. Per això el dron agent ha d'aprendre a canviar d'alçada per capturar el dron maliciós.

DRL és un enfocament prometedor per a tasques contra-drons. Implica entrenar models d'IA, cosa que requereix molta potència computacional. A més, és important assegurar-se que els agents intel·ligents estiguin degudament capacitats i validats perquè puguin prendre decisions segures i responsables. Sense les proves i la validació adequades, hi ha el risc que els agents intel·ligents, en àrees sensibles, com ara aeroports o infraestructura crítica, puguin fer accions que podrien ser perilloses en violar les normes establertes. En aquesta tesi també s'aborda el desafiament de l'explicabilitat de l'AI perquè les solucions contra-drons basades en DRL puguin ser més pràctiques, eficients i segures per al seu ús en el futur.

(Español) Los vehículos aéreos no tripulados, también conocidos como drones, se han utilizado por una variedad de razones, como vigilancia, reconocimiento, entrega de paquetes, etc. y se espera que el crecimiento del mercado de drones alcance niveles notables en un futuro próximo. Sin embargo, los drones pueden violar accidental o intencionadamente las rutas aéreas de aeropuertos, volar demasiado cerca de aviones comerciales o invadir la privacidad de las personas. Para evitar que sucedan estas situaciones, se necesita tecnología contra-drones capaz de eliminar las amenazas de los drones maliciosos y dejar a los demás integrarse en el espacio aéreo de manera segura.

Un sistema contra-drones apoyado por la inteligencia artificial (IA), puede ser una forma eficiente de luchar contra los drones, sin necesidad de intervención humana. Teniendo en cuenta los avances recientes en IA, los sistemas contra-drones pueden llegar a ser muy precisos y el tiempo requerido mucho menor comparado con derribarlo con, por ejemplo, una pistola láser operada manualmente. Además, la IA puede identificar y clasificar el objetivo con alta precisión para evitar un error al neutralizar a un objetivo equivocado. La tecnología contra-drones con IA brindará ventajas importantes a las amenazas que suponen algunos drones y ayudará a que los cielos se vuelvan más seguros. Especialmente, un dron puede ser controlado por métodos de aprendizaje profundo por refuerzo (DRL) y eventualmente llegar a ser completamente autónomos.

El objetivo principal de esta tesis doctoral es desarrollar un enfoque de inteligencia artificial basado en el aprendizaje profundo por refuerzo para contrarrestar los drones que pueden representar una amenaza para la seguridad con otro dron, que denominamos agente. Un agente basado en IA puede aprender y adaptarse continuamente a un entorno cambiante. Una de las ventajas más importantes de esta solución es la toma de decisiones autónoma y por tanto económica. De esta forma, las amenazas de los drones se pueden contrarrestar de forma rápida y eficaz, incluso en entornos complejos. Estos agentes inteligentes se entrenan con simulaciones, lo que permite una experimentación, prueba y validación seguras antes de la implementación.

En primer lugar, se enseña al dron a comportarse de forma autónoma en un entorno de barrio suburbano con DRL. En segundo lugar, se extiende su aprendizaje para actuar como una solución contra-drones. Este segundo paso se apoya en un algoritmo de detección de objetos de última generación, modificado para la detección de drones. La construcción de modelos de detección de drones usa el aprendizaje por transferencia para acelerar el aprendizaje. Tras el aprendizaje el agente puede evitar obstáculos del entorno a la vez que es capaz de contrarrestar un dron en un espacio 2D, es decir, con el dron agente y el dron objetivo volando a la misma altura. Finalmente, se desarrolla un modelo de aprendizaje profundo por refuerzo para contrarrestar un dron también en un espacio 3D, un entorno de complejidad desafiante. Para ello el dron agente debe aprender a cambiar de altura para capturar al dron malicioso.

DRL es un enfoque prometedor para tareas contra-drones. Implica entrenar modelos de IA, lo que requiere mucha potencia computacional. Es importante además asegurarse de que los agentes de IA estén debidamente capacitados y validados, para que puedan tomar decisiones seguras y responsables. Sin las pruebas y la validación adecuadas, existe el riesgo de que los agentes de IA en áreas sensibles, como aeropuertos o infraestructura crítica, puedan realizar acciones que podrían ser peligrosas al violar las normas establecidas. En esta tesis también se aborda el desafío de la explicabilidad de la AI, para que las soluciones contra-drones basadas en DRL puedan ser más prácticas, eficientes y seguras para uso futuro.