Sports broadcasting and multiple object tracking with deep learning methods

Abstract

Since less than a decade ago, deep learning techniques started to dominate many different fields, revolutionizing the possibilities of artificial intelligence. Seeing their potential, industrial sectors started to invest in applying such technologies as key components of the company strategy. This thesis has been developed in an industrial context, in AutomaticTV. The main focus along this period has been the transfer of knowledge and know-how between academia and industry, development of tools to exploit this knowledge, the exploration of new techniques for future challenges, and, from an academic research perspective, contributions to the multiple object tracking problem.

The first part of the thesis is devoted to the introduction of deep learning technologies to AutomaticTV, a company dedicated to automatic sports analysis and broadcasting, and the development of tools and tasks that surround the application.

The second part of this thesis introduces the contributions to the multiple object tracking challenge. We present TrajE, a trajectory estimator based on mixture density networks and beam search, used to boost the performance of existing multiple object trackers, and introduce an occlusion reconstruction step using the estimated trajectory information. By adding TrajE to an existing multiple object tracker, we boost its performance by 6.3, 1.8 points in MOTA and IDF1 scores respectively, becoming the new state of the art in the MOTChallenge dataset.

Des de fa menys de deu anys, les tècniques basades en “deep learning” van començar a dominar molts camps diferents, revolucionant les possibilitats de la intel·ligència artificial. Veient el seu potencial, l'industria va començar a invertir per aplicar aquestes tecnologies com a components clau per l’estratègia de l’empresa. Aquesta tesi ha estat desenvolupada en el context d’AutomaticTV. Durant aquest període, el focus principal ha estat la transferència de coneixement entre l’acadèmia i la indústria, el desenvolupament d’eines per explotar aquest coneixement, l’exploració de noves tècniques per futurs reptes i, des d’una perspectiva de recerca acadèmica, contribucions al problema del seguiment de múltiples objectes “multiple object tracking”. La primera part d’aquesta tesi es centra en la introducció de tecnologies basades en deep learning a AutomaticTV, una empresa dedicada a l’automatització de l’anàlisi i retransmissió d’esports, i al desenvolupament de les eines que ho envolten. La segona part d’aquesta tesi presenta les contribucions fetes al repte del seguiment de múltiples objectes. Presentem TrajE, un estimador de trajectòries basat en “mixture density networks” i “beam search”, utilitzat per millorar les prestacions de tècniques existents pel seguiment de múltiples objectes, i introduïm un pas de reconstrucció d’oclusions fent servir la trajectòria estimada. Afegint TrajE a un “multiple object tracker”, CenterTrack, fem que les seves prestacions millorin un 6.3 i 1.8 punts en puntuacions de MOTA i IDF1 respectivament, esdevinguent el nou estat de la qüestió al dataset de MOTChallenge.