Understanding the migration flows of the European Union with Big Data

Abstract

A medida que el ser humano ha sido capaz de desarrollar la tecnología, se ha desarrollado también la cantidad de información que se genera en el mundo. No solo las personas generan información, sino que también las mismas aplicaciones y equipos informáticos. Del deseo de sacar valor añadido de la información generada por las empresas e instituciones públicas nació el análisis de datos, llegando a nuestros días en donde la cantidad de información es tan ingentemente grande que surge el Big Data como una forma nueva de entender el flujo de información y la forma de explotarlo de forma eficiente. Los recursos en nuestro planeta son limitados, así como lo son los presupuestos de la Unión Europea (UE). Solo el gasto en política de migración exterior de la UE en los países de la vecindad oriental y del mediterráneo meridional hasta 2014 sobre veintitrés de los proyectos contratados ha sido de 89 millones de euros de un total de 742 millones. He decidido hacer este proyecto para intentar arrojar un poco de luz sobre los flujos migratorios utilizando el Big Data para ello y, así, intentar conseguir un mejor rendimiento de los pocos recursos que la UE invierte en inmigracion. Este informe, al utilizar Big Data, buscará las fuentes de datos más diversas y de diferentes orígenes siempre sean datos oficiales o de instituciones cuyo método de recogida de datos pueda avalar que los datos analizados son correctos. Esto es así porque deseamos tener un dataset lo más completo y diverso posible. Finalmente, se ha desarrollado un ecosistema capaz de conectar con un sistema gestor de base de datos (MongoDB), utilizar una herramienta de procesamiento en paralelo de almacenamiento distribuido (Hadoop) y que es capaz de realizar informes programables con una herramienta de visualización de datos (Pentaho).

As human beings have been able to develop technology, the amount of information that is generated in the world has also been developed. Not only people generate information but also the same applications and computer equipment as servers. From the desire to extract added value from the information generated by companies and public institutions, data analysis was born. Nowadays, where the amount of information is so massively large, Big Data is born as a new way of understanding the flow of information and the way of exploiting it efficiently. The resources on our planet are limited as are the budgets of the European Union (EU). Only the Spending on the EU's foreign migration policy in the countries of the eastern neighborhood and the southern Mediterranean until 2014 in twenty-three projects of the contracted projects has been 89 million euros out of a total of 742 million. I have decided to do this project to try to shed some light on migratory flows using Big Data, and thus, try to get a better return on the few resources that the European Union invests in immigration. This report, when using Big Data, will search the most diverse data sources and from different origins whenever official data or from institutions whose data collection method or reputation can guarantee that the data analyzed is right. This is because we want to have as complete and diverse a dataset as possible. Finally, an ecosystem has been developed capable of connecting with a database management system (MongoDB), using a distributed storage parallel processing tool (Hadoop) and capable of producing programmable reports with a data visualization tool (Pentaho).