Evaluation - Task 2 - Social-TV corpus 1948 aspects in qrel, 1948 aspects in run. Accuracy: 0.632 Confusion matrix Actual Pred # Afición-N Afición-N 19 Afición-N Afición-P 10 Afición-N Afición-NEU 5 Afición-NEU Afición-NEU 13 Afición-NEU Afición-N 7 Afición-NEU Afición-P 4 Afición-P Afición-N 3 Afición-P Afición-P 26 Afición-P Afición-NEU 8 Arbitro-N Arbitro-NEU 1 Arbitro-N Arbitro-N 2 Arbitro-NEU Arbitro-NEU 3 Arbitro-P Arbitro-P 1 Arbitro-P Arbitro-NEU 1 Arbitro-P Arbitro-N 1 Autoridades-N Autoridades-NEU 4 Autoridades-N Autoridades-P 2 Autoridades-NEU Autoridades-P 1 Autoridades-NEU Autoridades-NEU 4 Autoridades-NEU Autoridades-N 4 Autoridades-P Autoridades-P 1 Entrenador-N Entrenador-N 35 Entrenador-N Entrenador-NEU 4 Entrenador-N Entrenador-P 5 Entrenador-NEU Entrenador-N 6 Entrenador-NEU Entrenador-NEU 3 Entrenador-NEU Entrenador-P 4 Entrenador-P Entrenador-N 6 Entrenador-P Entrenador-NEU 6 Entrenador-P Entrenador-P 5 Equipo-Atlético_de_Madrid-P Equipo-Atlético_de_Madrid-P 1 Equipo-Barcelona-N Equipo-Barcelona-N 82 Equipo-Barcelona-N Equipo-Barcelona-P 11 Equipo-Barcelona-N Equipo-Barcelona-NEU 30 Equipo-Barcelona-NEU Equipo-Barcelona-N 53 Equipo-Barcelona-NEU Equipo-Barcelona-P 11 Equipo-Barcelona-NEU Equipo-Barcelona-NEU 40 Equipo-Barcelona-P Equipo-Barcelona-N 10 Equipo-Barcelona-P Equipo-Barcelona-P 23 Equipo-Barcelona-P Equipo-Barcelona-NEU 13 Equipo-NEU Equipo-P 5 Equipo-NEU Equipo-NEU 5 Equipo-NEU Equipo-N 3 Equipo-P Equipo-NEU 4 Equipo-P Equipo-P 2 Equipo-Real_Madrid-N Equipo-Real_Madrid-NEU 1 Equipo-Real_Madrid-N Equipo-Real_Madrid-N 2 Equipo-Real_Madrid-N Equipo-Real_Madrid-P 5 Equipo-Real_Madrid-NEU Equipo-Real_Madrid-P 57 Equipo-Real_Madrid-NEU Equipo-Real_Madrid-N 2 Equipo-Real_Madrid-NEU Equipo-Real_Madrid-NEU 16 Equipo-Real_Madrid-P Equipo-Real_Madrid-P 289 Equipo-Real_Madrid-P Equipo-Real_Madrid-N 4 Equipo-Real_Madrid-P Equipo-Real_Madrid-NEU 23 Jugador-Alexis_Sánchez-N Jugador-Alexis_Sánchez-NEU 1 Jugador-Alexis_Sánchez-NEU Jugador-Alexis_Sánchez-NEU 3 Jugador-Alexis_Sánchez-P Jugador-Alexis_Sánchez-NEU 1 Jugador-Alvaro_Arbeloa-NEU Jugador-Alvaro_Arbeloa-NEU 1 Jugador-Alvaro_Arbeloa-P Jugador-Alvaro_Arbeloa-NEU 2 Jugador-Andrés_Iniesta-NEU Jugador-Andrés_Iniesta-NEU 1 Jugador-Andrés_Iniesta-P Jugador-Andrés_Iniesta-P 3 Jugador-Angel_Di_María-NEU Jugador-Angel_Di_María-P 6 Jugador-Angel_Di_María-NEU Jugador-Angel_Di_María-NEU 1 Jugador-Angel_Di_María-P Jugador-Angel_Di_María-P 16 Jugador-Angel_Di_María-P Jugador-Angel_Di_María-NEU 1 Jugador-Asier_Ilarramendi-NEU Jugador-Asier_Ilarramendi-P 2 Jugador-Asier_Ilarramendi-P Jugador-Asier_Ilarramendi-P 1 Jugador-Carles_Puyol-N Jugador-Carles_Puyol-P 2 Jugador-Carles_Puyol-NEU Jugador-Carles_Puyol-N 1 Jugador-Carles_Puyol-P Jugador-Carles_Puyol-P 4 Jugador-Cesc_Fábregas-N Jugador-Cesc_Fábregas-N 4 Jugador-Cesc_Fábregas-NEU Jugador-Cesc_Fábregas-N 1 Jugador-Cesc_Fábregas-NEU Jugador-Cesc_Fábregas-P 1 Jugador-Cristiano_Ronaldo-N Jugador-Cristiano_Ronaldo-NEU 7 Jugador-Cristiano_Ronaldo-N Jugador-Cristiano_Ronaldo-P 1 Jugador-Cristiano_Ronaldo-N Jugador-Cristiano_Ronaldo-N 3 Jugador-Cristiano_Ronaldo-NEU Jugador-Cristiano_Ronaldo-NEU 39 Jugador-Cristiano_Ronaldo-NEU Jugador-Cristiano_Ronaldo-N 7 Jugador-Cristiano_Ronaldo-NEU Jugador-Cristiano_Ronaldo-P 4 Jugador-Cristiano_Ronaldo-P Jugador-Cristiano_Ronaldo-NEU 6 Jugador-Cristiano_Ronaldo-P Jugador-Cristiano_Ronaldo-P 3 Jugador-Dani_Alves-N Jugador-Dani_Alves-N 20 Jugador-Dani_Alves-N Jugador-Dani_Alves-NEU 2 Jugador-Dani_Alves-N Jugador-Dani_Alves-P 1 Jugador-Dani_Alves-NEU Jugador-Dani_Alves-N 2 Jugador-Dani_Alves-NEU Jugador-Dani_Alves-P 1 Jugador-Dani_Alves-P Jugador-Dani_Alves-NEU 1 Jugador-Dani_Carvajal-N Jugador-Dani_Carvajal-P 1 Jugador-Dani_Carvajal-P Jugador-Dani_Carvajal-P 2 Jugador-Fábio_Coentrão-N Jugador-Fábio_Coentrão-P 1 Jugador-Fábio_Coentrão-NEU Jugador-Fábio_Coentrão-P 1 Jugador-Gareth_Bale-N Jugador-Gareth_Bale-NEU 1 Jugador-Gareth_Bale-N Jugador-Gareth_Bale-P 3 Jugador-Gareth_Bale-NEU Jugador-Gareth_Bale-N 2 Jugador-Gareth_Bale-NEU Jugador-Gareth_Bale-P 21 Jugador-Gareth_Bale-NEU Jugador-Gareth_Bale-NEU 2 Jugador-Gareth_Bale-P Jugador-Gareth_Bale-P 123 Jugador-Gareth_Bale-P Jugador-Gareth_Bale-NEU 5 Jugador-Gareth_Bale-P Jugador-Gareth_Bale-N 3 Jugador-Iker_Casillas-N Jugador-Iker_Casillas-P 3 Jugador-Iker_Casillas-N Jugador-Iker_Casillas-NEU 1 Jugador-Iker_Casillas-NEU Jugador-Iker_Casillas-P 4 Jugador-Iker_Casillas-P Jugador-Iker_Casillas-P 16 Jugador-Iker_Casillas-P Jugador-Iker_Casillas-NEU 3 Jugador-Iker_Casillas-P Jugador-Iker_Casillas-N 1 Jugador-Isco-NEU Jugador-Isco-P 5 Jugador-Isco-P Jugador-Isco-P 12 Jugador-Javier_Mascherano-N Jugador-Javier_Mascherano-N 1 Jugador-Javier_Mascherano-NEU Jugador-Javier_Mascherano-N 1 Jugador-Javier_Mascherano-NEU Jugador-Javier_Mascherano-NEU 1 Jugador-Javier_Mascherano-P Jugador-Javier_Mascherano-N 1 Jugador-Jesé_Rodríguez-NEU Jugador-Jesé_Rodríguez-P 1 Jugador-Jesé_Rodríguez-NEU Jugador-Jesé_Rodríguez-N 1 Jugador-Jesé_Rodríguez-P Jugador-Jesé_Rodríguez-P 1 Jugador-Jesé_Rodríguez-P Jugador-Jesé_Rodríguez-NEU 1 Jugador-José_Manuel_Pinto-N Jugador-José_Manuel_Pinto-N 12 Jugador-José_Manuel_Pinto-N Jugador-José_Manuel_Pinto-P 2 Jugador-José_Manuel_Pinto-N Jugador-José_Manuel_Pinto-NEU 2 Jugador-José_Manuel_Pinto-NEU Jugador-José_Manuel_Pinto-N 4 Jugador-José_Manuel_Pinto-NEU Jugador-José_Manuel_Pinto-P 1 Jugador-José_Manuel_Pinto-P Jugador-José_Manuel_Pinto-N 3 Jugador-José_Manuel_Pinto-P Jugador-José_Manuel_Pinto-P 1 Jugador-Karim_Benzema-NEU Jugador-Karim_Benzema-P 3 Jugador-Karim_Benzema-P Jugador-Karim_Benzema-N 1 Jugador-Karim_Benzema-P Jugador-Karim_Benzema-P 3 Jugador-Lionel_Messi-N Jugador-Lionel_Messi-N 75 Jugador-Lionel_Messi-N Jugador-Lionel_Messi-NEU 8 Jugador-Lionel_Messi-N Jugador-Lionel_Messi-P 2 Jugador-Lionel_Messi-NEU Jugador-Lionel_Messi-N 21 Jugador-Lionel_Messi-NEU Jugador-Lionel_Messi-NEU 2 Jugador-Lionel_Messi-NEU Jugador-Lionel_Messi-P 1 Jugador-Lionel_Messi-P Jugador-Lionel_Messi-NEU 1 Jugador-Lionel_Messi-P Jugador-Lionel_Messi-N 11 Jugador-Luka_Modric-NEU Jugador-Luka_Modric-P 1 Jugador-Luka_Modric-P Jugador-Luka_Modric-P 2 Jugador-Marc_Bartra-N Jugador-Marc_Bartra-P 6 Jugador-Marc_Bartra-N Jugador-Marc_Bartra-N 2 Jugador-Marc_Bartra-NEU Jugador-Marc_Bartra-N 3 Jugador-Marc_Bartra-NEU Jugador-Marc_Bartra-P 2 Jugador-Marc_Bartra-P Jugador-Marc_Bartra-P 6 Jugador-Marc_Bartra-P Jugador-Marc_Bartra-N 4 Jugador-Marc_Bartra-P Jugador-Marc_Bartra-NEU 1 Jugador-N Jugador-NEU 4 Jugador-N Jugador-N 5 Jugador-N Jugador-P 2 Jugador-NEU Jugador-N 4 Jugador-NEU Jugador-NEU 5 Jugador-NEU Jugador-P 4 Jugador-Neymar_Jr.-N Jugador-Neymar_Jr.-N 16 Jugador-Neymar_Jr.-N Jugador-Neymar_Jr.-NEU 8 Jugador-Neymar_Jr.-N Jugador-Neymar_Jr.-P 3 Jugador-Neymar_Jr.-NEU Jugador-Neymar_Jr.-NEU 4 Jugador-Neymar_Jr.-NEU Jugador-Neymar_Jr.-N 9 Jugador-Neymar_Jr.-NEU Jugador-Neymar_Jr.-P 2 Jugador-Neymar_Jr.-P Jugador-Neymar_Jr.-N 4 Jugador-Neymar_Jr.-P Jugador-Neymar_Jr.-P 1 Jugador-Neymar_Jr.-P Jugador-Neymar_Jr.-NEU 2 Jugador-P Jugador-P 11 Jugador-P Jugador-N 1 Jugador-P Jugador-NEU 5 Jugador-Pedro_Rodríguez-N Jugador-Pedro_Rodríguez-NEU 1 Jugador-Pedro_Rodríguez-NEU Jugador-Pedro_Rodríguez-NEU 1 Jugador-Pedro_Rodríguez-P Jugador-Pedro_Rodríguez-NEU 1 Jugador-Pepe-N Jugador-Pepe-N 3 Jugador-Pepe-NEU Jugador-Pepe-P 1 Jugador-Pepe-P Jugador-Pepe-N 1 Jugador-Pepe-P Jugador-Pepe-P 2 Jugador-Sergio_Busquets-N Jugador-Sergio_Busquets-N 1 Jugador-Sergio_Ramos-N Jugador-Sergio_Ramos-N 40 Jugador-Sergio_Ramos-N Jugador-Sergio_Ramos-NEU 19 Jugador-Sergio_Ramos-N Jugador-Sergio_Ramos-P 3 Jugador-Sergio_Ramos-NEU Jugador-Sergio_Ramos-N 18 Jugador-Sergio_Ramos-NEU Jugador-Sergio_Ramos-P 2 Jugador-Sergio_Ramos-NEU Jugador-Sergio_Ramos-NEU 2 Jugador-Sergio_Ramos-P Jugador-Sergio_Ramos-N 11 Jugador-Sergio_Ramos-P Jugador-Sergio_Ramos-P 18 Jugador-Sergio_Ramos-P Jugador-Sergio_Ramos-NEU 5 Jugador-Xabi_Alonso-P Jugador-Xabi_Alonso-P 1 Jugador-Xavi_Hernández-N Jugador-Xavi_Hernández-P 2 Jugador-Xavi_Hernández-N Jugador-Xavi_Hernández-N 1 Jugador-Xavi_Hernández-NEU Jugador-Xavi_Hernández-N 2 Jugador-Xavi_Hernández-NEU Jugador-Xavi_Hernández-NEU 1 Jugador-Xavi_Hernández-P Jugador-Xavi_Hernández-N 1 Jugador-Xavi_Hernández-P Jugador-Xavi_Hernández-P 2 Partido-N Partido-P 7 Partido-N Partido-NEU 10 Partido-N Partido-N 26 Partido-NEU Partido-P 29 Partido-NEU Partido-NEU 91 Partido-NEU Partido-N 10 Partido-P Partido-P 54 Partido-P Partido-NEU 32 Partido-P Partido-N 7 Retransmisión-N Retransmisión-NEU 3 Retransmisión-N Retransmisión-P 2 Retransmisión-NEU Retransmisión-NEU 14 Retransmisión-NEU Retransmisión-P 1 Category evaluation Cat P R F1 Afición-N 0.655 0.559 0.603 Afición-NEU 0.500 0.542 0.520 Afición-P 0.650 0.703 0.675 Arbitro-N 0.667 0.667 0.667 Arbitro-NEU 0.600 1.000 0.750 Arbitro-P 1.000 0.333 0.500 Autoridades-N 0.000 0.000 0.000 Autoridades-NEU 0.500 0.444 0.471 Autoridades-P 0.250 1.000 0.400 Entrenador-N 0.745 0.795 0.769 Entrenador-NEU 0.231 0.231 0.231 Entrenador-P 0.357 0.294 0.323 Equipo-Atlético_de_Madrid-P 1.000 1.000 1.000 Equipo-Barcelona-N 0.566 0.667 0.612 Equipo-Barcelona-NEU 0.482 0.385 0.428 Equipo-Barcelona-P 0.511 0.500 0.505 Equipo-NEU 0.556 0.385 0.455 Equipo-P 0.286 0.333 0.308 Equipo-Real_Madrid-N 0.250 0.250 0.250 Equipo-Real_Madrid-NEU 0.400 0.213 0.278 Equipo-Real_Madrid-P 0.823 0.915 0.867 Jugador-Alexis_Sánchez-N 0.000 0.000 0.000 Jugador-Alexis_Sánchez-NEU 0.600 1.000 0.750 Jugador-Alexis_Sánchez-P 0.000 0.000 0.000 Jugador-Alvaro_Arbeloa-NEU 0.333 1.000 0.500 Jugador-Alvaro_Arbeloa-P 0.000 0.000 0.000 Jugador-Andrés_Iniesta-NEU 1.000 1.000 1.000 Jugador-Andrés_Iniesta-P 1.000 1.000 1.000 Jugador-Angel_Di_María-NEU 0.500 0.143 0.222 Jugador-Angel_Di_María-P 0.727 0.941 0.821 Jugador-Asier_Ilarramendi-NEU 0.000 0.000 0.000 Jugador-Asier_Ilarramendi-P 0.333 1.000 0.500 Jugador-Carles_Puyol-N 0.000 0.000 0.000 Jugador-Carles_Puyol-NEU 0.000 0.000 0.000 Jugador-Carles_Puyol-P 0.667 1.000 0.800 Jugador-Cesc_Fábregas-N 0.800 1.000 0.889 Jugador-Cesc_Fábregas-NEU 0.000 0.000 0.000 Jugador-Cristiano_Ronaldo-N 0.300 0.273 0.286 Jugador-Cristiano_Ronaldo-NEU 0.750 0.780 0.765 Jugador-Cristiano_Ronaldo-P 0.375 0.333 0.353 Jugador-Dani_Alves-N 0.909 0.870 0.889 Jugador-Dani_Alves-NEU 0.000 0.000 0.000 Jugador-Dani_Alves-P 0.000 0.000 0.000 Jugador-Dani_Carvajal-N 0.000 0.000 0.000 Jugador-Dani_Carvajal-P 0.667 1.000 0.800 Jugador-Fábio_Coentrão-N 0.000 0.000 0.000 Jugador-Fábio_Coentrão-NEU 0.000 0.000 0.000 Jugador-Gareth_Bale-N 0.000 0.000 0.000 Jugador-Gareth_Bale-NEU 0.250 0.080 0.121 Jugador-Gareth_Bale-P 0.837 0.939 0.885 Jugador-Iker_Casillas-N 0.000 0.000 0.000 Jugador-Iker_Casillas-NEU 0.000 0.000 0.000 Jugador-Iker_Casillas-P 0.696 0.800 0.744 Jugador-Isco-NEU 0.000 0.000 0.000 Jugador-Isco-P 0.706 1.000 0.828 Jugador-Javier_Mascherano-N 0.333 1.000 0.500 Jugador-Javier_Mascherano-NEU 1.000 0.500 0.667 Jugador-Javier_Mascherano-P 0.000 0.000 0.000 Jugador-Jesé_Rodríguez-NEU 0.000 0.000 0.000 Jugador-Jesé_Rodríguez-P 0.500 0.500 0.500 Jugador-José_Manuel_Pinto-N 0.632 0.750 0.686 Jugador-José_Manuel_Pinto-NEU 0.000 0.000 0.000 Jugador-José_Manuel_Pinto-P 0.250 0.250 0.250 Jugador-Karim_Benzema-NEU 0.000 0.000 0.000 Jugador-Karim_Benzema-P 0.500 0.750 0.600 Jugador-Lionel_Messi-N 0.701 0.882 0.781 Jugador-Lionel_Messi-NEU 0.182 0.083 0.114 Jugador-Lionel_Messi-P 0.000 0.000 0.000 Jugador-Luka_Modric-NEU 0.000 0.000 0.000 Jugador-Luka_Modric-P 0.667 1.000 0.800 Jugador-Marc_Bartra-N 0.222 0.250 0.235 Jugador-Marc_Bartra-NEU 0.000 0.000 0.000 Jugador-Marc_Bartra-P 0.429 0.545 0.480 Jugador-N 0.500 0.455 0.476 Jugador-NEU 0.357 0.385 0.370 Jugador-Neymar_Jr.-N 0.552 0.593 0.571 Jugador-Neymar_Jr.-NEU 0.286 0.267 0.276 Jugador-Neymar_Jr.-P 0.167 0.143 0.154 Jugador-P 0.647 0.647 0.647 Jugador-Pedro_Rodríguez-N 0.000 0.000 0.000 Jugador-Pedro_Rodríguez-NEU 0.333 1.000 0.500 Jugador-Pedro_Rodríguez-P 0.000 0.000 0.000 Jugador-Pepe-N 0.750 1.000 0.857 Jugador-Pepe-NEU 0.000 0.000 0.000 Jugador-Pepe-P 0.667 0.667 0.667 Jugador-Sergio_Busquets-N 1.000 1.000 1.000 Jugador-Sergio_Ramos-N 0.580 0.645 0.611 Jugador-Sergio_Ramos-NEU 0.077 0.091 0.083 Jugador-Sergio_Ramos-P 0.783 0.529 0.632 Jugador-Xabi_Alonso-P 1.000 1.000 1.000 Jugador-Xavi_Hernández-N 0.250 0.333 0.286 Jugador-Xavi_Hernández-NEU 1.000 0.333 0.500 Jugador-Xavi_Hernández-P 0.500 0.667 0.571 Partido-N 0.605 0.605 0.605 Partido-NEU 0.684 0.700 0.692 Partido-P 0.600 0.581 0.590 Retransmisión-N 0.000 0.000 0.000 Retransmisión-NEU 0.824 0.933 0.875 Macroaveraged Precision: 0.409 Macroaveraged Recall: 0.454 Macroaveraged F1: 0.430