Evaluation - Task 2 - Social-TV corpus
1948 aspects in qrel, 1947 aspects in run.

Accuracy: 0.625

Confusion matrix
Actual	Pred	#
Afición-N	Afición-N	19
Afición-N	Afición-P	9
Afición-N	Afición-NEU	6
Afición-NEU	Afición-NEU	8
Afición-NEU	Afición-P	5
Afición-NEU	Afición-N	11
Afición-P	Afición-P	27
Afición-P	Afición-NEU	4
Afición-P	Afición-N	6
Arbitro-N	Arbitro-NEU	2
Arbitro-N	Arbitro-N	1
Arbitro-NEU	Arbitro-NEU	1
Arbitro-NEU	Arbitro-N	2
Arbitro-P	Arbitro-P	1
Arbitro-P	Arbitro-NEU	1
Arbitro-P	Arbitro-N	1
Autoridades-N	Autoridades-N	4
Autoridades-N	Autoridades-NEU	1
Autoridades-N	Autoridades-P	1
Autoridades-NEU	Autoridades-P	2
Autoridades-NEU	Autoridades-NEU	2
Autoridades-NEU	Autoridades-N	5
Autoridades-P	Autoridades-P	1
Entrenador-N	Entrenador-N	40
Entrenador-N	Entrenador-NEU	3
Entrenador-N	Entrenador-P	1
Entrenador-NEU	Entrenador-N	9
Entrenador-NEU	Entrenador-P	1
Entrenador-NEU	Entrenador-NEU	3
Entrenador-P	Entrenador-N	10
Entrenador-P	Entrenador-NEU	4
Entrenador-P	Entrenador-P	3
Equipo-Atlético_de_Madrid-P	Equipo-Atlético_de_Madrid-NEU	1
Equipo-Barcelona-N	Equipo-Barcelona-N	87
Equipo-Barcelona-N	Equipo-Barcelona-NEU	26
Equipo-Barcelona-N	Equipo-Barcelona-P	9
Equipo-Barcelona-N	?	1
Equipo-Barcelona-NEU	Equipo-Barcelona-N	61
Equipo-Barcelona-NEU	Equipo-Barcelona-NEU	34
Equipo-Barcelona-NEU	Equipo-Barcelona-P	9
Equipo-Barcelona-P	Equipo-Barcelona-NEU	9
Equipo-Barcelona-P	Equipo-Barcelona-P	21
Equipo-Barcelona-P	Equipo-Barcelona-N	16
Equipo-NEU	Equipo-NEU	6
Equipo-NEU	Equipo-P	1
Equipo-NEU	Equipo-N	6
Equipo-P	Equipo-P	4
Equipo-P	Equipo-N	1
Equipo-P	Equipo-NEU	1
Equipo-Real_Madrid-N	Equipo-Real_Madrid-N	4
Equipo-Real_Madrid-N	Equipo-Real_Madrid-NEU	2
Equipo-Real_Madrid-N	Equipo-Real_Madrid-P	2
Equipo-Real_Madrid-NEU	Equipo-Real_Madrid-P	50
Equipo-Real_Madrid-NEU	Equipo-Real_Madrid-NEU	21
Equipo-Real_Madrid-NEU	Equipo-Real_Madrid-N	4
Equipo-Real_Madrid-P	Equipo-Real_Madrid-P	265
Equipo-Real_Madrid-P	Equipo-Real_Madrid-NEU	42
Equipo-Real_Madrid-P	Equipo-Real_Madrid-N	9
Jugador-Alexis_Sánchez-N	Jugador-Alexis_Sánchez-P	1
Jugador-Alexis_Sánchez-NEU	Jugador-Alexis_Sánchez-N	2
Jugador-Alexis_Sánchez-NEU	Jugador-Alexis_Sánchez-P	1
Jugador-Alexis_Sánchez-P	Jugador-Alexis_Sánchez-NEU	1
Jugador-Alvaro_Arbeloa-NEU	Jugador-Alvaro_Arbeloa-N	1
Jugador-Alvaro_Arbeloa-P	Jugador-Alvaro_Arbeloa-NEU	1
Jugador-Alvaro_Arbeloa-P	Jugador-Alvaro_Arbeloa-N	1
Jugador-Andrés_Iniesta-NEU	Jugador-Andrés_Iniesta-NEU	1
Jugador-Andrés_Iniesta-P	Jugador-Andrés_Iniesta-P	3
Jugador-Angel_Di_María-NEU	Jugador-Angel_Di_María-NEU	3
Jugador-Angel_Di_María-NEU	Jugador-Angel_Di_María-P	4
Jugador-Angel_Di_María-P	Jugador-Angel_Di_María-P	17
Jugador-Asier_Ilarramendi-NEU	Jugador-Asier_Ilarramendi-NEU	1
Jugador-Asier_Ilarramendi-NEU	Jugador-Asier_Ilarramendi-P	1
Jugador-Asier_Ilarramendi-P	Jugador-Asier_Ilarramendi-P	1
Jugador-Carles_Puyol-N	Jugador-Carles_Puyol-N	1
Jugador-Carles_Puyol-N	Jugador-Carles_Puyol-P	1
Jugador-Carles_Puyol-NEU	Jugador-Carles_Puyol-N	1
Jugador-Carles_Puyol-P	Jugador-Carles_Puyol-NEU	2
Jugador-Carles_Puyol-P	Jugador-Carles_Puyol-P	1
Jugador-Carles_Puyol-P	Jugador-Carles_Puyol-N	1
Jugador-Cesc_Fábregas-N	Jugador-Cesc_Fábregas-N	4
Jugador-Cesc_Fábregas-NEU	Jugador-Cesc_Fábregas-N	1
Jugador-Cesc_Fábregas-NEU	Jugador-Cesc_Fábregas-P	1
Jugador-Cristiano_Ronaldo-N	Jugador-Cristiano_Ronaldo-P	4
Jugador-Cristiano_Ronaldo-N	Jugador-Cristiano_Ronaldo-N	3
Jugador-Cristiano_Ronaldo-N	Jugador-Cristiano_Ronaldo-NEU	4
Jugador-Cristiano_Ronaldo-NEU	Jugador-Cristiano_Ronaldo-NEU	36
Jugador-Cristiano_Ronaldo-NEU	Jugador-Cristiano_Ronaldo-N	8
Jugador-Cristiano_Ronaldo-NEU	Jugador-Cristiano_Ronaldo-P	6
Jugador-Cristiano_Ronaldo-P	Jugador-Cristiano_Ronaldo-P	5
Jugador-Cristiano_Ronaldo-P	Jugador-Cristiano_Ronaldo-N	1
Jugador-Cristiano_Ronaldo-P	Jugador-Cristiano_Ronaldo-NEU	3
Jugador-Dani_Alves-N	Jugador-Dani_Alves-NEU	3
Jugador-Dani_Alves-N	Jugador-Dani_Alves-N	19
Jugador-Dani_Alves-N	Jugador-Dani_Alves-P	1
Jugador-Dani_Alves-NEU	Jugador-Dani_Alves-N	2
Jugador-Dani_Alves-NEU	Jugador-Dani_Alves-P	1
Jugador-Dani_Alves-P	Jugador-Dani_Alves-N	1
Jugador-Dani_Carvajal-N	Jugador-Dani_Carvajal-N	1
Jugador-Dani_Carvajal-P	Jugador-Dani_Carvajal-P	2
Jugador-Fábio_Coentrão-N	Jugador-Fábio_Coentrão-P	1
Jugador-Fábio_Coentrão-NEU	Jugador-Fábio_Coentrão-N	1
Jugador-Gareth_Bale-N	Jugador-Gareth_Bale-NEU	1
Jugador-Gareth_Bale-N	Jugador-Gareth_Bale-P	3
Jugador-Gareth_Bale-NEU	Jugador-Gareth_Bale-NEU	4
Jugador-Gareth_Bale-NEU	Jugador-Gareth_Bale-P	18
Jugador-Gareth_Bale-NEU	Jugador-Gareth_Bale-N	3
Jugador-Gareth_Bale-P	Jugador-Gareth_Bale-P	112
Jugador-Gareth_Bale-P	Jugador-Gareth_Bale-NEU	17
Jugador-Gareth_Bale-P	Jugador-Gareth_Bale-N	2
Jugador-Iker_Casillas-N	Jugador-Iker_Casillas-P	3
Jugador-Iker_Casillas-N	Jugador-Iker_Casillas-NEU	1
Jugador-Iker_Casillas-NEU	Jugador-Iker_Casillas-P	1
Jugador-Iker_Casillas-NEU	Jugador-Iker_Casillas-NEU	3
Jugador-Iker_Casillas-P	Jugador-Iker_Casillas-NEU	3
Jugador-Iker_Casillas-P	Jugador-Iker_Casillas-P	16
Jugador-Iker_Casillas-P	Jugador-Iker_Casillas-N	1
Jugador-Isco-NEU	Jugador-Isco-N	1
Jugador-Isco-NEU	Jugador-Isco-P	4
Jugador-Isco-P	Jugador-Isco-P	11
Jugador-Isco-P	Jugador-Isco-NEU	1
Jugador-Javier_Mascherano-N	Jugador-Javier_Mascherano-N	1
Jugador-Javier_Mascherano-NEU	Jugador-Javier_Mascherano-N	2
Jugador-Javier_Mascherano-P	Jugador-Javier_Mascherano-N	1
Jugador-Jesé_Rodríguez-NEU	Jugador-Jesé_Rodríguez-P	1
Jugador-Jesé_Rodríguez-NEU	Jugador-Jesé_Rodríguez-NEU	1
Jugador-Jesé_Rodríguez-P	Jugador-Jesé_Rodríguez-P	1
Jugador-Jesé_Rodríguez-P	Jugador-Jesé_Rodríguez-NEU	1
Jugador-José_Manuel_Pinto-N	Jugador-José_Manuel_Pinto-N	15
Jugador-José_Manuel_Pinto-N	Jugador-José_Manuel_Pinto-P	1
Jugador-José_Manuel_Pinto-NEU	Jugador-José_Manuel_Pinto-N	5
Jugador-José_Manuel_Pinto-P	Jugador-José_Manuel_Pinto-N	2
Jugador-José_Manuel_Pinto-P	Jugador-José_Manuel_Pinto-P	2
Jugador-Karim_Benzema-NEU	Jugador-Karim_Benzema-N	1
Jugador-Karim_Benzema-NEU	Jugador-Karim_Benzema-P	2
Jugador-Karim_Benzema-P	Jugador-Karim_Benzema-P	4
Jugador-Lionel_Messi-N	Jugador-Lionel_Messi-N	80
Jugador-Lionel_Messi-N	Jugador-Lionel_Messi-P	5
Jugador-Lionel_Messi-NEU	Jugador-Lionel_Messi-N	21
Jugador-Lionel_Messi-NEU	Jugador-Lionel_Messi-NEU	2
Jugador-Lionel_Messi-NEU	Jugador-Lionel_Messi-P	1
Jugador-Lionel_Messi-P	Jugador-Lionel_Messi-N	12
Jugador-Luka_Modric-NEU	Jugador-Luka_Modric-P	1
Jugador-Luka_Modric-P	Jugador-Luka_Modric-P	2
Jugador-Marc_Bartra-N	Jugador-Marc_Bartra-N	4
Jugador-Marc_Bartra-N	Jugador-Marc_Bartra-NEU	2
Jugador-Marc_Bartra-N	Jugador-Marc_Bartra-P	2
Jugador-Marc_Bartra-NEU	Jugador-Marc_Bartra-N	2
Jugador-Marc_Bartra-NEU	Jugador-Marc_Bartra-NEU	2
Jugador-Marc_Bartra-NEU	Jugador-Marc_Bartra-P	1
Jugador-Marc_Bartra-P	Jugador-Marc_Bartra-P	6
Jugador-Marc_Bartra-P	Jugador-Marc_Bartra-N	3
Jugador-Marc_Bartra-P	Jugador-Marc_Bartra-NEU	2
Jugador-N	Jugador-NEU	2
Jugador-N	Jugador-N	9
Jugador-NEU	Jugador-N	6
Jugador-NEU	Jugador-NEU	5
Jugador-NEU	Jugador-P	2
Jugador-Neymar_Jr.-N	Jugador-Neymar_Jr.-N	15
Jugador-Neymar_Jr.-N	Jugador-Neymar_Jr.-NEU	8
Jugador-Neymar_Jr.-N	Jugador-Neymar_Jr.-P	4
Jugador-Neymar_Jr.-NEU	Jugador-Neymar_Jr.-NEU	5
Jugador-Neymar_Jr.-NEU	Jugador-Neymar_Jr.-N	9
Jugador-Neymar_Jr.-NEU	Jugador-Neymar_Jr.-P	1
Jugador-Neymar_Jr.-P	Jugador-Neymar_Jr.-P	2
Jugador-Neymar_Jr.-P	Jugador-Neymar_Jr.-N	3
Jugador-Neymar_Jr.-P	Jugador-Neymar_Jr.-NEU	2
Jugador-P	Jugador-NEU	4
Jugador-P	Jugador-P	8
Jugador-P	Jugador-N	5
Jugador-Pedro_Rodríguez-N	Jugador-Pedro_Rodríguez-NEU	1
Jugador-Pedro_Rodríguez-NEU	Jugador-Pedro_Rodríguez-P	1
Jugador-Pedro_Rodríguez-P	Jugador-Pedro_Rodríguez-P	1
Jugador-Pepe-N	Jugador-Pepe-NEU	1
Jugador-Pepe-N	Jugador-Pepe-N	2
Jugador-Pepe-NEU	Jugador-Pepe-NEU	1
Jugador-Pepe-P	Jugador-Pepe-NEU	1
Jugador-Pepe-P	Jugador-Pepe-P	2
Jugador-Sergio_Busquets-N	Jugador-Sergio_Busquets-N	1
Jugador-Sergio_Ramos-N	Jugador-Sergio_Ramos-N	35
Jugador-Sergio_Ramos-N	Jugador-Sergio_Ramos-NEU	23
Jugador-Sergio_Ramos-N	Jugador-Sergio_Ramos-P	4
Jugador-Sergio_Ramos-NEU	Jugador-Sergio_Ramos-N	13
Jugador-Sergio_Ramos-NEU	Jugador-Sergio_Ramos-P	3
Jugador-Sergio_Ramos-NEU	Jugador-Sergio_Ramos-NEU	6
Jugador-Sergio_Ramos-P	Jugador-Sergio_Ramos-N	5
Jugador-Sergio_Ramos-P	Jugador-Sergio_Ramos-P	20
Jugador-Sergio_Ramos-P	Jugador-Sergio_Ramos-NEU	9
Jugador-Xabi_Alonso-P	Jugador-Xabi_Alonso-P	1
Jugador-Xavi_Hernández-N	Jugador-Xavi_Hernández-N	3
Jugador-Xavi_Hernández-NEU	Jugador-Xavi_Hernández-N	2
Jugador-Xavi_Hernández-NEU	Jugador-Xavi_Hernández-NEU	1
Jugador-Xavi_Hernández-P	Jugador-Xavi_Hernández-N	3
Partido-N	Partido-P	4
Partido-N	Partido-N	30
Partido-N	Partido-NEU	9
Partido-NEU	Partido-NEU	71
Partido-NEU	Partido-P	44
Partido-NEU	Partido-N	15
Partido-P	Partido-P	66
Partido-P	Partido-NEU	18
Partido-P	Partido-N	9
Retransmisión-N	Retransmisión-NEU	2
Retransmisión-N	Retransmisión-N	3
Retransmisión-NEU	Retransmisión-NEU	14
Retransmisión-NEU	Retransmisión-P	1

Category evaluation
Cat	P	R	F1
Afición-N	0.528	0.559	0.543
Afición-NEU	0.444	0.333	0.381
Afición-P	0.659	0.730	0.692
Arbitro-N	0.250	0.333	0.286
Arbitro-NEU	0.250	0.333	0.286
Arbitro-P	1.000	0.333	0.500
Autoridades-N	0.444	0.667	0.533
Autoridades-NEU	0.667	0.222	0.333
Autoridades-P	0.250	1.000	0.400
Entrenador-N	0.678	0.909	0.777
Entrenador-NEU	0.300	0.231	0.261
Entrenador-P	0.600	0.176	0.273
Equipo-Atlético_de_Madrid-P	0.000	0.000	0.000
Equipo-Barcelona-N	0.530	0.707	0.606
Equipo-Barcelona-NEU	0.493	0.327	0.393
Equipo-Barcelona-P	0.538	0.457	0.494
Equipo-NEU	0.857	0.462	0.600
Equipo-P	0.800	0.667	0.727
Equipo-Real_Madrid-N	0.235	0.500	0.320
Equipo-Real_Madrid-NEU	0.323	0.280	0.300
Equipo-Real_Madrid-P	0.836	0.839	0.837
Jugador-Alexis_Sánchez-N	0.000	0.000	0.000
Jugador-Alexis_Sánchez-NEU	0.000	0.000	0.000
Jugador-Alexis_Sánchez-P	0.000	0.000	0.000
Jugador-Alvaro_Arbeloa-NEU	0.000	0.000	0.000
Jugador-Alvaro_Arbeloa-P	0.000	0.000	0.000
Jugador-Andrés_Iniesta-NEU	1.000	1.000	1.000
Jugador-Andrés_Iniesta-P	1.000	1.000	1.000
Jugador-Angel_Di_María-NEU	1.000	0.429	0.600
Jugador-Angel_Di_María-P	0.810	1.000	0.895
Jugador-Asier_Ilarramendi-NEU	1.000	0.500	0.667
Jugador-Asier_Ilarramendi-P	0.500	1.000	0.667
Jugador-Carles_Puyol-N	0.333	0.500	0.400
Jugador-Carles_Puyol-NEU	0.000	0.000	0.000
Jugador-Carles_Puyol-P	0.500	0.250	0.333
Jugador-Cesc_Fábregas-N	0.800	1.000	0.889
Jugador-Cesc_Fábregas-NEU	0.000	0.000	0.000
Jugador-Cristiano_Ronaldo-N	0.250	0.273	0.261
Jugador-Cristiano_Ronaldo-NEU	0.837	0.720	0.774
Jugador-Cristiano_Ronaldo-P	0.333	0.556	0.417
Jugador-Dani_Alves-N	0.864	0.826	0.844
Jugador-Dani_Alves-NEU	0.000	0.000	0.000
Jugador-Dani_Alves-P	0.000	0.000	0.000
Jugador-Dani_Carvajal-N	1.000	1.000	1.000
Jugador-Dani_Carvajal-P	1.000	1.000	1.000
Jugador-Fábio_Coentrão-N	0.000	0.000	0.000
Jugador-Fábio_Coentrão-NEU	0.000	0.000	0.000
Jugador-Gareth_Bale-N	0.000	0.000	0.000
Jugador-Gareth_Bale-NEU	0.182	0.160	0.170
Jugador-Gareth_Bale-P	0.842	0.855	0.848
Jugador-Iker_Casillas-N	0.000	0.000	0.000
Jugador-Iker_Casillas-NEU	0.429	0.750	0.545
Jugador-Iker_Casillas-P	0.800	0.800	0.800
Jugador-Isco-NEU	0.000	0.000	0.000
Jugador-Isco-P	0.733	0.917	0.815
Jugador-Javier_Mascherano-N	0.250	1.000	0.400
Jugador-Javier_Mascherano-NEU	0.000	0.000	0.000
Jugador-Javier_Mascherano-P	0.000	0.000	0.000
Jugador-Jesé_Rodríguez-NEU	0.500	0.500	0.500
Jugador-Jesé_Rodríguez-P	0.500	0.500	0.500
Jugador-José_Manuel_Pinto-N	0.682	0.938	0.789
Jugador-José_Manuel_Pinto-NEU	0.000	0.000	0.000
Jugador-José_Manuel_Pinto-P	0.667	0.500	0.571
Jugador-Karim_Benzema-NEU	0.000	0.000	0.000
Jugador-Karim_Benzema-P	0.667	1.000	0.800
Jugador-Lionel_Messi-N	0.708	0.941	0.808
Jugador-Lionel_Messi-NEU	1.000	0.083	0.154
Jugador-Lionel_Messi-P	0.000	0.000	0.000
Jugador-Luka_Modric-NEU	0.000	0.000	0.000
Jugador-Luka_Modric-P	0.667	1.000	0.800
Jugador-Marc_Bartra-N	0.444	0.500	0.471
Jugador-Marc_Bartra-NEU	0.333	0.400	0.364
Jugador-Marc_Bartra-P	0.667	0.545	0.600
Jugador-N	0.450	0.818	0.581
Jugador-NEU	0.455	0.385	0.417
Jugador-Neymar_Jr.-N	0.556	0.556	0.556
Jugador-Neymar_Jr.-NEU	0.333	0.333	0.333
Jugador-Neymar_Jr.-P	0.286	0.286	0.286
Jugador-P	0.800	0.471	0.593
Jugador-Pedro_Rodríguez-N	0.000	0.000	0.000
Jugador-Pedro_Rodríguez-NEU	0.000	0.000	0.000
Jugador-Pedro_Rodríguez-P	0.500	1.000	0.667
Jugador-Pepe-N	1.000	0.667	0.800
Jugador-Pepe-NEU	0.333	1.000	0.500
Jugador-Pepe-P	1.000	0.667	0.800
Jugador-Sergio_Busquets-N	1.000	1.000	1.000
Jugador-Sergio_Ramos-N	0.660	0.565	0.609
Jugador-Sergio_Ramos-NEU	0.158	0.273	0.200
Jugador-Sergio_Ramos-P	0.741	0.588	0.656
Jugador-Xabi_Alonso-P	1.000	1.000	1.000
Jugador-Xavi_Hernández-N	0.375	1.000	0.545
Jugador-Xavi_Hernández-NEU	1.000	0.333	0.500
Jugador-Xavi_Hernández-P	0.000	0.000	0.000
Partido-N	0.556	0.698	0.619
Partido-NEU	0.724	0.546	0.623
Partido-P	0.579	0.710	0.638
Retransmisión-N	1.000	0.600	0.750
Retransmisión-NEU	0.875	0.933	0.903

Macroaveraged Precision: 0.473
Macroaveraged Recall: 0.479
Macroaveraged F1: 0.476