Evaluation - Task 2 - Social-TV corpus
1948 aspects in qrel, 1948 aspects in run.

Accuracy: 0.645

Confusion matrix
Actual	Pred	#
Afición-N	Afición-N	18
Afición-N	Afición-P	9
Afición-N	Afición-NEU	7
Afición-NEU	Afición-NEU	10
Afición-NEU	Afición-P	6
Afición-NEU	Afición-N	8
Afición-P	Afición-P	29
Afición-P	Afición-N	4
Afición-P	Afición-NEU	4
Arbitro-N	Arbitro-NEU	2
Arbitro-N	Arbitro-N	1
Arbitro-NEU	Arbitro-N	2
Arbitro-NEU	Arbitro-P	1
Arbitro-P	Arbitro-P	1
Arbitro-P	Arbitro-NEU	1
Arbitro-P	Arbitro-N	1
Autoridades-N	Autoridades-P	3
Autoridades-N	Autoridades-NEU	2
Autoridades-N	Autoridades-N	1
Autoridades-NEU	Autoridades-P	6
Autoridades-NEU	Autoridades-N	2
Autoridades-NEU	Autoridades-NEU	1
Autoridades-P	Autoridades-P	1
Entrenador-N	Entrenador-N	42
Entrenador-N	Entrenador-NEU	1
Entrenador-N	Entrenador-P	1
Entrenador-NEU	Entrenador-N	8
Entrenador-NEU	Entrenador-P	3
Entrenador-NEU	Entrenador-NEU	2
Entrenador-P	Entrenador-P	3
Entrenador-P	Entrenador-N	10
Entrenador-P	Entrenador-NEU	4
Equipo-Atlético_de_Madrid-P	Equipo-Atlético_de_Madrid-P	1
Equipo-Barcelona-N	Equipo-Barcelona-N	91
Equipo-Barcelona-N	Equipo-Barcelona-P	7
Equipo-Barcelona-N	Equipo-Barcelona-NEU	25
Equipo-Barcelona-NEU	Equipo-Barcelona-N	61
Equipo-Barcelona-NEU	Equipo-Barcelona-NEU	34
Equipo-Barcelona-NEU	Equipo-Barcelona-P	9
Equipo-Barcelona-P	Equipo-Barcelona-N	21
Equipo-Barcelona-P	Equipo-Barcelona-P	19
Equipo-Barcelona-P	Equipo-Barcelona-NEU	6
Equipo-NEU	Equipo-N	6
Equipo-NEU	Equipo-P	5
Equipo-NEU	Equipo-NEU	2
Equipo-P	Equipo-P	3
Equipo-P	Equipo-NEU	1
Equipo-P	Equipo-N	2
Equipo-Real_Madrid-N	Equipo-Real_Madrid-N	2
Equipo-Real_Madrid-N	Equipo-Real_Madrid-P	6
Equipo-Real_Madrid-NEU	Equipo-Real_Madrid-P	70
Equipo-Real_Madrid-NEU	Equipo-Real_Madrid-NEU	4
Equipo-Real_Madrid-NEU	Equipo-Real_Madrid-N	1
Equipo-Real_Madrid-P	Equipo-Real_Madrid-P	294
Equipo-Real_Madrid-P	Equipo-Real_Madrid-NEU	18
Equipo-Real_Madrid-P	Equipo-Real_Madrid-N	4
Jugador-Alexis_Sánchez-N	Jugador-Alexis_Sánchez-P	1
Jugador-Alexis_Sánchez-NEU	Jugador-Alexis_Sánchez-P	2
Jugador-Alexis_Sánchez-NEU	Jugador-Alexis_Sánchez-N	1
Jugador-Alexis_Sánchez-P	Jugador-Alexis_Sánchez-P	1
Jugador-Alvaro_Arbeloa-NEU	Jugador-Alvaro_Arbeloa-N	1
Jugador-Alvaro_Arbeloa-P	Jugador-Alvaro_Arbeloa-P	2
Jugador-Andrés_Iniesta-NEU	Jugador-Andrés_Iniesta-NEU	1
Jugador-Andrés_Iniesta-P	Jugador-Andrés_Iniesta-P	3
Jugador-Angel_Di_María-NEU	Jugador-Angel_Di_María-P	6
Jugador-Angel_Di_María-NEU	Jugador-Angel_Di_María-NEU	1
Jugador-Angel_Di_María-P	Jugador-Angel_Di_María-P	16
Jugador-Angel_Di_María-P	Jugador-Angel_Di_María-NEU	1
Jugador-Asier_Ilarramendi-NEU	Jugador-Asier_Ilarramendi-NEU	2
Jugador-Asier_Ilarramendi-P	Jugador-Asier_Ilarramendi-P	1
Jugador-Carles_Puyol-N	Jugador-Carles_Puyol-P	2
Jugador-Carles_Puyol-NEU	Jugador-Carles_Puyol-P	1
Jugador-Carles_Puyol-P	Jugador-Carles_Puyol-P	4
Jugador-Cesc_Fábregas-N	Jugador-Cesc_Fábregas-N	4
Jugador-Cesc_Fábregas-NEU	Jugador-Cesc_Fábregas-N	2
Jugador-Cristiano_Ronaldo-N	Jugador-Cristiano_Ronaldo-NEU	8
Jugador-Cristiano_Ronaldo-N	Jugador-Cristiano_Ronaldo-N	2
Jugador-Cristiano_Ronaldo-N	Jugador-Cristiano_Ronaldo-P	1
Jugador-Cristiano_Ronaldo-NEU	Jugador-Cristiano_Ronaldo-NEU	44
Jugador-Cristiano_Ronaldo-NEU	Jugador-Cristiano_Ronaldo-N	3
Jugador-Cristiano_Ronaldo-NEU	Jugador-Cristiano_Ronaldo-P	3
Jugador-Cristiano_Ronaldo-P	Jugador-Cristiano_Ronaldo-NEU	8
Jugador-Cristiano_Ronaldo-P	Jugador-Cristiano_Ronaldo-P	1
Jugador-Dani_Alves-N	Jugador-Dani_Alves-N	21
Jugador-Dani_Alves-N	Jugador-Dani_Alves-NEU	1
Jugador-Dani_Alves-N	Jugador-Dani_Alves-P	1
Jugador-Dani_Alves-NEU	Jugador-Dani_Alves-N	3
Jugador-Dani_Alves-P	Jugador-Dani_Alves-N	1
Jugador-Dani_Carvajal-N	Jugador-Dani_Carvajal-P	1
Jugador-Dani_Carvajal-P	Jugador-Dani_Carvajal-P	2
Jugador-Fábio_Coentrão-N	Jugador-Fábio_Coentrão-P	1
Jugador-Fábio_Coentrão-NEU	Jugador-Fábio_Coentrão-P	1
Jugador-Gareth_Bale-N	Jugador-Gareth_Bale-P	4
Jugador-Gareth_Bale-NEU	Jugador-Gareth_Bale-P	24
Jugador-Gareth_Bale-NEU	Jugador-Gareth_Bale-N	1
Jugador-Gareth_Bale-P	Jugador-Gareth_Bale-P	128
Jugador-Gareth_Bale-P	Jugador-Gareth_Bale-NEU	2
Jugador-Gareth_Bale-P	Jugador-Gareth_Bale-N	1
Jugador-Iker_Casillas-N	Jugador-Iker_Casillas-P	4
Jugador-Iker_Casillas-NEU	Jugador-Iker_Casillas-P	4
Jugador-Iker_Casillas-P	Jugador-Iker_Casillas-P	20
Jugador-Isco-NEU	Jugador-Isco-P	5
Jugador-Isco-P	Jugador-Isco-P	12
Jugador-Javier_Mascherano-N	Jugador-Javier_Mascherano-N	1
Jugador-Javier_Mascherano-NEU	Jugador-Javier_Mascherano-N	2
Jugador-Javier_Mascherano-P	Jugador-Javier_Mascherano-N	1
Jugador-Jesé_Rodríguez-NEU	Jugador-Jesé_Rodríguez-P	1
Jugador-Jesé_Rodríguez-NEU	Jugador-Jesé_Rodríguez-NEU	1
Jugador-Jesé_Rodríguez-P	Jugador-Jesé_Rodríguez-NEU	1
Jugador-Jesé_Rodríguez-P	Jugador-Jesé_Rodríguez-P	1
Jugador-José_Manuel_Pinto-N	Jugador-José_Manuel_Pinto-N	12
Jugador-José_Manuel_Pinto-N	Jugador-José_Manuel_Pinto-P	1
Jugador-José_Manuel_Pinto-N	Jugador-José_Manuel_Pinto-NEU	3
Jugador-José_Manuel_Pinto-NEU	Jugador-José_Manuel_Pinto-N	5
Jugador-José_Manuel_Pinto-P	Jugador-José_Manuel_Pinto-N	2
Jugador-José_Manuel_Pinto-P	Jugador-José_Manuel_Pinto-P	2
Jugador-Karim_Benzema-NEU	Jugador-Karim_Benzema-P	3
Jugador-Karim_Benzema-P	Jugador-Karim_Benzema-P	4
Jugador-Lionel_Messi-N	Jugador-Lionel_Messi-N	80
Jugador-Lionel_Messi-N	Jugador-Lionel_Messi-NEU	3
Jugador-Lionel_Messi-N	Jugador-Lionel_Messi-P	2
Jugador-Lionel_Messi-NEU	Jugador-Lionel_Messi-N	22
Jugador-Lionel_Messi-NEU	Jugador-Lionel_Messi-NEU	1
Jugador-Lionel_Messi-NEU	Jugador-Lionel_Messi-P	1
Jugador-Lionel_Messi-P	Jugador-Lionel_Messi-N	12
Jugador-Luka_Modric-NEU	Jugador-Luka_Modric-NEU	1
Jugador-Luka_Modric-P	Jugador-Luka_Modric-NEU	1
Jugador-Luka_Modric-P	Jugador-Luka_Modric-P	1
Jugador-Marc_Bartra-N	Jugador-Marc_Bartra-N	2
Jugador-Marc_Bartra-N	Jugador-Marc_Bartra-P	6
Jugador-Marc_Bartra-NEU	Jugador-Marc_Bartra-P	4
Jugador-Marc_Bartra-NEU	Jugador-Marc_Bartra-NEU	1
Jugador-Marc_Bartra-P	Jugador-Marc_Bartra-NEU	1
Jugador-Marc_Bartra-P	Jugador-Marc_Bartra-P	8
Jugador-Marc_Bartra-P	Jugador-Marc_Bartra-N	2
Jugador-N	Jugador-P	8
Jugador-N	Jugador-N	3
Jugador-NEU	Jugador-P	5
Jugador-NEU	Jugador-N	4
Jugador-NEU	Jugador-NEU	4
Jugador-Neymar_Jr.-N	Jugador-Neymar_Jr.-N	20
Jugador-Neymar_Jr.-N	Jugador-Neymar_Jr.-NEU	6
Jugador-Neymar_Jr.-N	Jugador-Neymar_Jr.-P	1
Jugador-Neymar_Jr.-NEU	Jugador-Neymar_Jr.-N	12
Jugador-Neymar_Jr.-NEU	Jugador-Neymar_Jr.-NEU	2
Jugador-Neymar_Jr.-NEU	Jugador-Neymar_Jr.-P	1
Jugador-Neymar_Jr.-P	Jugador-Neymar_Jr.-N	5
Jugador-Neymar_Jr.-P	Jugador-Neymar_Jr.-P	1
Jugador-Neymar_Jr.-P	Jugador-Neymar_Jr.-NEU	1
Jugador-P	Jugador-P	12
Jugador-P	Jugador-N	1
Jugador-P	Jugador-NEU	4
Jugador-Pedro_Rodríguez-N	Jugador-Pedro_Rodríguez-NEU	1
Jugador-Pedro_Rodríguez-NEU	Jugador-Pedro_Rodríguez-NEU	1
Jugador-Pedro_Rodríguez-P	Jugador-Pedro_Rodríguez-P	1
Jugador-Pepe-N	Jugador-Pepe-P	2
Jugador-Pepe-N	Jugador-Pepe-N	1
Jugador-Pepe-NEU	Jugador-Pepe-P	1
Jugador-Pepe-P	Jugador-Pepe-P	2
Jugador-Pepe-P	Jugador-Pepe-N	1
Jugador-Sergio_Busquets-N	Jugador-Sergio_Busquets-P	1
Jugador-Sergio_Ramos-N	Jugador-Sergio_Ramos-N	51
Jugador-Sergio_Ramos-N	Jugador-Sergio_Ramos-NEU	9
Jugador-Sergio_Ramos-N	Jugador-Sergio_Ramos-P	2
Jugador-Sergio_Ramos-NEU	Jugador-Sergio_Ramos-N	19
Jugador-Sergio_Ramos-NEU	Jugador-Sergio_Ramos-NEU	3
Jugador-Sergio_Ramos-P	Jugador-Sergio_Ramos-P	19
Jugador-Sergio_Ramos-P	Jugador-Sergio_Ramos-N	13
Jugador-Sergio_Ramos-P	Jugador-Sergio_Ramos-NEU	2
Jugador-Xabi_Alonso-P	Jugador-Xabi_Alonso-P	1
Jugador-Xavi_Hernández-N	Jugador-Xavi_Hernández-N	3
Jugador-Xavi_Hernández-NEU	Jugador-Xavi_Hernández-N	3
Jugador-Xavi_Hernández-P	Jugador-Xavi_Hernández-N	2
Jugador-Xavi_Hernández-P	Jugador-Xavi_Hernández-P	1
Partido-N	Partido-P	11
Partido-N	Partido-N	22
Partido-N	Partido-NEU	10
Partido-NEU	Partido-NEU	85
Partido-NEU	Partido-P	35
Partido-NEU	Partido-N	10
Partido-P	Partido-P	75
Partido-P	Partido-N	4
Partido-P	Partido-NEU	14
Retransmisión-N	Retransmisión-P	2
Retransmisión-N	Retransmisión-N	3
Retransmisión-NEU	Retransmisión-P	2
Retransmisión-NEU	Retransmisión-N	5
Retransmisión-NEU	Retransmisión-NEU	8

Category evaluation
Cat	P	R	F1
Afición-N	0.600	0.529	0.563
Afición-NEU	0.476	0.417	0.444
Afición-P	0.659	0.784	0.716
Arbitro-N	0.250	0.333	0.286
Arbitro-NEU	0.000	0.000	0.000
Arbitro-P	0.500	0.333	0.400
Autoridades-N	0.333	0.167	0.222
Autoridades-NEU	0.333	0.111	0.167
Autoridades-P	0.100	1.000	0.182
Entrenador-N	0.700	0.955	0.808
Entrenador-NEU	0.286	0.154	0.200
Entrenador-P	0.429	0.176	0.250
Equipo-Atlético_de_Madrid-P	1.000	1.000	1.000
Equipo-Barcelona-N	0.526	0.740	0.615
Equipo-Barcelona-NEU	0.523	0.327	0.402
Equipo-Barcelona-P	0.543	0.413	0.469
Equipo-NEU	0.667	0.154	0.250
Equipo-P	0.375	0.500	0.429
Equipo-Real_Madrid-N	0.286	0.250	0.267
Equipo-Real_Madrid-NEU	0.182	0.053	0.082
Equipo-Real_Madrid-P	0.795	0.930	0.857
Jugador-Alexis_Sánchez-N	0.000	0.000	0.000
Jugador-Alexis_Sánchez-NEU	0.000	0.000	0.000
Jugador-Alexis_Sánchez-P	0.250	1.000	0.400
Jugador-Alvaro_Arbeloa-NEU	0.000	0.000	0.000
Jugador-Alvaro_Arbeloa-P	1.000	1.000	1.000
Jugador-Andrés_Iniesta-NEU	1.000	1.000	1.000
Jugador-Andrés_Iniesta-P	1.000	1.000	1.000
Jugador-Angel_Di_María-NEU	0.500	0.143	0.222
Jugador-Angel_Di_María-P	0.727	0.941	0.821
Jugador-Asier_Ilarramendi-NEU	1.000	1.000	1.000
Jugador-Asier_Ilarramendi-P	1.000	1.000	1.000
Jugador-Carles_Puyol-N	0.000	0.000	0.000
Jugador-Carles_Puyol-NEU	0.000	0.000	0.000
Jugador-Carles_Puyol-P	0.571	1.000	0.727
Jugador-Cesc_Fábregas-N	0.667	1.000	0.800
Jugador-Cesc_Fábregas-NEU	0.000	0.000	0.000
Jugador-Cristiano_Ronaldo-N	0.400	0.182	0.250
Jugador-Cristiano_Ronaldo-NEU	0.733	0.880	0.800
Jugador-Cristiano_Ronaldo-P	0.200	0.111	0.143
Jugador-Dani_Alves-N	0.840	0.913	0.875
Jugador-Dani_Alves-NEU	0.000	0.000	0.000
Jugador-Dani_Alves-P	0.000	0.000	0.000
Jugador-Dani_Carvajal-N	0.000	0.000	0.000
Jugador-Dani_Carvajal-P	0.667	1.000	0.800
Jugador-Fábio_Coentrão-N	0.000	0.000	0.000
Jugador-Fábio_Coentrão-NEU	0.000	0.000	0.000
Jugador-Gareth_Bale-N	0.000	0.000	0.000
Jugador-Gareth_Bale-NEU	0.000	0.000	0.000
Jugador-Gareth_Bale-P	0.821	0.977	0.892
Jugador-Iker_Casillas-N	0.000	0.000	0.000
Jugador-Iker_Casillas-NEU	0.000	0.000	0.000
Jugador-Iker_Casillas-P	0.714	1.000	0.833
Jugador-Isco-NEU	0.000	0.000	0.000
Jugador-Isco-P	0.706	1.000	0.828
Jugador-Javier_Mascherano-N	0.250	1.000	0.400
Jugador-Javier_Mascherano-NEU	0.000	0.000	0.000
Jugador-Javier_Mascherano-P	0.000	0.000	0.000
Jugador-Jesé_Rodríguez-NEU	0.500	0.500	0.500
Jugador-Jesé_Rodríguez-P	0.500	0.500	0.500
Jugador-José_Manuel_Pinto-N	0.632	0.750	0.686
Jugador-José_Manuel_Pinto-NEU	0.000	0.000	0.000
Jugador-José_Manuel_Pinto-P	0.667	0.500	0.571
Jugador-Karim_Benzema-NEU	0.000	0.000	0.000
Jugador-Karim_Benzema-P	0.571	1.000	0.727
Jugador-Lionel_Messi-N	0.702	0.941	0.804
Jugador-Lionel_Messi-NEU	0.250	0.042	0.071
Jugador-Lionel_Messi-P	0.000	0.000	0.000
Jugador-Luka_Modric-NEU	0.500	1.000	0.667
Jugador-Luka_Modric-P	1.000	0.500	0.667
Jugador-Marc_Bartra-N	0.500	0.250	0.333
Jugador-Marc_Bartra-NEU	0.500	0.200	0.286
Jugador-Marc_Bartra-P	0.444	0.727	0.552
Jugador-N	0.375	0.273	0.316
Jugador-NEU	0.500	0.308	0.381
Jugador-Neymar_Jr.-N	0.541	0.741	0.625
Jugador-Neymar_Jr.-NEU	0.222	0.133	0.167
Jugador-Neymar_Jr.-P	0.333	0.143	0.200
Jugador-P	0.480	0.706	0.571
Jugador-Pedro_Rodríguez-N	0.000	0.000	0.000
Jugador-Pedro_Rodríguez-NEU	0.500	1.000	0.667
Jugador-Pedro_Rodríguez-P	1.000	1.000	1.000
Jugador-Pepe-N	0.500	0.333	0.400
Jugador-Pepe-NEU	0.000	0.000	0.000
Jugador-Pepe-P	0.400	0.667	0.500
Jugador-Sergio_Busquets-N	0.000	0.000	0.000
Jugador-Sergio_Ramos-N	0.614	0.823	0.703
Jugador-Sergio_Ramos-NEU	0.214	0.136	0.167
Jugador-Sergio_Ramos-P	0.905	0.559	0.691
Jugador-Xabi_Alonso-P	1.000	1.000	1.000
Jugador-Xavi_Hernández-N	0.375	1.000	0.545
Jugador-Xavi_Hernández-NEU	0.000	0.000	0.000
Jugador-Xavi_Hernández-P	1.000	0.333	0.500
Partido-N	0.611	0.512	0.557
Partido-NEU	0.780	0.654	0.711
Partido-P	0.620	0.806	0.701
Retransmisión-N	0.375	0.600	0.462
Retransmisión-NEU	1.000	0.533	0.696

Macroaveraged Precision: 0.426
Macroaveraged Recall: 0.456
Macroaveraged F1: 0.440