An experimental study of neural estimators of the mutual information between random vectors modeling power spectrum features

EURASIP Journal on Advances in Signal Processing

Table 1 Bias estimates (in nats) with respect to data processing

Estimators	true MI	Raw	Logarithm	Squaring	Scaling	Shift
NWJ	4	− 0.72	− 0.93	− 1.41	− 1.60	− 0.72
	12	− 5.39	− 6.69	− 8.16	− 7.17	− 4.75
	20	− 15.39	− 10.79	− 15.00	− 22.29	− 22.89
NCE	4	− 0.84	− 0.97	− 1.26	− 1.29	− 0.86
	12	− 7.19	− 7.19	− 7.21	− 7.21	− 7.19
	20	− 15.15	− 15.15	− 15.15	− 15.15	− 15.15
MINE	4	− 0.57	− 0.73	− 1.20	− 1.50	− 0.65
	12	− 2.92	− 3.20	− 4.55	− 4.64	− 3.11
	20	− 6.12	− 5.81	− 10.67	− 11.28	− 5.72
SMILE	4	− 0.14	− 0.39	− 0.83	− 1.19	− 0.14
	12	− 1.51	− 1.67	− 2.34	− 2.85	− 1.32
	20	− 4.39	− 3.99	− 5.29	− 6.55	− 4.23
FLOW	4	− 1.72	− 0.70	− 3.40	− 3.83	− 1.83
	12	− 0.92	− 0.81	− 0.26	− 2.07	− 1.06
	20	− 0.63	− 0.76	0.61	− 1.32	− 0.71
Combined	4	− 0.14	− 0.39	− 0.83	− 1.19	− 0.14
	12	− 0.94	− 1.10	− 0.28	− 2.07	− 1.32
	20	− 0.63	− 0.76	0.61	− 1.32	− 0.71