has abstract
| - Transfer entropy is a non-parametric statistic measuring the amount of directed (time-asymmetric) transfer of information between two random processes. Transfer entropy from a process X to another process Y is the amount of uncertainty reduced in future values of Y by knowing the past values of X given past values of Y. More specifically, if and for denote two random processes and the amount of information is measured using Shannon's entropy, the transfer entropy can be written as: where H(X) is Shannon entropy of X. The above definition of transfer entropy has been extended by other types of entropy measures such as Rényi entropy. Transfer entropy is conditional mutual information, with the history of the influenced variable in the condition: Transfer entropy reduces to Granger causality for vector auto-regressive processes. Hence, it is advantageous when the model assumption of Granger causality doesn't hold, for example, analysis of non-linear signals. However, it usually requires more samples for accurate estimation.The probabilities in the entropy formula can be estimated using different approaches (binning, nearest neighbors) or, in order to reduce complexity, using a non-uniform embedding.While it was originally defined for bivariate analysis, transfer entropy has been extended to multivariate forms, either conditioning on other potential source variables or considering transfer from a collection of sources, although these forms require more samples again. Transfer entropy has been used for estimation of functional connectivity of neurons, social influence in social networks and statistical causality between armed conflict events.Transfer entropy is a finite version of the Directed Information which was defined in 1990 by James Massey as , where denotes the vector and denotes . The directed information places an important role in characterizing the fundamental limits (channel capacity) of communication channels with or without feedback and gambling with causal side information. (en)
- A entropia de transferência é uma medida estatística não paramétrica que mede a quantidade de informação direcional que é transferida entre dois processos aleatórios. A entropia de transferência de um processo X para outro Y é definida como a redução da incerteza sobre os valores futuros de Y quando se conhecem os valores passados de X dados valores passados de Y. Matematicamente, sejam e dois processos aleatórios definidos no tempo . Utilizando a entropia da informação de Shannon, H(X), a entropia de transferência pode ser calculada como: Alternativamente, a entropia de transferência pode ser descrita em termos da informação mútua condicional, aonde o termo condicionado é o passado da variável Y, isto é, : A entropia de transferência torna-se o teste de causalidade de Granger quando o processo é autoregressivo e satisfaz as condições para causalidade de Granger. Desta forma, torna-se mais adequado utilizar a entropia de transferência para o teste de causalidade de Granger quando o sinal é não-linear. O ponto negativo desta abordagem é a necessidade de um maior número de amostras para uma estimativa confiável do valor obtido. Embora tenha sido definido para análise bivariada, existem extensões da entropia de transferência para análise multivariada, seja criando condicionais às demais variáveis ou considerando a transferência de informação de um conjunto de fontes. Porém, ambas as alternativas exigem mais dados. A entropia de transferência tem sido aplicada na investigação de conectividade funcional no cérebro e em sistemas de neurônios, medir a influência de indivíduos/grupos em redes sociais e como método de identificação de precursores de terremotos. (pt)
|