User:Felipebvalio/Visual rhythm

O ritmo visual é uma estrutura criada para reduzir grandemente o volume de dados existentes em vídeos. Ele possibilita resumir o conteúdo fráfico de um vídeo para apenas uma imagem, a fim de realizar análises globais do vídeo. É usado principalmente em computação visual para processamento de imagens e vídeos.

Basicamente, o ritmo visual é a união de fatias extraídas de cada quadro de um vídeo que, postas lado-a-lado, formam uma imagem. Esta imagem é chamada de ritmo visual. Ela possui este nome porque expressa transições (ritmo) do vídeo ao longo do tempo. Com o ritmo visual é possível facilmente detectar transições nas cenas, como fade-ins/fade-outs, cortes, dissolves, flash's, zooms, pans, etc.

Como construir
Deﬁnemos uma fatia como uma imagem 1D extraída de um quadro do vídeo. A figura abaixo exibe três métodos para extrair a fatia de um quadro F, denominados de fatia vertical, horizontal e diagonal, respectivamente. Considere cada quadro do vídeo como uma imagem de dimensões $$M \times N$$.

$$ \begin{array}{rl} v[i] = & \sum_{p=k_1-j}^{k_1+j}{\alpha_p F(p,i) }, k_1 = M/2 \\ & \\ h[i] = & \sum_{p=k_2-j}^{k_2+j}{\alpha_p F(i,p) }, k_2 = N/2 \\ & \\ d[i] = & \sum_{p=i-j}^{i+j}{\alpha_p F(p,i) } \\ \end{array} $$

Onde $$0 \le p < M$$ ou $$N$$ e $$\sum \alpha_p = 1$$. Quando $$j = 0$$, a coluna ou linha central do quadro é obtida para formar a fatia. Para garantir uma certa homogeneidade das fatias, pode-se setar $$j = 1$$ e aplicar um ﬁltro do máximo da forma ilustrada na ﬁgura 2. O equivalente seria feito nas fatias horizontais e diagonais.

$$ v[i] = \max{ \Big[ \alpha_{p-1} F(p-1,i), \alpha_{p} F(p,i), \alpha_{p+1} F(p+1,i) \Big] } $$

O agrupamento lado-a-lado destas fatias gera uma imagem 2D, que é o ritmo visual. A ﬁgura 1 ilustra um exemplo de ritmo visual. Note que, independente da orientação escolhida para calcular as fatias, cada uma destas é sempre disposta verticalmente. Note também que a largura do ritmo visual equivale à quantidade de quadros do vídeo.