[Atped] FW: "CORREIO DO MONDEGO" 17221 SonarX - Ver Através do Som

["Luis Barata" <lbarata@ci.uc.pt>]

    SonarX - Ver Através do Som
Autores: Sofia Cavaco, Tomás Henriques, Michele Mengucci, Nuno Correia,
Francisco Medeiros O SonarX é uma ferramenta informática desenvolvida por
investigadores da Universidade Nova de Lisboa e Buffalo State College
(Estados Unidos da América) que transforma informação visual em auditiva. O
objetivo principal desta ferramenta informática é fornecer informação sobre
a luminosidade e cores do ambiente envolvente através do som. Destina-se
principalmente a pessoas cegas e amblíopes, mas tem diversas outras
aplicações. Pode, por exemplo, ser útil para pessoas daltónicas, ajudando-as
a distinguir cores que de outra forma não conseguem distinguir (tal como
cores de semáforos, cores de fruta verde e madura, etc.). O SonarX pode
também ser útil em laboratórios químicos, onde pode ser usado para assinalar
uma mudança de cor em reações químicas. Outras áreas onde o SonarX tem
aplicações práticas incluem por exemplo as artes e terapias. Na área das
artes pode ser usado, por exemplo, como complemento a exibições de
escultura, pintura, espetáculos, etc. Quando os sons são tocados lentamente
e resultam do mapeamento de imagens agradáveis em som, podem ter efeitos
terapêuticos de relaxação de acordo com princípios terapêuticos de som e
cor.
Apesar de ainda estar em desenvolvimento, o SonarX[1] foi já testado por
vários voluntários cegos e amblíopes, que confirmaram com entusiasmo que uma
ferramenta deste tipo, pode ser útil no dia-a-dia de pessoas com
deficiências visuais. Alguns voluntários comentaram que a ferramenta é útil
para escolher roupas de cores que combinam, que pode ser usada para,
apontando para uma janela, verificar se o dia é enublado ou de sol, ou para
determinar onde está uma janela ou saída para o exterior de um edifício.
Estas, entre muitas outras utilizações práticas do SonarX, comprovam que é
uma ferramenta com bastante potencial, que pode facilitar um pouco o
dia-a-dia de pessoas cegas e amblíopes nas mais diversas tarefas e tomadas
de decisão.
Como funciona
O princípio por detrás do SonarX é transformar propriedades visuais das
imagens em propriedades sonoras. Para isso transforma um conjunto de
propriedades que caracterizam os píxeis, ou seja, as unidades elementares
das imagens digitais, num conjunto de propriedades do áudio que estão
diretamente relacionadas com a altura, timbre e intensidade. Estas
propriedades são depois usadas para gerar os sons correspondentes às
imagens.
O SonarX está preparado para processar imagens digitais e quadros de vídeo
captado em tempo real (onde quadro é uma imagem fixa da sequência de imagens
que compõem um vídeo). O processamento de uma imagem (ou quadro de vídeo)
resulta na geração de um conjunto de sons elementares que são o mapeamento
dos valores dos píxeis presentes na imagem. Desta forma, estes sons
elementares contêm informação sobre as cores e luminosidade existentes na
imagem, assim como a localização e formas dos objetos presentes na imagem.
Para processar uma imagem, o SonarX inspeciona, isto é, varre a imagem de
cima para baixo, uma linha de cada vez. Para evitar que haja demasiada
informação sonora, talvez difícil de processar pelos utilizadores, em vez de
emitir um som por cada píxel da linha, o SonarX divide as linhas em doze
regiões e emite um som correspondente a cada uma dessas regiões (fig. 1). O
som é determinado pela média dos valores dos píxeis dessa região. Os sons de
cada linha são emitidos em simultâneo, mas os sons de linhas diferentes são
emitidos em sequência.
Representação da Figura 1
Fig. 1. SonarX. Imagem carregada a partir de ficheiro (topo esquerdo).
Imagem varrida (em baixo à esquerda). A deformação da imagem resulta da
divisão em regiões de píxeis. Janela de comandos (direita).
Quando o SonarX chega à última linha da imagem, repete o processo voltando
de novo à primeira linha de píxeis. Quando as imagens são quadros de vídeo,
o processamento é o mesmo mas os sons variam de quadro para quadro
dependendo das diferenças entre os quadros, o que permite, por exemplo,
detetar movimento.
A velocidade de varrimento pode ser escolhida pelo utilizador. Por exemplo,
uma velocidade mais lenta pode ser escolhida quando se pretende uma
descrição mais detalhada do ambiente, enquanto que uma mais rápida pode ser
usada para detetar mudanças rápidas entre os quadros (como por exemplo, o
movimento de um objeto, pessoa, animal, etc.).
Validação
Alguns dos testes de validação mencionados acima tiveram um caráter
informal, foi usada a câmara de vídeo, que os utilizadores podiam usar
livremente, ou com ajuda, para explorarem o ambiente envolvente. Além destes
testes, foram também realizados testes formais que visavam testar a
utilidade do SonarX na distinção de cores, formas e localização de objetos
duma forma mais sistemática.
Sucintamente, no primeiro teste, depois dum curto período de treino que
tinha como objetivo a familiarização com os sons produzidos pelo SonarX,
eram apresentados vários sons que os participantes deviam fazer corresponder
a cores. Estes sons consistiam no mapeamento de imagens simples, que
continham apenas uma cor, isto é, todos os píxeis presentes na imagem tinham
os mesmo valores. Foram usadas sete cores e o intervalo de frequências dos
sons gerados correspondia ao intervalo duma oitava musical.
Os resultados deste teste demonstraram que pessoas com treino musical têm
mais facilidade em identificar as cores correspondentes aos sons.
No entanto, apesar de para pessoas sem treino musical poder não ser fácil
fazer a associação dos sons às sete cores usadas (quando o intervalo de
frequências corresponde apenas a uma oitava musical) é possível fazer a
associação a vizinhanças de cores. As vizinhanças são por exemplo,
{vermelho, laranja, amarelo} e {amarelo, verde, azul}. Os resultados deste
teste são bastante altos quando se consideram as
vizinhanças: variam entre 75% e 96% de respostas certas, dependendo da cor.
Foi também possível concluir que o intervalo de frequências usado na geração
de sons, deve ser maior que uma oitava musical. Quanto maior for o
intervalo, mais fácil será para os utilizadores distinguir os sons
correspondentes a cores diferentes.
Num outro teste, apresentaram-se formas geométricas simples, tais como
triângulos, quadrados e círculos (fig. 2). Depois de se explicar aos
voluntários quais as diferenças entre os sons resultantes do mapeamento
destas formas, foram apresentados sons que consistiam no mapeamento de
imagens que continham uma destas formas geométricas. Os voluntários deveriam
tentar identificar as formas geométricas presentes nas imagens.
Os resultados deste teste demonstraram que é possível distinguir formas
simples a partir dos sons resultantes do mapeamento feito pelo SonarX.
Verificou-se que a taxa de reconhecimento é de 100%, ou seja todos os
participantes obtiveram 100% de respostas certas.
Como as imagens são varridas de cima para baixo e os sons das linhas são
tocados em sequência (e não todas as linhas ao mesmo tempo), a sequência de
sons faculta informação sobre as formas dos objetos. A sequência de sons é
ouvida como um único som cuja intensidade se mantém constante, aumenta ou
diminui. Por exemplo, um retângulo (com lados paralelos ao ecrã) é
caracterizado por um som com intensidade constante que é tocado enquanto o
retângulo é varrido (de cima para baixo). O som começa repentinamente quando
o lado superior é varrido, mantém-se constante até a linha de varrimento
chegar ao lado inferior e acaba repentinamente assim que essa última linha
de píxeis for processada. Por outro lado, um triângulo é caracterizado por
um som com intensidade crescente ou decrescente (dependendo da orientação do
triângulo). Por exemplo, um triângulo isósceles (fig. 2.a) com a base
paralela ao lado inferior do ecrã, começa por um som com intensidade mais
fraca que vai aumentando até a linha de varrimento intersetar a base do
triângulo. Um círculo, por outro lado, começa com um som de intensidade
fraca que vai aumentando até a linha de varrimento intersetar o centro do
círculo (fig. 2b). Nessa altura a intensidade começa a decrescer até a linha
de varrimento chegar à base do círculo.
Representação da Figura 2 (a)Representação da Figura 2 (b)
(a)                                   (b)
Fig. 2. Imagens com formas geométricas usadas em testes com pessoas cegas e
amblíopes. A linha horizontal (linha de varrimento) e setas indicam o
sentido de varrimento da imagem. A interseção desta linha com a forma
determina quais os píxeis que são tocados, isto é, quais são mapeados em som
audível. (a) Triângulo. (b) Círculo.
Finalmente, foi também testada a localização de objetos. Neste teste foram
usadas figuras com uma forma geométrica localizada em diferentes zonas da
imagem (topo esquerdo, todo centro, etc.) Depois de apenas alguns minutos de
treino, todos os participantes neste teste conseguiram localizar
corretamente todas as amostras que lhes foram apresentadas.
Para simular as diferentes localizações verticais, o SonarX emite um clique
quando a linha de varrimento está no topo da imagem. Quando toda a imagem é
varrida, o processo repete-se, isto é, a linha de varrimento volta ao topo
da imagem, é emitido um clique e o SonarX processa de novo a imagem de cima
para baixo (no caso de ser vídeo em tempo real o novo quadro pode diferir do
anterior). Avaliando o intervalo temporal entre o clique o evento sonoro
correspondente ao objeto que se pretende localizar, é possível determinar a
localização vertical do objeto. Para a localização horizontal, usam-se
diferenças de fase entre os sinais emitidos no canal esquerdo e direito.
Esta diferença de fase dá a perceção de localização no plano horizontal.
Conclusões
O SonarX é uma ferramenta informática com grande potencial, que pode
facilitar a vida diária de pessoas cegas e amblíopes nas mais diversas
tarefas. É ainda útil para químicos, daltónicos, artistas, etc. Os sons
gerados contêm informação sobre as cores e luminosidade existentes nas
imagens, presença, forma, localização e movimento de objetos.
Tal como mencionado anteriormente, o SonarX está ainda em desenvolvimento.
Verificou-se que a sua utilização com imagens carregadas a partir de
ficheiros ou com a câmara numa posição estável não apresenta dificuldades,
mas se o utilizador opta por segurar na câmara com uma mão para explorar o
ambiente tem que ter alguma prática tanto para interpretar os sons como para
movimentar a câmara, pois há tendência em movimentar a câmara muito
rapidamente em vez de se utilizarem movimentos lentos. Os investigadores
estão a considerar esta questão entre outras melhorias no desenvolvimento do
SonarX.
Agradecimentos
O SonarX foi desenvolvido no âmbito dum projeto
(UTA-Exp/MAI/0025/2009) financiado pela Fundação para a Ciência e Tecnologia
e o programa Digital Media da UT Austin - Portugal.
Os autores agradecem a colaboração de Carlos Ferreira e a todos os
voluntários que participaram nos testes de validação.

-- 

** Visite o Chat de conversação telefónica "Ponto de Encontro" em
221451110
Divirta-se!
______

PARA TER O DROPBOX, AGORA EM PORTUGUÊS, SIGA ESTE LINK:
http://db.tt/lJYt24l
---
 "Correio do Mondego" na WEB desde 20 de Outubro de 2008

*Recebeu esta mensagem porque se encontra inscrito(a) no Grupo
"CORREIODOMONDEGO", grupo noticioso que difunde a partir de Portugal
* Neste grupo fazemos apenas expedição de conteúdos informativos, no qual
pode colaborar, enviando a informação que considere relevante para a
generalidade dos seus membros, através do e-mail:
correiodomondego@gmail.com
  *Participe!*

 *Para sair do Grupo, envie um e-mail para:
correiodomondego+unsubscribe@googlegroups.com

Note que: somos muitas vezes "os primeiros a dar as últimas"!
Viaje connosco, sempre bem informado, via "Correio do Mondego"!

---
Recebeu esta mensagem porque está inscrito no grupo "CORREIO DO MONDEGO" dos
Grupos do Google.

Para anular a subscrição deste grupo e parar de receber emails deste grupo,
envie um email para
correiodomondego+unsubscribe@googlegroups.com.
Para mais opções, consulte https://groups.google.com/groups/opt_out.