Cadeiras Musicais

Projeto Musical Chairs e líderes de equipe Tamar Sella, Jason Wang, Suvin Sundararajan, Peggy Yin e Yiting Huang (Matt Goisman/SEAS)

Quando nos sentamos em cadeiras, deixamos alguma coisa para trás? Quando interagimos com objetos, eles se lembram de nós? E se esses objetos pudessem transmitir suas memórias de volta para nós, como isso soaria?

Estas são algumas das ideias que Peggy Yin e sua organização estudantil Conflux exploraram em "Musical Chairs", um trio de cadeiras de madeira capazes de gravar e retransmitir sinais de áudio que foram instaladas no Harvard Yard durante a ARTS FIRST Week. O projeto combinou elementos de aprendizado de máquina e ciência da computação, performance musical e carpintaria para criar uma fusão de arte e tecnologia.

"Meu objetivo final é criar um espaço onde as pessoas possam ter conversas naturais, mas também refletir depois sobre como suas palavras e expressões podem impactar outras pessoas e dar às pessoas tempo e espaço para se expressarem de forma autêntica e honesta", disse Yin, Co-fundador da Conflux e aluno do segundo ano estudando neurociência computacional e história da arte e arquitetura. "Sempre me interessei em como a tecnologia, especificamente a tecnologia de mídia, pode realmente nos ajudar a criar empatia e compreensão entre as pessoas e como ela pode aumentar nossa capacidade de comunicar e interpretar os sinais de comunicação de outras pessoas."

A paisagem sonora de Musical Chairs toca enquanto os visitantes do Harvard Yard se sentam. (Confluência)

Cada cadeira toca música de harpa quando sensores especializados detectam que alguém está sentado nela. Os microfones captam as conversas e os computadores usam algoritmos de aprendizado de máquina para extrair dados de áudio, como frequência e andamento das vozes das pessoas. Amostras pré-gravadas das vozes dos alunos de Harvard são usadas para compor música com base nesses dados, que são enviados de volta para transdutores nos apoios de braço da cadeira. Ao colocar um cotovelo no apoio de braço e um ouvido na mão, a paisagem sonora musical de conversas passadas pode ser ouvida por condução óssea.

"Algumas pessoas que vieram mais cedo sentaram-se e conversaram, e eu realmente adorei que eles estivessem permitindo que a paisagem sonora simplesmente ocorresse", disse Yin. "No final, um deles disse que era muito relaxante e que gostaria de ter um em sua casa. Ter uma conversa completamente normal enquanto ouviam a música e dizer isso depois realmente me mostrou que eles estavam permitindo a música para apoiar a conversa de forma positiva, sem interrompê-la."

A líder do projeto Musical Chairs, Peggy Yin, no centro, demonstra a técnica de condução óssea na frente dos líderes da equipe Tamar Sella e Jason Wang no Harvard Yard. (Matt Goisman/SEAS)

Enquanto a cadeira estava sendo construída, os alunos da Harvard John A. Paulson School of Engineering and Applied Sciences (SEAS) abriram o caminho para que o hardware e o software funcionassem. Suvin Sundararajan, um concentrador de bioengenharia, imprimiu os sensores em 3D e atuou como líder de hardware, enquanto o estudante de ciência da computação e matemática Jason Wang projetou os algoritmos de aprendizado de máquina e a rede de computação distribuída poderosa o suficiente para extrair dados de áudio em tempo real.

"Sou um cara de aprendizado de máquina, então realmente gosto de brincar com esse tipo de coisa", disse Wang. "A parte mais desafiadora foi descobrir como processar recursos de áudio em tempo real, porque normalmente eles exigem muita computação. Tivemos que colocar três MacBook Pros para fazer isso funcionar em tempo real e descobrir como comunicar esses recursos para o software que está fazendo a música."

O projeto de Yin foi selecionado para uma bolsa de artes públicas do Harvard Office of the Arts. A SEAS também ajudou a concretizar o projeto por meio de financiamento destinado a organizações estudantis afiliadas à SEAS por meio do grupo de Ensino e Aprendizagem. Os sensores e eletrônicos também foram projetados no SEAS. A marcenaria e a carpintaria, por sua vez, foram concluídas na Oficina de Artes, Filmes e Estudos Visuais.

Uma olhada na caixa central do microfone, hardware e fiação que permitem a paisagem sonora de Cadeiras Musicais. (Matt Goisman/SEAS)