Sarkar Ganha Prêmio de Melhor Trabalho de Estudante no Simpósio Internacional de Multimídia do IEEE 2021 | Ciência da Computação

À medida que o hardware usado para realidade aumentada e realidade virtual se torna mais amplamente disponível e popular entre os consumidores, espera-se que a quantidade de tráfego de vídeo associado aumente para mais de 4 exabytes por mês até o final de janeiro de 2022. No entanto, problemas com a largura de banda da rede , latência e qualidade de vídeo no fluxo de vídeo de 360 ​​graus ainda precisam ser abordadas e estão afetando a qualidade da experiência dos consumidores.

Em reconhecimento ao trabalho realizado para resolver esse problema, Ayush Sarkar, assistente de pesquisa de pós-graduação no Laboratório de Ciências Coordenadas (CSL) e estudante de doutorado em Ciência da Computação, recebeu recentemente o prêmio “Best Student Paper” por seu artigo, “L3BOU: Low Latência, baixa largura de banda e super-resolução Backhaul otimizado para transmissão de vídeo de 360 ​​graus” no Simpósio Internacional de Multimídia IEEE 2021.

Sarkar é o primeiro autor do artigo, que foi co-autor de John Murray, Mallesham Dasari, Michael Zink e o conselheiro de Sarkar, Diretor CSL Klara Nahrstedt, Grainger Distinguished Professor of Engineering no Departamento de Ciência da Computação. Os autores propõem o L3BOU, uma estrutura de software distribuída de três camadas, como uma solução para combater os desafios dos requisitos de largura de banda da rede em nuvem e reduzir a latência de ponta a ponta sem comprometer a qualidade da experiência.

Ao contrário do vídeo 2D convencional, o vídeo de 360 ​​graus requer que os pontos de vista panorâmicos sejam processados ​​por meio de monitores montados na cabeça (HMDs) para obter imersão visual em realidade virtual e aumentada. Vídeos de 360 ​​graus também exigem qualidade de resolução de vídeo significativamente maior do que vídeos 2D. O streaming de mídia de 360 ​​graus por meio de HMDs resulta em demandas mais altas de largura de banda e taxas de bits da rede do que o streaming de vídeo 2D. O resultado pode ser o aumento da latência, o que pode afetar negativamente a qualidade da experiência ao usar mídia de 360 ​​graus.

As abordagens tradicionais operam sob a suposição de uma arquitetura cliente-servidor simples e ignoram cenários de streaming envolvendo nós de borda com poder de computação de ponta. Essa restrição leva à sobrecarga de energia do lado do cliente quando as GPUs são usadas para realizar o upscaling de resolução mais alta para renderizar conteúdo de vídeo de alta qualidade. Em muitos casos, essa abordagem tradicional não funciona porque os recursos de computação dos dispositivos clientes são muito baixos.

Para evitar esse problema, o L3BOU considera o servidor, a borda e o cliente em um processo de super resolução distribuído. Sarkar explica esse processo da seguinte forma: “Primeiro, o L3BOU usa computação de borda para aprimorar segmentos de vídeo em mosaico de resolução ultrabaixa e reduzidos que transmitem da nuvem, reduzindo os requisitos de largura de banda de rede pelos servidores em nuvem. Em segundo lugar, o L3BOU mascara a sobrecarga de latência usando um algoritmo de previsão para pré-obter segmentos de mosaico de resolução ultrabaixa altamente compactados. Terceiro, o L3BOU usa computação de borda para super-resolução de micromodelos, proporcionando melhor qualidade de vídeo.”

Sobre seu prêmio de Melhor Trabalho de Estudante, Sarkar diz: “Receber um prêmio como esse não é apenas inspirador, mas também um reconhecimento da eficácia de um esforço colaborativo. O reconhecimento me motiva a fazer mais pesquisas e escrever artigos mais inovadores com diversas equipes de pessoas com a mesma opinião.”

Por enquanto, Sarkar continua trabalhando em realidade virtual e realidade aumentada em um projeto NSF que busca melhorar a consciência situacional em ambientes de treinamento de bombeiros, costurando vídeo 2D e desenvolvendo ferramentas para ação e detecção de objetos. em vídeos costurados em 2D e 360 ​​graus.


Leave a Comment