Quais soluções para reuniões e chamadas oferecem a melhor experiência de qualidade de maneira objetiva?

O Zoom trabalhou incansavelmente na última década para fornecer áudio e vídeo excepcionais em uma experiência de usuário intuitiva. Os clientes nos dizem que escolheram o Zoom por causa de nossas reuniões e ligações de alta qualidade, mas como você quantifica isso?

Para responder a essa pergunta analiticamente, contratamos um terceiro independente, a Wainhouse Research, para avaliar a experiência do Zoom em comparação com outros provedores de telefone e reuniões na nuvem. Wainhouse desenvolveu uma metodologia de avaliação de soluções com base nos padrões atuais da indústria para medir a qualidade de áudio e vídeo. Embora Zoom tenha encomendado o estudo, não tivemos nenhuma função no projeto da metodologia Wainhouse ou sistema de pontuação.

Esta pesquisa começou com uma única pergunta para a Wainhouse Research – como podemos avaliar objetivamente a qualidade das reuniões e chamadas de áudio, vídeo e desempenho?

Foco de avaliação

A Wainhouse Research avaliou reuniões e a qualidade do telefone em seis fornecedores e 10 soluções. Mais de 2.000 testes foram realizados.

Fonte: Relatório de Reuniões e Chamadas de Avaliação de Qualidade da Wainhouse Research, janeiro de 2021

Reuniões empresariais – Qualidade de vídeo

Um conjunto-chave de testes focado na pontuação VMAF : Um padrão criado para avaliar o desempenho e a eficácia dos sistemas de codificação de vídeo, comparando arquivos de vídeo enviados (referência) e recebidos (processados). O VMAF usa um modelo treinado por IA para prever como um usuário pontuaria cada vídeo de teste em uma escala de 0 (ruim) a 100 (excelente).

Fonte: Relatório de Reuniões e Chamadas de Avaliação de Qualidade da Wainhouse Research, janeiro de 2021

Este gráfico representa as pontuações VMAF médias (eixo Y): média de 3 vídeos de referência – claro, escuro e movimento – e na linha de base (normal), 5%, 20%, 40% e 70% de etapas de perda de pacote (X- Eixo).

Média de pontuações VMAF brutas da avaliação Wainhouse:

Fonte: Relatório de Reuniões e Chamadas de Avaliação de Qualidade da Wainhouse Research, janeiro de 2021

Esta tabela corresponde ao gráfico de pontuação VMAF média: Média de 3 vídeos de referência – claro, escuro e movimento – e na linha de base (normal), 5%, 20%, 40% e 70% das etapas de perda de pacote.

Destaques:

• O zoom começa com a mais alta qualidade de vídeo medida com base nos serviços padrão oferecidos por cada provedor.
• Com 20% de perda de pacote, o Zoom ainda está na faixa EXCELENTE.
• Com 40% de perda de pacote, o Zoom ainda está na faixa EXCELENTE, quando todos os outros caem para BOM ou abaixo. *
  * Nota do editor: Esta estatística foi atualizada em 1/13 para precisão.

Chamada corporativa – Supressão de ruído

Wainhouse também conduziu testes para avaliar o desempenho de supressão de ruído de soluções de chamadas corporativas. A supressão de ruído se tornou mais importante à medida que mais pessoas trabalham fora do ambiente de um escritório corporativo. Muitos provedores melhoraram seus recursos de supressão de ruído, então este estudo os compara lado a lado.

Fonte: Relatório de Reuniões e Chamadas de Avaliação de Qualidade da Wainhouse Research, janeiro de 2021

Este teste começa com um arquivo de referência de forte ruído marrom, que soa como um ar condicionado barulhento trabalhando em velocidade máxima. O ruído de referência é enviado para cada solução com supressão habilitada (quando disponível), registrado no outro lado, e a quantidade de ruído registrado é medida em relação ao arquivo de referência original. As formas de onda laranja representam o ruído marrom presente em cada teste – você pode ver o arquivo de ruído não filtrado acima e a gravação de cada solução em comparação com o arquivo de ruído original (em forma de onda cinza) abaixo.

Embora um exemplo da vida real se concentre em como a supressão de ruído de fundo pode tornar uma voz mais audível, este teste visa levar a supressão de ruído de cada provedor de chamadas ao extremo para compreender a eficácia e o tempo necessário para começar a suprimir o ruído.

O visual a seguir mostra como o serviço de chamada de cada provedor suprimiu o ruído marrom do mesmo arquivo de referência.

Fonte: Relatório de Reuniões e Chamadas de Avaliação de Qualidade da Wainhouse Research, janeiro de 2021

• Webex Calling – começa a reconhecer o ruído de fundo em torno de 11 segundos no áudio e reduz apenas ligeiramente o ruído.
• 8 × 8 – reconhece o ruído de fundo antes do primeiro segundo e o reduz ligeiramente, mas aumenta a supressão em cerca de 12 segundos.
• RingCentral – também reconhece o ruído antes do primeiro segundo, mas aumenta a supressão mais cedo em cerca de 9 segundos.
• Microsoft Teams – reconhece o ruído imediatamente e reduz o ruído de fundo em comparação com os fornecedores anteriores, mas ainda tem uma maior variabilidade em quanto é reduzido ao longo deste período de tempo. Observe que este teste está usando a mais recente atualização da tecnologia de supressão de ruído da Microsoft.
• Webex Teams – também reconhece o ruído imediatamente, mas faz um trabalho melhor em manter uma supressão de ruído mais consistente.
• Zoom – também reconhece o ruído imediatamente, mas reduz drasticamente o ruído de fundo ao máximo e mantém a maior supressão de ruído deste conjunto de amostra. Ele ainda continua a reduzi-lo ainda mais com o passar do tempo.

Fizemos uma tabela comparativa de diferenças entre Zoom e Microsoft Teams.

Essas duas descobertas de avaliação representam apenas uma pequena parte dos milhares de testes conduzidos pela Wainhouse Research para ajudar a responder à questão de qual provedor de soluções oferece objetivamente a melhor qualidade em reuniões e experiências de ligações.

Para saber mais sobre como a Wainhouse Research projetou sua metodologia de teste, variáveis ​​controladas, pontuação ponderada e calculou sua resposta, junte-se a nós para um fascinante webinar sobre Zoom em 28 de janeiro. Este webinar também incluirá uma visão geral dos resultados de avaliação adicionais, como Enterprise Qualidade de áudio de reunião, desempenho de sistema de reunião empresarial, comparações de teste subjetivo a objetivo e qualidade de áudio de VoIP empresarial.

Inscreva-se hoje mesmo no webinar de 28 de janeiro (em inglês) “Questões de qualidade de serviço: Wainhouse Research discute descobertas recentes em reuniões e telefone”!

Confira a matéria original (em inglês) no Blog da Zoom