O benchmark da Huawei resulta em testes privados versus públicos com potência SoC manipulada.
Algumas semanas atrás nós cobrimos Huawei usando uma câmera DSLR profissional em um comercial sobre suas capacidades de selfie, e parece que eles simplesmente não conseguem parar de encontrar maneiras de tentar enganar os consumidores - desta vez, seus benchmarks eles estão manipulando.
Os benchmarks são populares e ( até agora?) forma legítima de mostrar o desempenho de um dispositivo - seja sua CPU, GPU ou benchmarks de desempenho do sistema. O objetivo dos benchmarks é dar aos consumidores um resultado preciso de como os dispositivos funcionam sob estresse.
Infelizmente, parece que a Huawei incluiu um “mecanismo de detecção de benchmark” em alguns de seus dispositivos mais recentes. O que esse mecanismo essencialmente faz é levar o SoC a um limite de potência e espaço térmico muito mais alto quando ele detecta que está sendo testado em determinados aplicativos - resultando em pontuações de desempenho muito mais altas do que os usuários normalmente obteriam no uso diário. Isso não é apenas desonesto, é perigoso para a vida útil do SoC e pode superaquecer muito rapidamente um dispositivo e reduzir a vida útil da bateria.
A defesa desta prática pela Huawei pode ser resumida como, “ todo mundo faz isso também! ” - e, infelizmente, eles estão realmente certos. A trapaça de referência não é nada novo - era uma tendência desenfreada no cenário do PC há uma década e também já existe há algum tempo.
Vários dispositivos retirados do 3DMark para manipulação de benchmarks.
A variante Exynos do Samsung Galaxy S4 foi pego fazendo práticas de trapaça de benchmark semelhantes, e os editores do site de revisão móvel AnandTech descobriu um grande número de outros fornecedores de smartphones também manipulando dados de benchmark. Isso levou a uma série de dispositivos, como o Galaxy S4, Galaxy Note 3, HTC One e vários outros sendo retirado do banco de dados 3DMark.
Embora a maioria dos fabricantes tenha interrompido o comportamento após serem chamados, alguns continuaram - por exemplo, OnePlus continuou trapaceando em benchmarks populares como o GeekBench, embora aparentemente tenha interrompido a prática desde o OnePlus 5T - que é na verdade um ótimo dispositivo e é muito popular em a comunidade de modding e desenvolvimento, então talvez OnePlus achasse que não necessidade para manipular dados de benchmark.
Infelizmente, parece que a Huawei está começando de onde outros fornecedores de dispositivos pararam, já que há relatos verificados da Huawei manipulando benchmarks com dispositivos incluindo Huawei P20, Huawei P20 Pro e Honor Play. Basicamente, o desempenho do Huawei P20 havia regredido quando comparado ao Huawei Mate 10 Pro - e na época, a Huawei disse que era um “ problema de firmware ”- uma mentira ousada, pois na verdade foi devido ao mecanismo de detecção de benchmark mencionado acima, que aciona um limite de potência muito superior para o SoC.
Isso não é apenas ruim para o próprio SoC, como a eficiência geral do SoC diminui quando isso é feito, porque o SoC está sendo empurrado bem fora de sua janela de operação normal ( imagine fazer um overclock de sua CPU tão alto quanto possível sem qualquer pasta térmica) . No entanto, isso também é ruim para o mercado em si.
Por um lado, faz o SoC parecer ruim, como se necessidades ter os dados de referência manipulados para valer a pena vender. Em segundo lugar, lança dúvidas sobre o mercado de smartphones chinês - que já está repleto de imitações, clones e práticas obscuras. Além disso, o comportamento de referência da Huawei é talvez o mais notório a ser visto até o momento, pois existe realmente um maciço diferença nos resultados de desempenho com o mecanismo de detecção de benchmark ativado em comparação com quando ele está desativado. Tanto que AnandTech observou que as diferenças nos resultados de benchmark disponíveis publicamente e em seus próprios testes internos eram “ absolutamente surpreendente ”.
A Huawei respondeu ao ser descoberta e, como dissemos antes, sua resposta foi basicamente “ todo mundo faz isso também ”. O que eles disseram literalmente ( citação do Dr. Wang Chenglu, Presidente de Software do Grupo de Negócios de Consumo da Huawei) estava ' outros fazem a mesma coisa, obtêm pontuações altas e a Huawei não consegue ficar em silêncio. A Huawei quer se reunir com outras empresas na China para encontrar o melhor benchmark de verificação para a experiência do usuário. ”
O Dr. Wang também apontou outros fabricantes com números de benchmark enganosos e citou um popular fabricante de smartphones anônimo na China como o maior culpado. De acordo com o Dr. Wang, a trapaça de referência se tornou 'prática comum na China' e, embora a Huawei queira 'se abrir' para os consumidores, eles têm problemas quando os concorrentes 'publicam continuamente pontuações irrealistas'. A Huawei está tentando enfrentar sua maior concorrência chinesa, uma tarefa que parece dificultada quando outros fabricantes de dispositivos apresentam pontuações irrealistas.
Para resumir, Huawei
- Admite que estão manipulando números de referência
- Admite que todo mundo no mercado de telefonia chinês faz isso
- Não tem planos de parar por causa do # 2.
Como pode alguém Confiar em o mercado de telefonia chinês depois desse tipo de coisa? Em qualquer caso, a Huawei fez uma declaração de que a empresa “ garantir que os futuros dados de referência sejam verificados de forma independente por terceiros ”.
Huawei enviou uma resposta completa ao XDA:
“A Huawei sempre prioriza a experiência do usuário em vez de buscar altas pontuações de benchmark - especialmente porque não há uma conexão direta entre benchmarks de smartphone e experiências do usuário. Os smartphones Huawei usam tecnologias avançadas como AI para otimizar o desempenho do hardware, incluindo CPU, GPU e NPU.
Quando alguém inicia um aplicativo de fotografia ou joga um jogo com uso intensivo de gráficos, o software inteligente da Huawei cria uma experiência de usuário suave e estável, aplicando todos os recursos do hardware, ao mesmo tempo que gerencia a temperatura do dispositivo e a eficiência energética. Para aplicativos que não consomem tanto energia como navegar na web, ele apenas alocará os recursos necessários para fornecer o desempenho que é necessário.
Em cenários normais de benchmarking, uma vez que o software da Huawei reconhece um aplicativo de benchmarking, ele se adapta de forma inteligente ao “Modo de Desempenho” e oferece desempenho ideal. A Huawei está planejando fornecer aos usuários acesso ao “Modo de Desempenho” para que possam usar a potência máxima de seus dispositivos quando precisarem.
Huawei - como líder do setor - está disposta a trabalhar com parceiros para encontrar os melhores padrões de benchmarking que possam avaliar com precisão a experiência do usuário. ”
Em qualquer caso, verdadeiro benchmarks executados por AnandTech testou o Huawei P20, P20 Pro e Honor Play - e todos os dispositivos tiveram desempenho semelhante, porque todos compartilham o mesmo HiSilicon Kirin 970 SoC - mas o desempenho real de cada dispositivo é limitado pelos limites térmicos, já que cada dispositivo tem um chassis e design de refrigeração diferentes. O Huawei P20 Pro tem as melhores térmicas, por isso tem um desempenho melhor em um estado de desempenho real.
O editor de AnandTech , Andrei Frumusanu, tinha o seguinte a dizer:
“No passado, vimos fornecedores realmente aumentar as frequências de SoC ou travá-las em seus estados máximos, aumentando o desempenho além do que normalmente está disponível para aplicativos genéricos. O que a Huawei está fazendo, em vez disso, é aumentar as pontuações de benchmark vindo de outra direção - os aplicativos de benchmarking são os únicos casos de uso em que o SoC realmente executa as velocidades anunciadas. Enquanto isso, todos os outros aplicativos do mundo real são limitados a um grau significativo abaixo desse estado devido às limitações térmicas do hardware. O que acabamos vendo com um desempenho desenfreado talvez seja a forma ‘verdadeira’ de um SoC irrestrito, embora isso seja completamente acadêmico quando comparado ao que os usuários realmente experimentam. ”
Seus gráficos demonstram que os telefones mais novos da Huawei já atingem 3,5-4,4 W em seu estado de desempenho real, enquanto 3,5 W TDP é a quantidade máxima que pode ser sustentada. Por outro lado, o telefone entra em overdrive com TDP ao realizar os benchmarks publicamente disponíveis, com valores de potência indo acima de 6W e chegando a 8,5W. Conforme observado pela AnandTech, esses números disparam rapidamente uma notificação de superaquecimento no dispositivo, significando a incompatibilidade dos limites térmicos com as expectativas do software.
O que se pode deduzir dessa situação é que os verdadeiros números de desempenho não são estáveis, pois dependem da temperatura do telefone. A Huawei não impede que a GPU alcance seu estado de frequência de pico da GPU. O comportamento padrão é, na verdade, um “mecanismo de estrangulamento térmico severo [...] que tentará manter níveis de temperatura de SoC significativamente mais baixos e consumo geral de energia”.
O modo normal dos telefones pode atingir os mesmos valores de consumo de energia de pico durante os benchmarks de GPU que os publicados pelas variantes não reguladas. No entanto, esses números diminuem rapidamente de forma significativa, e a AnandTech observa que o telefone diminui para 2,2 W em alguns casos, o que tem o efeito de reduzir significativamente o desempenho.
A publicação afirma que o comportamento de trapaça de referência foi aparentemente introduzido apenas nos dispositivos deste ano. Telefones como o Huawei Mate 9 e o Huawei P10 não são afetados e parece que apenas o EMUI 8.0 e dispositivos mais recentes são afetados. A AnandTech também foi informada pela Huawei que esta era 'puramente uma implementação de software', o que corroborou as descobertas da publicação.
AnandTech postou números reais de desempenho de GPU para os telefones afetados com Kirin 970, e a conclusão é que a Huawei está significativamente atrás de seus concorrentes em desempenho e eficiência da GPU .
A publicação também publicou gráficos de comparação de energia para os dispositivos Huawei Kirin 970 e Kirin 960. Os gráficos mostram que os ajustes de limitação de energia da Huawei são, de fato, melhores para a experiência do usuário, pois atenuam o problema de maior consumo de energia. Os testes da AnandTech com o Kirin 960 mostraram que ele tinha 'características de potência de GPU terríveis', enquanto os dispositivos com motor Kirin 970 têm um novo mecanismo de estrangulamento estrito para reduzir o consumo de energia e as temperaturas.
AnandTech também mencionou que a nova política de estrangulamento faz sentido quando se considera o fato de que tanto o Kirin 960 quanto o Kirin 970 mostram consumos de energia que estão muito acima de seus níveis sustentáveis para seus respectivos formatos.
Embora a Huawei não tenha necessariamente feito nada de errado ao introduzir um novo mecanismo de limitação, eles certamente ultrapassaram o limite de trapaça com a exclusão de aplicativos de benchmark populares por meio de uma lista de permissões, o que é conhecido como trapaça de benchmark neste caso.
A UL que adquiriu a Futuremark, a empresa por trás do PCMark e 3DMark, retirou o Huawei P20, Huawei P20 Pro, Huawei Nova 3 e o Honor Play do 3DMark.
A empresa verificou trapaça de referência no Huawei P20 Pro, Huawei Nova 3 e o Honor Play. Com base nos testes e relatórios da AnandTech, ela também removeu o Huawei P20 padrão. Os usuários não poderão mais visualizar os resultados de benchmark dos telefones afetados, pois a empresa não deseja hospedar pontuações de benchmark fraudadas.
A empresa constatou que as pontuações do aplicativo 3DMark público foram até 47% maiores do que as pontuações do aplicativo privado (que não está disponível ao público), apesar do fato de os testes serem idênticos.
No anúncio, a UL acrescentou que estava feliz em ver a Huawei se comprometer a adotar uma abordagem mais transparente no futuro. A visão da UL é que os modos de desempenho opcionais que podem ser definidos pelo usuário são permitidos de acordo com as regras atuais, desde que sejam desativados por padrão. A empresa afirma: “Um dispositivo deve executar o benchmark como se fosse qualquer outro aplicativo.”
Em conclusão, todos os benchmarks de desempenho da GPU Huawei que foram feitos usando benchmarks disponíveis publicamente não devem ser tomados como uma representação do desempenho real.
A Huawei entrou em contato com a UL para discutir as melhores práticas para testes de benchmark e emitiu uma declaração:
“Huawei e UL (criadores do 3DMark) realizaram discussões abrangentes sobre as práticas de benchmarking esta semana e chegaram a um acordo positivo sobre as próximas etapas do trabalho conjunto.
Na discussão, a Huawei explicou que seus smartphones usam um mecanismo de programação de recursos inteligente artificial. Como diferentes cenários têm diferentes necessidades de recursos, os aparelhos Huawei mais recentes aproveitam tecnologias inovadoras, como inteligência artificial, para otimizar a alocação de recursos de forma que o hardware possa demonstrar suas capacidades ao máximo, atendendo às demandas do usuário em todos os cenários.
A UL entende a intenção da abordagem da Huawei, mas se opõe a forçar o uso de um 'Modo de Desempenho' por padrão quando um aplicativo de benchmarking é detectado pelo dispositivo. As regras da UL exigem que um dispositivo execute o benchmark como se fosse qualquer outro aplicativo.
A Huawei respeita o direito dos consumidores de escolher o que fazer com seus dispositivos. Portanto, a Huawei fornecerá aos usuários acesso aberto ao “Modo de Desempenho” no EMUI 9.0, para que o usuário possa escolher quando usar a potência máxima de seu dispositivo.
Huawei e UL também discutiram as atuais metodologias comuns de teste de benchmark em geral. A UL e a Huawei gostariam de participar de um movimento da indústria para desenvolver padrões de benchmarking que melhor atendam às necessidades dos fabricantes, imprensa e consumidores.
Para evitar confusão em torno dos resultados de benchmarking atuais, após discussão, a UL e a Huawei retiraram temporariamente as pontuações de benchmark de uma série de dispositivos Huawei e os restabelecerão após a Huawei conceder a todos os usuários de aparelhos Huawei acesso ao Modo de Desempenho. ”
Tag Huawei
