Резолуција Хуавеи резултира приватним и јавним тестовима са манипулисаном СоЦ снагом.
Пре неколико недеља смо покрили Хуавеи користи професионалну ДСЛР камеру у реклами о својим могућностима за селфие, и чини се да једноставно не могу престати да проналазе начине да покушају да преваре потрошаче - овог пута, својим реперима којима манипулишу.
Референтни тестови су популарни и ( до сада?) легитиман начин приказивања перформанси уређаја - било да се ради о ЦПУ-у, ГПУ-у или референтним перформансама система. Цела поента мерила је да потрошачима дају тачан резултат о томе како уређаји раде под стресом.
Нажалост, чини се да је Хуавеи у неке од својих најновијих уређаја укључио „механизам за откривање референтне вредности“. Оно што овај механизам у суштини чини је гурнути СоЦ на много већу границу снаге и топлотни простор када открије да се мери у одређеним апликацијама - што резултира много бољим резултатима перформанси него што би корисници обично имали у свакодневној употреби. Ово није само неискрено, него опасно за животни век СоЦ-а и може врло брзо прегрејати уређај и смањити му животни век.
Хуавеијеву одбрану ове праксе најбоље можемо сумирати као, „ то раде и сви други! “ - и нажалост, у ствари су у праву. Бенцхмарк варање уопште није новост - на ПЦ сцени је било раширено пре деценију, а већ неко време је и на мобилној сцени.
Разни уређаји су уклоњени са 3ДМарка ради манипулације референтним вредностима.
Екинос варијанта Самсунг Галаки С4 је ухваћена како ради сличне референтне праксе варања, а уредници за веб локацију за мобилне уређаје АнандТецх открио велики број других произвођача паметних телефона који такође манипулишу референтним подацима. То је довело до стварања бројних уређаја, као што су Галаки С4, Галаки Ноте 3, ХТЦ Оне и бројни други брисан са листе из базе података 3ДМарк.
Иако је већина произвођача престала са понашањем након прозивања, неколицина је наставила - на пример, ОнеПлус је наставио варати у популарним тестовима као што је ГеекБенцх, иако је очигледно зауставио ту праксу још од ОнеПлус 5Т - што је заправо сјајан уређај и веома је популаран у заједницу за модинг и развој, па је можда ОнеПлус сматрао да нису потреба за манипулисање референтним подацима.
Нажалост, чини се да Хуавеи наставља тамо где су други произвођачи уређаја стали, јер постоје верификовани извештаји да Хуавеи манипулише референтним вредностима са уређајима, укључујући Хуавеи П20, Хуавеи П20 Про и Хонор Плаи. У основи, перформансе Хуавеи П20 су назадовале у поређењу са Хуавеи Мате 10 Про - и тада је Хуавеи рекао да је то „ проблем фирмвера ”- искрена смела лаж, као што је то заправо било због горе поменутог механизма за откривање референтне вредности, који покреће изузетно супериорно ограничење снаге за СоЦ.
Не само да је ово лоше за сам СоЦ, јер се укупна ефикасност СоЦ смањује када се то уради, јер се СоЦ гура па напољу свог нормалног оперативног прозора ( замислите да оверцлоцкате свој ЦПУ што је више могуће без икакве термичке масти) . Међутим, ово је такође лоше за тржиште себе.
Као прво, СоЦ изгледа лоше, као да изгледа потребе да се референтним подацима манипулише тако да их вреди продати. Друго, то баца сумњу на кинеско тржиште паметних телефона - које је већ препуно имитација, клонова и сумњивих пракси. Штавише, Хуавеи-ово референтно понашање је можда најнепријатније што се до сада могло видети, јер заиста постоји масиван разлика у резултатима перформанси са укљученим механизмом за откривање референтне вредности у поређењу са када је искључен. Толико АнандТецх приметио да су разлике у јавно доступним резултатима референтних вредности и њиховим сопственим интерним испитивањима „ апсолутно запањујуће “.
Хуавеи је одговорио да је сазнао, и као што смо раније рекли, њихов одговор је у основи био „ то раде и сви други ”. Оно што су дословно рекли ( цитат др. Ванг Цхенглу-а, председника софтвера у компанији Хуавеи Цонсумер Бусинесс Гроуп) био ' други раде исту ствар, постижу високе резултате, а Хуавеи не може да ћути. Хуавеи жели да се удружи са другима у Кини како би пронашао најбоље мерило за верификацију корисничког искуства. “
Доктор Ванг је такође указао на друге произвођаче са обмањујућим референтним бројевима и као највећег кривца навео неименованог популарног произвођача паметних телефона у Кини. Према др. Ванг-у, референтно варање постало је „уобичајена пракса у Кини“, и док Хуавеи жели да се „отвори“ потрошачима, они имају проблема када конкуренти „непрестано објављују нереалне резултате“. Хуавеи покушава да се суочи са својом главном кинеском конкуренцијом, што је задатак који је наизглед отежан када други произвођачи уређаја дају нереалне бројеве резултата.
Да резимирамо, Хуавеи
- Признаје да манипулишу референтним бројевима
- Признаје да то раде сви остали на кинеском тржишту телефона
- Не планира да стане због # 2.
Како неко може поверење кинеско тржиште телефона након оваквих ствари? У сваком случају, Хуавеи је дао изјаву да ће компанија „ осигурати да будуће референтне податке независно верификују треће стране ”.
Хуавеи је послао пуни одговор на КСДА:
„Хуавеи увек даје приоритет корисничком искуству, а не постизању високих резултата, посебно јер не постоји директна веза између референтних вредности паметних телефона и корисничког искуства. Хуавеи паметни телефони користе напредне технологије попут АИ за оптимизацију перформанси хардвера, укључујући ЦПУ, ГПУ и НПУ.
Када неко покрене апликацију за фотографирање или игра графички интензивну игру, Хуавеијев интелигентни софтвер ствара глатко и стабилно корисничко искуство применом пуних могућности хардвера, истовремено управљајући температуром и ефикасношћу напајања уређаја. За апликације које нису толико интензивне попут претраживања Веба, додељиваће само ресурсе потребне за постизање потребних перформанси.
У нормалним сценаријима бенчмаркинга, када Хуавеијев софтвер препозна апликацију за бенчмаркинг, он се интелигентно прилагођава „режиму перформанси“ и пружа оптималне перформансе. Хуавеи планира да корисницима пружи приступ „режиму перформанси“ како би могли да користе максималну снагу свог уређаја када то требају.
Хуавеи - као лидер у индустрији - спреман је да сарађује са партнерима како би пронашао најбоље стандарде за мерење перформанси који могу тачно проценити корисничко искуство. “
У сваком случају, истина мерила која су трчала АнандТецх тестирали Хуавеи П20, П20 Про и Хонор Плаи - и сви уређаји су се изводили слично, јер сви деле исти ХиСилицон Кирин 970 СоЦ - али стварне перформансе сваког уређаја ограничене су топлотним ограничењима, јер сваки уређај има различит дизајн шасије и хлађења. Хуавеи П20 Про има најбоље термичке елементе, тако да има боље перформансе у стварним перформансама.
Уредник АнандТецх , Андреи Фрумусану, имао је следеће да каже:
„У прошлости смо видели да продавци заправо подижу СоЦ фреквенције или их закључавају на њихова максимална стања, повећавајући перформансе изнад онога што је обично доступно за генеричке апликације. Оно што Хуавеи уместо тога ради је да повисује референтне резултате долазећи из другог правца - апликације за упоређивање су једини случајеви примене у којима СоЦ заиста постиже своје оглашене брзине. У међувремену, свака друга стварна апликација је смањена у значајној мери испод тог стања због топлотних ограничења хардвера. Оно што на крају видимо са несметаним перформансама је можда ’истински’ облик неограниченог СоЦ-а, иако је ово потпуно академско у поређењу са оним што корисници заиста доживљавају. “
Њихови графикони показују да Хуавеијеви најновији телефони већ достижу 3,5-4,4 В у стварном стању перформанси, док је 3,5 В ТДП максимална количина која се може одржати. С друге стране, телефон претјерано покреће ТДП када изводи јавно доступне референтне вредности, при чему су вредности снаге веће од 6В и достижу максимум од 8,5В. Као што је приметио АнандТецх, ове бројке брзо покрећу обавештење о прегревању на уређају, што указује на неусклађеност топлотних ограничења са очекивањима софтвера.
Из ове ситуације се може узети да стварни подаци о перформансама нису стабилни јер зависе од температуре телефона. Хуавеи не спречава ГПУ да достигне своје вршно стање фреквенције ГПУ-а. Подразумевано понашање је заправо „оштри механизам за термичко пригушивање [...] који ће покушати да одржи знатно ниже нивое СоЦ температуре и укупну потрошњу енергије“.
Уобичајени режим телефона може достићи исте вредности максималне потрошње енергије током ГПУ референтних тачака као они које су објавиле непромењене варијанте. Међутим, ови бројеви се брзо знатно врате, а АнандТецх примећује да се телефон у неким случајевима смањује на 2,2 В, што има за последицу значајно смањење перформанси.
Публикација наводи да је референтно понашање у варању наизглед уведено само на овогодишњим уређајима. То не утиче на телефоне попут Хуавеи Мате 9 и Хуавеи П10, а чини се да то утиче само на ЕМУИ 8.0 и новије уређаје. Хуавеи је АнандТецх-у такође рекао да је ово „чисто софтверска имплементација“, што потврђује налазе публикације.
АнандТецх је објавио праве цифре перформанси ГПУ-а за погођене телефоне са Кирин 970-ом, а закључак је да је Хуавеи значајно заостају за конкурентима и по перформансама и по ефикасности ГПУ-а .
Публикација је такође објавила графиконе упоређивања снаге за уређаје Хуавеи Кирин 970 и Кирин 960. Графикони показују да су Хуавеијева подешавања за смањење снаге у ствари боља за корисничко искуство јер ублажавају проблем веће потрошње енергије. АнандТецх-ово тестирање Кирина 960 показало је да је имао „грозне карактеристике снаге ГПУ-а“, док уређаји на Кирин 970 погон имају нови строги механизам за смањење за смањење потрошње енергије и температура.
АнандТецх је такође напоменуо да нова политика пригушивања има смисла када се узме у обзир чињеница да и Кирин 960 и Кирин 970 показују повлачење снаге које је за своје факторе облика знатно изнад њихових одрживих нивоа.
Иако Хуавеи није нужно учинио нешто погрешно увођењем новог механизма за смањење, они су сигурно прешли праг варања изузећем популарних референтних апликација путем беле листе, што је оно што се у овом случају назива бенчмарк варањем.
УЛ која је купила Футуремарк, компанију која стоји иза ПЦМарка и 3ДМарка, уклонила је Хуавеи П20, Хуавеи П20 Про, Хуавеи Нова 3 и Хонор Плаи са 3ДМарка.
Компанија је верификовала референтне преваре на Хуавеи П20 Про, Хуавеи Нова 3 и Хонор Плаи. На основу АнандТецх-овог тестирања и извештавања, такође је укинуо стандардни Хуавеи П20. Корисници више неће моћи да виде референтне резултате погођених телефона јер компанија не жели да буде домаћин преварених референтних резултата.
Компанија је открила да су резултати из јавне 3ДМарк апликације и до 47% већи од резултата из приватне апликације (која није доступна јавности), упркос чињеници да су тестови идентични.
У саопштењу, УЛ је додао да је срећан кад види да се Хуавеи обавезује да ће у будућности усвојити транспарентнији приступ. Становиште УЛ-а је да су опционални режими перформанси које корисник може да подеси према његовим тренутним правилима уколико су подразумевано онемогућени. Компанија каже: „Уређај мора да покреће референтну вредност као да је то било која друга апликација.“
У закључку, сва мерила перформанси Хуавеи ГПУ која су узета помоћу јавно доступних тестова не би требало да се узимају као приказ стварних перформанси.
Хуавеи је ступио у контакт са УЛ како би разговарао о најбољим праксама за тестирање референтних вредности и издао изјаву:
„Хуавеи и УЛ (креатори 3ДМарка) су ове недеље одржали свеобухватне дискусије о праксама бенчмаркинга и постигли позитиван договор о следећим корацима у заједничком раду.
У дискусији је Хуавеи објаснио да његови паметни телефони користе вештачки интелигентни механизам за распоређивање ресурса. Будући да различити сценарији имају различите потребе за ресурсима, најновији Хуавеи телефони користе иновативне технологије попут вештачке интелигенције како би оптимизирали расподјелу ресурса на начин да хардвер може у потпуности показати своје могућности, истовремено испуњавајући корисничке захтјеве у свим сценаријима.
УЛ разуме намеру Хуавеијевог приступа, али се противи наметању да се подразумевано користи „Режим перформанси“ када уређај детектује апликацију за мерење перформанси. УЛ правила захтевају од уређаја да покреће референтну вредност као да је то било која друга апликација.
Хуавеи поштује право потрошача да одлуче шта ће радити са својим уређајима. Стога ће Хуавеи пружити корисницима отворен приступ „Режиму перформанси“ у ЕМУИ 9.0, тако да корисник може да бира када ће користити максималну снагу свог уређаја.
Хуавеи и УЛ такође су разговарали о тренутним уобичајеним методологијама тестирања референтних тачака уопште. УЛ и Хуавеи желе да учествују у индустријском покрету за развијање стандарда референтне вредности који најбоље одговарају потребама произвођача, штампе и потрошача.
Да би спречили забуну око тренутних резултата бенчмаркинга, након дискусије, УЛ и Хуавеи привремено су уклонили резултате са низа Хуавеи уређаја и вратиће их након што Хуавеи свим корисницима Хуавеи мобилних телефона одобри приступ режиму перформанси. “
Ознаке Хуавеи
