Обман с эталонными тестами для смартфонов: когда поставщик однокристальных систем предлагает их в виде услуги

Автор: Andrei Frumusanu
Источник: www.anandtech.com

Обман с мобильными тестами имеет длинную историю, которая не ограничивается только этой отраслью, и уже несколько лет является темой для обсуждения на сайте AnandTech.

Я помню, как в 2013 году я рассказал Брайану и Ананду о махинациях Samsung с графическими процессорами чипсетов Exynos в смартфонах Galaxy S4 для того, чтобы привлечь внимание общественности к тому, на какие уловки идут многие производители мобильных устройств. При этом, все они были признаны виновными в махинациях. Дело Samsung в конечном итоге закончилось судебным групповым гражданским иском против компании в размере 13,4 млн долларов США – причем ваш покорный слуга и AnandTech также были упомянуты в судебном деле.

Этот судебный процесс исправил ситуацию в отрасли, т.к. производители опасались негативного освещения в СМИ, и на протяжении последующих несколько лет компании не использовали подобные уловки.

Однако в последние годы многие компании решили вернуться к этой практике, в частности, китайские производители смартфонов, включая Huawei. Компания отключила функцию терморегулирования в своих смартфонах, поэтому в ходе более требовательных эталонных тестов однокристальные системы нагревались до предела, пока не включалась функция защитного отключения при перегреве. Эта информация попала в СМИ, поэтому компания внесла соответствующие изменения в свою продукцию.

Проблема в том, что китайский рынок поставщиков по-прежнему огромен, и мы не можем отслеживать каждого производителя и каждую новую модель смартфона. Обман в тестах остался реальной проблемой и обычной практикой для компаний. Huawei заявила, что она занималась обманом, т.к. все другие компании делали точно так же, и компания не хотела уступить конкурентам, публикуя более низкие результаты тестов своей продукции.

Однако здесь есть одно существенное отличие: было ли подобного рода мошенничество делом рук производителя смартфона, или поставщик чипсетов оставил для него такую «лазейку», и этот вопрос особенно актуален для MediaTek. В большинстве прошлых случаев жульничества мы всегда обвиняли производителей устройств, так как это были их механизмы настройки работы смартфонов – и у нас не было доказательств обмана со стороны производителей чипсетов, по крайней мере до сих пор.

Helio P95 по результатам тестов производительности опережает Dimensity 1000L?!

Я обратил внимание на этот факт, когда я впервые получил новый смартфон Reno3 Pro компании Oppo. Это была европейская версия с чипсетом MediaTek Helio P95. Поначалу телефон меня немного удивил, так как в тестах, таких как PCMark, он показал достаточно высокие результаты, которых я не ожидал от однокристальной системы класса Cortex-A75. Я удивился еще больше, когда получил китайскую версию Reno3 на базе MediaTek Dimensity 1000L – гораздо более мощного и свежего чипа, который, по какой-то причине, работал медленнее, чем P95. После этого я предположил, что что-то здесь не так.

 
Реальные и фальсифицированные показатели производительности (Oppo Reno3 Pro P95)

Мы обратились к нашим друзьям в UL за анонимной версией PCMark – специалисты компании в прошлом уже оказывали большую помощь в расследовании случаев мошенничества в отрасли. Неудивительно, что две версии эталонного теста продемонстрировали разные оценки, но я был просто обескуражен настолько большой разницей: 30% по общему результату и до 75% в важных дополнительных тестах, например, при оценке операций записи данных.

Немного об истории PCMark и о том, почему мы его используем: на самом деле это не эталонный тест, который обычно предназначен для обнаружения и мошенничества, потому что это системный тест, который пытается отражать реальные рабочие нагрузки и скорость работы устройства. Несмотря на то, что аппаратная часть здесь играет определенную роль в результатах теста, они, в основном, зависят от программного обеспечения и механизмов, таких как DVFS и планировщики. Кроме того, этот тест предназначен как для оценки производительности, так и длительности работы без подзарядки – если вы искусственно увеличиваете производительность, вы снижаете результат теста аккумулятора. Таким образом, манипуляции с результатами теста кажутся странными, т.к. повышая один показатель, вы уменьшает другой.

У меня также есть вариант Reno3 Pro на базе Snapdragon 765G, китайская модель телефона (хотя у них одно и то же название модели, они представляют собой совершенно разные устройства). Если Oppo инициировала этот механизм обмана, то этот смартфон также покажет сфальсифицированные результаты в тесте PCMark. Но на самом деле это не так: смартфон работает в тестах так же хорошо, как и в любом другом приложении.

Немного покопавшись в информации о версиях MediaTek, которые используются в Reno3, я пришел к выводу, что весь механизм жульничества находился на виду в течение нескольких лет:

Reno3 Pro – белый список теста в «спортивном режиме»

В файлах прошивки устройства есть файл power_whitelist_cfg.xml, который чаще всего находится в папках /vendor/etc. В нем мы нашли список популярных приложений с различными настройками управления питанием, а также список различных тестов. Мы находим APK ID для PCMark и видим, что для него настроены некоторые советы по управлению питанием, один из которых называется «Спортивный режим».

Список тестов здесь не является обширным, но он содержит самые популярные в отрасли тесты на сегодняшний день – GeekBench, AnTuTu и 3DBench, PCMark, а также некоторые старые, такие как Quadrant или популярный китайский тест 鲁 大师 / Master Lu. Существует также тест производительности системы хранения данных, такой как AndroBench2, что немного странно – подробнее об этом ниже.

Также здесь есть целый ряд тестов на основе Искусственного интеллекта, включая Master Lu AIBench и тест ZTH AI Benchmark, которые мы активно используем здесь, в AnandTech.

Reno3 Pro – Непубличные цели теста

Что на самом деле меня удивило, так это включение корпоративной версии GFXBench от Kishonti. В списке не было настроено энергопотребление в спортивном режиме, но, очевидно, что при использовании приложения изменяются стандартные настройки DVFS, температуры и планировщика. Это серьезный повод насторожиться, потому что на данном этапе мы говорим не только о списке тестов, ориентированных на общедоступные тесты, но и о вариантах, которые фактически используются только небольшой группой отраслевых экспертов. Это нужно иметь в виду для дальнейшего расследования.

Спортивный режим на Reno 3 (Dimensity 1000L)

Спортивный режим на Reno 3 Pro (P95)

Итак, что же на самом деле делает этот «Спортивный режим»? С одной стороны, он, похоже, исправляет некоторые характеристики DVFS однокристальной системы, такие как постоянная работа контроллера памяти на максимальной частоте. Планировщик также настроен на более активное отслеживание нагрузки – это означает, что для рабочих нагрузок легче увеличить частоту ядра ЦП и поддерживать такое состояние в течение более длительного периода времени, применяя несколько знакомых механизмов разгона.

Я не уверен, что делают записи _FPS_, но, учитывая их очевидное название, они изменяют что-то, чтобы улучшить результаты тестов. Самое непонятное здесь – это записи, которые повышают скорость файловой системы на устройствах F2FS, возможно, поэтому используются такие тесты, как AndroBench.

Это касается (практически) всех устройств MediaTek

Здесь начинается самое интересное: эти файлы не просто присутствуют на смартфонах OPPO, они очень часто присутствуют в целом ряде телефонов разных производителей. Мне удалось достать отдельные элементы прошивок различных смартфонов (у меня были не все из представленных здесь моделей), причем у каждого из них был похожий файл power_whitelist_cfg.xml с почти одинаковыми записями списков тестов. Ниже представлена разбивка по моделям:

Что здесь больше всего впечатляет, так это разнообразие устройств со следами мошенничества. Самым старым смартфоном здесь является Sony XA1 на базе P20 2016 года выпуска, что указывает на то, что, возможно, подобного рода мошенничества происходили на протяжении достаточно долгого периода времени. Эта модель также имела наименее «полный» список тестов, в частности, в ней отсутствовали новые тесты на базе Искусственного интеллекта.

Тот факт, что это касается и Sony, вызывает наибольшее беспокойство. Здесь ясно одно: этот механизм не связан с отдельными производителями, а напрямую исходит от MediaTek и интегрирован в BSP однокристальной системы (пакет поддержки плат).

Oppo Reno3 Pro (P95) – Новая прошивка против изначальной прошивки (списки отсутствуют)

Что на самом деле еще более подозрительно, и нам очень повезло с точки зрения выявления этого факта, так это то, что эти списки, по-видимому, находятся в процессе скрытия. Я извлек файлы из моего Reno3 Pro на его исходной прошивке. За последние несколько недель OPPO опубликовала обновление прошивки – и когда в какой-то момент я снова проверил файл, я был удивлен, увидев, что записи тестов исчезли.

Механизм был отключен? Они перестали жульничать? К сожалению, нет. Я не знаю, куда записи были перенесены, но в телефоне в тестах по-прежнему активирован Спортивный режим, что приводит к увеличению производительности. Записи не были удалены, они были просто спрятаны.

Реакция MediaTek

Мы были крайне обеспокоены всей этой информацией и несколько недель назад обратились в MediaTek. Мы рассказали о своих выводах, а также о том, что нас беспокоит тот факт, что производители однокристальных систем используют такую уловку. Недавно мы, наконец, получили от них официальный ответ:

Заявление, в целом, разочаровывает, но давайте рассмотрим несколько ключевых моментов, на которые компания пытается обратить внимание.

В заявлении делается попытка сказать, что с помощью различных настроек показатели эталонных тестов будут лучше отражать аппаратные возможности однокристальной системы. В некотором смысле, это действительно так, и на протяжении многих лет это была спорная тема для разговоров, связанных с мошенничеством различных производителей смартфонов. Это происходит только тогда, когда разработчик эталонного теста неожиданно открывает в других случаях недоступные состояния производительности в этих эталонных тестах, когда аргументы больше не действуют. По крайней мере, на первый взгляд, это не относится к MediaTek – хотя у меня нет более подробной технической информации о том, что делают некоторые из опций конфигурации «Спортивный режим».

Проблема с этим аргументом, однако, заключается в том, что он разваливается на части перед лицом фальсифицирующих тестов, которые нацелены не только на реальные аппаратные компоненты однокристальной системы – например, как GeekBench тестирует скорость ЦП или как GFXBench проверяет, насколько быстрым может быть ГП, но и тестов, которые стараются оценить функциональные возможности пользователей, например, PCMark. Это реальная имитирующая рабочую нагрузку нагрузка, которая пытается оценить скорость работы смартфона в целом, а не только его чипсета.

Тот факт, что MediaTek обманывает такой тест, идет вразрез с их вторым абзацем о чипсетах, которые предлагают оптимизированную производительность для реального мира. Если бы это было так, то не лучше ли было бы позволить чипсету и программному обеспечению честно продемонстрировать это? Как фальсифицирующие тесты хранения данных и файловые системы имеют какое-либо отношение к возможностям чипсета?

Заявление MediaTek о производителях, предлагающих специальные режимы работы, является достоверным. В частности, это справедливо для таких поставщиков, как Huawei, после того как мы указали им на нечестное поведение их устройств.

Режим высокой производительности смартфонов OPPO

На смартфонах Oppo и устройствах многих других китайских поставщиков в настройках имеется параметр «Режим высокой производительности». Он немного отличается от обычных режимов «Высокая производительность», которые используются таким компаниями, как Samsung или Huawei. Разница заключается в том, в том, что это просто «переключатель», позволяющий настраивать DVFS и производительность. Он также присутствует в телефонах Snapdragon, и мы рассказывали об этом в нашем обзоре Reno 10x в прошлом году. При включении этой опции смартфон переходит в режим высокой производительности, «забывая» об энергоэффективности; это бесполезный режим, который не подходит для повседневного использования. Он может использоваться только для получения высоких результатов в тестах.

Дело в том, что для нас, как продвинутых пользователей, и MediaTek, как поставщика однокристальных систем, эти режимы работы просто бесполезны.

Я считаю эту опцию оптимальным компромиссом между предложением покупателям смартфонов с честным «состоянием по умолчанию» без каких-либо настроек и возможностью переключения смартфонов в режим высокой производительность в тестах. Единственное различие здесь заключается в прозрачности реализации этого механизма переключения – Oppo, например, открыто заявляет о том, что в режиме «разгона» смартфон перегреется, в отличие от MediaTek.

MediaTek ссылается на «требования рынка», которые заставляют компанию использовать такой подход, и на то, что он является «общеотраслевым стандартом». К сожалению, это действительно так, и это затрагивает суть вопроса.

Подобного рода механизмов не существовало бы, если бы не было спроса со стороны поставщиков, включая MediaTek. С точки зрения МТК, они просто пытаются удовлетворить потребности покупателей своей продукции. Возникает вопрос, кто же является первопричиной – МТК, которая по собственному решению разработала этот механизм, или покупатели, которые «попросили» производителя смартфонов предусмотреть такую опцию?

В отсутствие доказательств того, что другие поставщики однокристальных систем могут предлагать аналогичные механизмы для поставщиков смартфонов, ясно, что MediaTek не должна была вмешиваться, поскольку она может потерять больше, чем получить.

Складывается впечатление, что ПО чипсета компании недостаточно оптимизировано для того, чтобы по умолчанию обеспечивать стабильную производительность и эффективность работы, вместо этого необходимо активировать специальный режим для демонстрации высоких результатов в эталонных тестах.

Я больше не доверяю цифрам и в целом просто более скептически отношусь к результатам тестов, особенно в условиях, когда я узнал, что MediaTek вернулась в топовый сегмент рынка с однокристальной системой Dimensity 1000 (которая, похоже, является очень хорошим чипсетом, обзор, которого мы скоро опубликуем).

Когда все секреты раскрыты и представлены с доказательства, я уверен, что другие СМИ, которые имеют доступ к большему количеству смартфонов MediaTek, смогут проверить, жульничает компаниям или нет. Негативная информация и комментарии в прошлом сделали свое дело для Samsung и других компаний, это касается и Huawei, которая столкнулась с подобного рода давлением со стороны СМИ несколько лет назад. Компании исправились и теперь находятся на правильном пути. Я просто надеюсь, что MediaTek также сможет исправить ситуацию и отказаться от ненужных уловок с показателями производительности.