性能下降47,3Dmark跑分作弊

原标题:3Dmark跑分作弊?No!只是规则的小把戏

原标题:行业跑分测试“常态化”作假 华为手机“喊冤”称暂时下架相关数据

原标题:性能下降47%!华为、荣耀四款手机跑分作弊实锤,3DMark宣布榜单除名

这几天,手机圈里最热闹的新闻莫过于UL
Benchmark公司和华为的争执了。事情原因起源于国外测试网站对华为手机的测试,华为手机被曝出只针对测试软件进行优化,随后华为和荣耀数款手机的测试成绩被下架。

  日前,知名基准测试软件3DMark母公司UL
Benchmarks发布公告,表示将华为P20
Pro、nova3以及荣耀Play三款机器的跑分成绩从数据库中删除,理由为“华为对跑分进行了优化,在日常使用时并不能达到跑分的水平”。

楚匆 发自 凹非寺

图片 1

UL
Benchmarks表示,这可能是通过识别之前标记过的3DMark应用程序,在跑分测试中开启高性能模式得到高分。数据显示,公共版得分比内部版得分高出了47%。

不知道华为堵不堵心。

3Dmark的下载页面

在Mate 20正式发售前这最不该掉链子的一个多月,华为绊倒了两次。

一些新闻媒体在转发新闻的同时,没有忘记给华为扣上了“作弊”帽子,但事实真的有这么严重吗?NO,其实以个人意见而言,华为行为虽然有耍小聪明的因素,但如果将其上升到作弊的高度,那就是完全没有道理。为什么这么说?我们不妨从3Dmark跑分说起。

对此,华为在回复第一财经记者的一份声明中表示,手机跑分成绩不能代表用户最终使用体验,满足用户的实际体验要大于追求跑分结果。但为避免对当前跑分结果产生混淆,UL和华为讨论后,一致决定将暂时下架一系列华为设备的跑分数据,并在华为授权其所有手机用户可访问“性能模式”后恢复分数。

半个月前的AI拍照“虚假宣传”一事还未平静,新的公关危机再次降临,而这次的影响似乎更严重一些:

图片 2

在跑分数据真实性问题上,华为消费者BG软件工程部总裁王成录在IFA期间接受采访时表示,智能手机的跑分测试很常见,其他企业都在做这类测试,而且拿了很高的分,华为不能保持沉默。

华为被指四款畅销手机跑分作弊。

目前的3Dmark版本有四个,个人意见认为iOS版本几乎没有必要,苹果设备会在乎这样的基准测试吗?呵呵

“各大手机和电脑厂商也将跑分作为重点来宣传,给消费者营造出手机性能好的直观印象,但其中掺杂着不少水分。”手机中国联盟秘书长王艳辉对记者表示,在品牌手机互相挤压份额的时候,跑分作弊也就司空见惯。

图片 3

什么是3Dmark?

下架跑分数据

性能下降47%

3Dmark是基准测试软件的一种,所谓的基准测试就是对测试对象进行定量和可对比的测试的过程,可测量、可重复、可对比是基准测试的三种重要特征。但是需要注意的是,这个基准测试并不是被强制通过的质量标准,只是用来考察性能的可参考标准。可参考、可参考、可参考,重要的词说三遍,这个词的意思是,能用到的时候,这个标准就有用,不能用到的时候,基准测试的结果就没什么卵用。

在近日的一次手机评测中,华为的几款手机被认定为“存有猫腻”,理由是在其设备上安装了用于检测跑分应用程序是否运行时的软件。

昨天,以“把旗舰机打回原形”著称的跑分系统3DMark背后的公司UL
Benchmarks发布了一篇除名公告,称有四款手机跑分作弊,将在性能排名榜单中将其剔除。

图片 4

也就是说,在基准测试期间,当这些软件识别运行的是名字为 3DMark
的应用程序时,便将华为手机所有处理性能推到最大,并且完全忽略 TDP
热设计功耗建议,以确保最终跑出一个非常高的分数。但是在一般的使用过程中,这样的性能没有办法长期保持。

图片 5

Android版本3Dmark,本次华为就栽在了专业版和普通版的区别上

3DMark是业内较为知名的测试软件,目前已经删除华为这三款手机的跑分成绩。

对于国内用户来说,中枪的四款并不陌生,正是华为目前的畅销款P20 Pro、Nova
3、荣耀 Play和P20。

现在说回3Dmark,早期的3Dmark是用于检测PC系统显卡性能的基准测试软件,在某些特定的场景下,还可以被用于PC系统压力测试。3Dmark存在的意在于,为行业人员提供了测试性能的最简单解决方式,一键测试可以在最短的时间内获得参考测试结果,降低了行业人员的工作强度,简化了测试过程,提升了测试效率。

华为和UL随后就跑分事件发布联合声明,华为表示,在讨论中华为向UL解释了当前华为智能手机的AI智能调度机制,由于不同场景对性能的要求不同,最新版本的华为智能手机系统可以通过AI智能调度等先进技术,使硬件性能得到充分发挥,满足用户在不同场景下的体验诉求。

图片 6

图片 7

虽然对华为在跑分场景中默认启动“性能模式”表示有异议,但UL表示理解。双方达成协议,为了尊重用户的选择权,华为将在EMUI
9.0版本中把“性能模式”开放给用户,这样用户即可选择在有需要的时候开启该模式。

华为P20 Pro

在某些情况下,3Dmark是一种相对简单的压力测试方式,使用更简单,需要值守的环节更少

双方还讨论了当前业界通用的跑分测试方法。为避免对当前跑分结果产生混淆,UL和华为讨论后,一致决定将暂时下架一系列华为设备的跑分数据,并在华为授权其所有手机用户可访问“性能模式”后恢复分数。

UL Benchmarks用Google
Play提供的公共版、和手机制造商无法获取的内部版3DMark分别测试了P20
Pro、Nova 3和荣耀
Play机型,结果,公共版得分比内部版得分高出了47%,一款手机在两个版本上的表现判若云泥。

说到这里,我们不妨可以说说一般PC系统的测试过程。一般来说,测试PC系统时需要安装全新的、干净的操作系统,然后按照Chipset(主板)、VGA(显卡)的顺序安装驱动程序,再依次安装测试软件,补完测试环境,包括DirectX等程序。测试时隐藏系统栏,关闭电源管理、屏幕保护程序、声音、禁用网络。测试过程是运行测试软件,一般是至少运行三次,然后取平均值。运行次数越多,测试成绩的平均值误差越小,越能反映PC系统的真实性能。

华为表示,他们已经与业内合作伙伴联手进行了一年多的测试,来寻找最接近用户体验的最佳测试方式。以通话质量为例,全球都有一个标准化的测试方式,测试结果能够被行业所认可,所有厂商也都在朝着一个客观的结果而努力。但在游戏测试上面,王成录表示:“其他人都在做相同的测试,并获得高分,华为不能保持沉默。”

图片 8

图片 9

竞争焦虑

UL
Benchmarks表示,这些手机可能是通过识别之前标记过的3DMark应用程序,从而能在运行基准测试时得到高分,并非所说的AI智能识别。

3Dmark公开的性能排行榜,前六位都采用高通骁龙845处理器,第一名与第六名之间的性能差距只有3%,再结合每次跑分的10%误差,最后的结果也是呵呵

跑分作弊在手机行业中并不是一个新鲜的事情。

也就是说,这几款手机中针对个别程序的优化行为不具备普遍适用性,是专门为跑分而优化的。

但是,3Dmark真能代表PC系统的全部性能吗?我们可以斩钉截铁的告诉你:NO!3Dmark这破玩意儿更多测试的是VGA的性能,大部分的测试选项和CPU一毛钱关系都没有,线程、核心什么的统统都不考虑,只有少部分选项会受到CPU主频的影响,而且在最后成绩中,这影响还基本看不出来。关于测试成绩还可以说说,一般情况下,3Dmark的最后测试成绩每次都不会一样,每次的误差在10%以内均算正常……所以你懂的,这个成绩真的只能用来参考。

早在2013年,搭载三星Exynos处理器版Galaxy S4就出现过作弊问题。而在 2014
年,华为 Ascend
P7也因为类似作弊行为被3DMark取消成绩,手机在检测到测评工具时就开启更多核心,提升运行效率,达到更高的分数。

到此,华为的这几款畅销机作弊有了实锤。

关于Benchmark跑分的黑历史

王艳辉对记者表示,大家热衷跑分的根本原因在于不少消费者会把跑分作为选择产品的依据。“在安卓手机同质化严重、配置术语包装过度的情况下,消费者很难做出判断,哪款手机好或者不好。”

UL
Benchmarks还在声明里感谢数码测评网站AnandTech,若不是他们的一次不经意发现,这次跑分作弊还不会被抓包。

自从有了性能测试,有了成绩,有了排行,厂商们和Benchmark软件开发者的“撕逼”、博弈一直在进行。归根结底在于市场、在于用户、在于利益。前面我们说了基准测试软件的大致原理和测试过程,因此可以看出测试本身是十分枯燥且漫长的,如果没有简便的Benchmark软件,测试者只能自己手写批处理文件来进行测试,这无疑是不现实的,而且对用户来说,一个直观的综合成绩对最终选择无疑是有巨大影响的。面对金钱,硬件厂商如何不动心。

特别是在目前竞争压力越来越大的情况下,各种为分数调试的方法都可能被用上。

无心插柳有作弊

图片 10

全球调研机构Counterpoint近日发布的一份报告显示,2018年上半年中国智能手机市场整体表现不如预期,销量同比下降10%。一方面,国产手机厂商发布旗舰机型的步伐明显加快,头部企业更是纷纷试探产品价格的上限,有意竞逐苹果、三星把持的高端市场。另一方面,三线到六线品牌之间的洗牌也越发激烈。在整体市场规模无法持续明显扩大、没有更多增量空间去开拓的情况下,智能手机市场已经完全变成了一个存量竞争的血海市场。

也是巧。

针对高端产品的Fire Strike测试,目前只针对Windows操作系统

王成录表示,华为想要直面巨大竞争,但因为其他厂商总是把“不真实的”跑分成绩放在第一位,这变得非常困难。他在接受Anandtech采访时表示,在Android生态系统,其他厂商给出的跑分数字也有误导之嫌,让跑分作弊“在中国成为司空见惯的事”。华为想要向消费者开诚布公,但由于竞争对手一直在公布不真实的跑分数字,他们很难做到这一点。

几天前,Anandtech本想探索下华为的GPU
Turbo优化功能,却在测试荣耀Play时发现,和配置相似的P20相比,荣耀Play的跑分差距很大。

也正是因为如此,Benchmark跑分从很早就充斥着奇特的味道。个人记忆中,最早一次关于Benchmark跑分的黑历史大约是2004年或更早,当时的权威测试网站《Tom’s
Hardware》在测试一款微星主板时发现的“有趣”现象,根据当时《Tom’s
Hardware》的文章,他们在测试过程中发现微星主板在运行某些特定程序(游戏或测试软件)的时候,会将处理器、内存等核心硬件进行小幅超频处理,这样在所有拥有测试成绩的跑分中,微星主板都会领先友商的产品。在最后的结论中,《Tom’s
Hardware》将微星科技的行为称之为“绝妙的骗局”。看看这个,对比下华为的行为,两者之间的差别大吗?

“但不管怎样,分数竞赛仍需要继续,但是用户的感知是真实的,这应该成为国产手机努力的方向。”王艳辉对记者说。返回搜狐,查看更多

图片 11

以个人观点来看,微星当时的行为恰恰说明了其拥有强大的技术实力,能够实时侦测到运行的程序,同时还能针对运行环境加以优化(超频),保证用户获得最好的应用体验。当然,微星的做法也不是一点问题没有,错误的地方在于没有明确告诉消费者,主板在什么环境下会干出什么事情,而且超频行为也确实会对计算机硬件的使用寿命有影响。但是,大部分消费者在意吗?在早期DIY时代里,会自己手动超频的用户有多少?在全体用户里的占比有多少?所以微星的行为造福了大部分用户,市场的反应也比想象中更宽容,几乎没怎么冒泡就过了。同时微星的行为也为后来Intel推出支持睿频的处理器提供了可行性的思路,当然,两者之间的间隔是有点远。

责任编辑:

Anandtech发现,较新的荣耀Play机型自带一个跑分软件检测(BM检测)机制,当检测到跑分软件运行时,系统会自动提升处理器的性能限制,虽然会牺牲能效和续航,但检测结果会更加美丽。

图片 12

在报道Huawei & Honor’s Recent Benchmarking Behaviour: A Cheating
Headache中,Anandtech还给出了荣耀Play在开启和关闭跑分软件检测模式时的性能差别对比:

针对中端产品的Sky Diver测试,目前只针对Windows操作系统

图片 13

接下来的事情就比较有意思了。早年的NVIDIA和ATI(现在应该叫AMD)在市场上互相掐得厉害,互相指责对方在Benchmark软件测试环节中造价,甚至还有在进行测试时指定测试者重点跑哪些Benchmark软件的行为,客气点说这叫突出优势,不客气的说,这叫涉嫌操纵结果。在这一时期里,两家VGA厂商经常指责竞争对手针对Benchmark软件进行驱动优化,即在驱动程序中写入专门针对Benchmark软件的侦测,即在检测到运行类似“Benchmark.exe”的时候,启动超频模式或Turbo模式,以获得更好的成绩。检测方式很简单,将“Benchmark.exe”之类的文件换个扩展名就可以了,这样进行两次测试,然后对比结果就能看到厂商的花样。这和华为本次的行为有区别吗?那个时候怎么不见UL
Benchmark叫嚣得那么厉害?

可以看出,开启BM检测后,荣耀Play
FPS(每秒传输帧数)从66.54提升至127.36,平均功率也由4.39W提升至8.57W。

图片 14

数据在此,大众如何看,华为又怎么说?

针对典型场景的Cloud Gate测试,目前只针对Windows操作系统

华为:大方承认

到了今天,3Dmark实际上已经是一个商业味道很浓厚的基准测试软件了,在测试画面上,我们可以看到一些厂商的Logo,就这样你让我相信测试结果是绝对客观、中立、第三方的?开玩笑的吧!这就是我们始终强调Benchmark软件测试结果只能作为参考的重要原因。对测试成绩真正有用的是,一般测试环境中有对各种不同游戏的帧率测试,这个数据才是有用的。

此事一出,不少外媒的焦点又放在了华为身上。

华为的小聪明

据UL
Benchmarks报道,在与华为联系告知调查结果时,华为承认了对方的质疑,承诺在未来将使用更透明的测试解决方案,还会为普通用户提供可选性能模式,确保用户在知情情况下必要时能用到最优性能。

3Dmark在当前的智能手机上,着重检测是的GPU的性能,得益于早年从AMD得到的技术成果,高通产品的性能在当前市场上出于绝对的优势。这对华为来说是相当糟糕的困局,对比下当前麒麟处理器使用的GPU性能,只有加强异构运算的能力才是出路,但不幸的是,3Dmark对这一架构的能力测试并不敏感(其实敏感也可能是高通处理器占优)。

图片 15

图片 16

事情到此,也差不多告一段落了,但跑分这个关乎每个手机性能如何的重要参与,还在持续热议中。

Ice Storm才是针对Android智能手机的基准测试项目

在上周2018
IFA德国柏林国际电子消费展会上,Anandtech的记者以非采访形式和华为消费者业务软件工程部总裁王成录聊了聊。

或许是出于抢占市场的因素,华为做出了针对测试软件开启性能模式的决定。就个人观点,华为这个行为在没有进行提前宣告的情况下,是相当愚蠢的,是个在规则内耍小聪明的行为,其最大的错误在于只针对测试软件封包进行优化,而没有进行全面的适配优化(例如主流手机游戏)。因此所谓的AI调动系统资源的说法还是有相当的瑕疵,只要事先做了哪怕一款游戏的适配,UL
Benchmark的叫嚣就没有任何道理。这也是最后华为低调与其达成协议的重要原因。

王成录表示,他不认为跑分是测试智能手机表现的最佳方式,这些跑分已经偏离了实际使用,单独一项成绩无法反映产品的整体体验。

图片 17

此事一出,也有不少各路网友表示理解:

API测试也是针对智能手机测试的选项之一

在中国,手机跑分作弊一直是个老生常谈的话题,不止华为,一加、魅族在去年也曾被曝跑分作弊,再往前看几年,在2013和2014年,三星和HTC也同样也有类似作弊行为。再说了,造手机的雷军还成了跑分应用安兔兔的法定代表人呢。

再一个就是测试环境的问题,手机的集成度更高,每个厂商自己的系统都有自己的优化,没有统一、干净的安装包一说,甚至连底层的驱动都不尽相同。在这种背景下,统一的基准测试真的就只是参考,更何况,还有什么自启动、关联启动的全家桶,3Dmark基准测试的结果真的权威吗?

不知道各位怎么看?

这世界,小聪明可以有,使用需慎重。华为或许有错,但UL
Benchmark的屁股也没想象中那么干净。早年也没见他们下架任何一家厂商的测试成绩,现在来下架,只能说呵呵,或许是因为国外公司惹不起,先来个中国公司开刀吧。

One More Thing

我们搬家了!!! 返回搜狐,查看更多

在UL Benchmarks这份手机性能榜单中,量子位还发现了一些有趣的事情。

责任编辑:

据UL
Benchmarks统计,目前全球性能最赞的手机不是三星也非苹果,而是华硕ZenFone
5Z机型,小米黑鲨摘得银牌,Oppo Find X位列第三。

图片 18

UL Benchmarks统计的手机性能Top 10榜单

在性能排名前100的手机中,人气最高的为一加6,热度指数3.8,其次是iPhone
X,热度指数3.5。

今天,就酱。

活动推荐返回搜狐,查看更多

责任编辑:

相关文章