Насколько быстро ваша система? Это зависит от теста

Есть ложь, проклятая ложь и статистика. Кроме того, есть тесты.

В своих усилиях по выделению продуктов, которые становятся все более взаимозаменяемыми, производители компьютеров и периферийных устройств больше полагаются на результаты тестов, якобы объективные показатели производительности, такие как скорость процессора. Производители рассматривают тесты как способ отделиться от конкурентов и получить маркетинговое преимущество.

Но многие эксперты говорят, что когда результаты тестов применяются к потребительским компьютерам, они полезны лишь в ограниченном смысле. В лучшем случае они предоставляют потребителям одну информацию, которую можно использовать вместе с ценой, функциями, стилем, возможностью обновления, поддержкой и другими соображениями при принятии решения о покупке. В худшем случае тесты могут быть настолько вводящими в заблуждение, что заставят покраснеть продавца подержанных автомобилей.

«Я бы посоветовал потребителям игнорировать большую часть этого», — сказал Кейт Дифендорф, главный редактор из Microprocessor Report, информационного бюллетеня полупроводниковой промышленности в Саннивейл, Калифорния. Он привел две основные причины своей рекомендации.

«Это фактор шумихи, — сказал г-н Дифендорф, который был директором архитектуры микропроцессоров в Apple Computer, прежде чем присоединиться к информационному бюллетеню в начале этого года. «Все хотят, чтобы их процессор или система выглядела хорошо, поэтому они выбирают тест, который заставляет их хорошо выглядеть. Если бы они провели объективные тесты и сообщили обо всех результатах, это не дало бы того сообщения, которое они хотели бы дать.

«Кроме того, сами тесты не очень точны», — сказал г-н Дифендорф. » Даже объективные, методические тесты, самая лучшая и чистая работа, которую вы можете сделать, редко отражают реальность. Определенно не существует единого эталонного теста, который дал бы одно число, которое представляет то, что вы собираетесь увидеть. »

Тесты — это фактически программные инструменты, которые измеряют производительность всей или части компьютерной системы и сообщают результаты в виде числа. Само по себе число не очень много значит. Только путем сравнения результатов тестов аналогичных систем цифры начинают иметь значение.

Некоторые компьютерные тесты измеряют общую производительность системы, в то время как другие изолируют производительность отдельных компонентов, таких как микропроцессоры, дисководы или видеокарты. Затем компании сравнивают свои контрольные показатели с результатами своих конкурентов или сравнивают их с предыдущими поколениями того же продукта, пытаясь убедить клиентов перейти на новую версию.

Цифры действительно важны для клиентов, которые нужно получить оптимальную производительность за свои деньги. Корпоративные или государственные заказчики в значительной степени полагаются на эталонные тесты при принятии крупных решений о покупке. Но компьютерные компании в последнее время стали более агрессивными в распространении результатов тестов, преследуя рынок домашних компьютеров.

Потребителей уговаривают рекламные объявления, в которых говорится, что, например, микропроцессор G3 PowerPC, используемый Apple, — это как нельзя лучше. в два раза быстрее, чем конкурирующий чип Pentium от Intel, по оценке Bytemarks, одного из тестов, используемых журналом Byte (публикация которого приостановлена). Или что новый ускоритель 3-D графики Voodoo 2 от 3DFX Interactive набирает более 100 кадров в секунду в тестах 3-D Winbench. Или что новый 333-мегагерцовый процессор Celeron от Intel Corporation почти сопоставим по производительности с 333-мегагерцевым Pentium II, измеренным с помощью iComp. Но насколько значимы эти цифры для потребителей? Как они узнают, что тесты производительности честны и точны?

Проблема в том, что у потребителей почти всегда другие потребности, чем у потребителей. разработчик программного обеспечения, ищущий более быстрый компилятор кода, или директора по корпоративной информации, покупающие новый сервер электронной коммерции — все конкретные, целевые задачи, при которых даже скромный прирост производительности может привести к значительной экономии времени и денег.

Потребители обычно имеют более общие потребности, а контрольные показатели редко бывают полезными для общих оценок. По крайней мере, ни один эталонный тест не может обеспечить всестороннюю оценку компьютера.

Сегодня используются десятки эталонных тестов, некоторые из которых имеют узкую направленность — например, на производительность операций с плавающей запятой. — и другие, предназначенные для реальных приложений, например открытие и использование текстового процессора. На самом деле существует так много тестов, что производители компьютеров могут выбирать те, которые демонстрируют их собственные системы с наибольшей выгодой, и игнорировать или, по крайней мере, не афишировать другие.

Тестировщики, которые этого не делают. писать свои собственные тесты производительности, необходимо знать, что используемые тесты построены честно и что никто не настраивает тесты в пользу определенных продуктов. Им также необходимо знать, что продукты были разработаны не только для достижения высоких результатов в определенных тестах. По словам Дина Галлеа, руководителя программы по компьютерам и аудио для журнала Consumer Reports, немногие тестирующие организации могут писать свои собственные тесты. «Изначально мы начали писать наши собственные тесты на основе приложений и обнаружили, что технологии развиваются достаточно быстро, и у нас не было достаточно ресурсов», — сказал г-н Галлеа. » Поэтому нам пришлось прибегнуть к тому, что было доступно в отрасли. »

Мистер. Галлеа отказался обсуждать, какие коммерческие тесты использовали его тестировщики, опасаясь соблазнить поставщиков попытаться настроить свои системы так, чтобы они хорошо работали в тестах Consumer Reports.

Но тестирование тестов — не единственная сфера компетенции специалистов в этой области. белые халаты. Потребители могут использовать множество тестовых программ для оценки своих систем, программного обеспечения и компонентов. В Интернете доступно довольно много программ, но другие слишком велики для удобной загрузки.

ZD Benchmark Operation Ziff-Davis, или ZDBOP (www.zdnet.com/zdbop), говорит, что это крупнейший независимый разработчик тестов производительности для индустрии персональных компьютеров. ZDBOP заявляет, что за последние годы распространил более 15 миллионов бесплатных копий своих различных программ тестирования, пытаясь утвердиться в качестве отраслевого стандарта. (Небольшие тесты доступны для загрузки с веб-сайта ZDBOP, в то время как более крупные программы помещаются только на компакт-диск. ZDBOP взимает 5 долларов за доставку и транспортировку каждого компакт-диска.)

Марк Ван Нейм, вице-президент по тестированию продуктов в Ziff-Davis, отказался сообщить, сколько денег у компании — издателя компьютерных журналов, таких как PC Magazine, PC Computing. и PC Week — тратится на разработку тестов каждый год.

«Мы очень много поработали над тестами, — сказал он. «У нас есть штатный персонал, пара десятков человек, занятых разработкой тестов. Они просто строят тесты; они не тестируют продукты ».

ZDBOP раздает свои программы для тестирования ПК, в том числе Winstone Winbench, 3-D Winbench и Batterymark. Программное обеспечение обновляется ежегодно, и ожидается, что следующее поколение будет выпущено одновременно для поставщиков и потребителей перед ежегодной компьютерной выставкой Fall Comdex в ноябре.

» Мы обнаружили это даже для умеренных компьютеров. — грамотные люди, тесты — действительно полезные инструменты, и их довольно легко понять, — сказал г-н Ван Наме. Однако мы призываем людей к осторожной интерпретации результатов тестов. Только не забывайте делать яблоки с яблоками ».

Контрольные показатели являются наиболее точными, когда сравниваемые системы максимально сопоставимы. Перенос эталонного диска в компьютерный магазин, например, для тестирования различных моделей выставочного зала, даст сомнительные результаты. Одна машина может иметь 32 мегабайта оперативной памяти, другая 64 мегабайта. Один может использовать Windows 95, другой — Windows 98. Такие вариации могут исказить результаты.

Тест производительности, показывающий 27-процентное преимущество в скорости процессора, может убедить потребителя рассмотреть возможность перехода на более быстрый микропроцессор. стоимостью в сотни долларов, тогда как простое добавление ОЗУ к существующей машине даст лучшую производительность при меньших затратах.

В конце концов, потребители должны выполнять проверки реальности вместе с тестовыми проверками. Да, система может набрать на 10 процентов больше баллов в данном тесте, но означает ли это, что это лучший выбор? Возможно нет. Производительность — это лишь часть картины. Однако если разница составляет 50 процентов и эталонный тест применим к задачам, которые пользователь выполняет наиболее часто, результаты, безусловно, заслуживают внимания.

Но даже в этом случае потребители должны быть осторожны при оценке результатов тестов. Например, как насчет утверждения Apple о том, что, если измерять в байтах, чип Macintosh PowerPC в два раза быстрее Pentium II?

» Тест, который мы здесь используем, обычно не подтверждает утверждения Apple, — сказал г-н Дифендорф. «Это не значит, что заявление Apple неверно, ложно или вводит в заблуждение. Просто с помощью теста, который они используют, производительность PowerPC намного выше ». Apple утверждает, что Bytemarks — законный тест, и он его поддерживает.

» Вы можете поспорить, какой — лучший эталон », — сказал г-н Дифендорф. «Верны ли утверждения Apple или нет, но если пользователь выйдет и купит и Macintosh, и Pentium, и сядет перед ними обоими, что ему больше понравится? Это другой вопрос. »