Как правильно тестировать пробки?

[d C G]

Товарищи!

в связи с новостью: http://www.probki.net/News/#290

 

Предлагаю пообщаться на тему "Как правильно тестировать антипробочные сервисы".

 

Алгоритм, кол-во машин, время, место и т.д.

 

Хочется выработать универсальную методику, насколько это возможно.

 

Пока получается такой вариант:

__________________________

Жюри:
авторитетное, независимое, возможно пресса.

Участники:
нужно собрать группу людей-которые готовы потратить свое время и бензин.

автомобили:
любые легковые автомобили.

Кол-во участников:
в одном заезде участвуют равное кол-во машин от каждой компании (НН, АС, СГ, ЯП и т.д.) и такое же кол-во машин без навигации.

ПО:
используются только релизные ПО и карты.

стиль езды:
Шумахеров не берем, а если просочились - результат не засчитываем.

маршрут:
из одного конца города в другой. Выбирается жребием перед началом заезда.

Время проведение:
Утренний маршрут: старт в 10.00
Вечерний маршрут: старт в 17.00
Дневной маршрут: старт в 14.00

Срок теста:
несколько дней (чтобы избежать случайных побед).

Время проведения теста:
три раза в день: утро, день и вечер.

Контроль:
GPS трекер,
непрерывная запись видео изнутри ам,
возможно он-лайн мониторинг ам.

Условие для водителя:
обязательное исполнение комманд навигатора,
если навигатор нарушает ПДД - то ехать прямо до тех пор, пока навигатор не построит новый маршрут и далее опять подчиняться навигатору. При этом навигатору начисляются штрафной бал за каждое предложение нарушить ПДД.

 

Продолжаем обсуждать.

 

[Sanitar]

Попробую начать. Ну во первых, статья, как мне кажется, была просто заказная. Как, кто, что и какими методами тестировал, есс-но нет. Как в России все делается-многим известно.

По поводу нашего тестирования. Это сложный вопрос, и организация его требует большого времени, сил и.т.д. Для начала, нужно собрать группу людей-которые готовы потратить свое время, бензин и.т.д. Далее, из этой группы, отметить на карте-кто где территориально живет и где работает, идеально-если это будут разные концы города. Таким образом, утром тестируются утренние пробки а вечером вечерние. Но вопрос-кто подпишется на возможное опоздание на работу? Есть еще категория водителей-которые ездят по городу большую часть рабочего дня, но и им так же нужно прибыть к месту вовремя.

Получается, что первый запин, в наборе людей-реально готовых участвовать в этом. Если он решится-думаю дальше будет легче.

Может будут еще предложения?

[Funtic]

Срок теста:7 дней(с понедельника до воскресения)

Время проведения теста:3 раза в день(утро,день,вечер)

Маршруты:2 вида (с промежуточной точкой и без)

Задания:Запечатанные конверты с адресом финиша в непрозрачном мешке от представителей компаний конкурентов

Контроль:Представитель конкурирующей фирмы либо другое неезависимое лицо в автомобиле конкурента

Условие:Обязательное исполнение всех голосовых комманд навигатора

ПДД:Запрещена встречка и езда по дворам и тротуарам(желтый мигающий и иногда красный не всчет)

мобильные телефоны и средства связи тоже запрещены

Обезательна запись трэка

Участники:активные пользователи форумов

ДОПОЛНЯЙТЕ.......

[LS_D]

Есть несколько мыслей.

Для тестирования каждой навигационной системы нужно по 2 автомобиля - на одном навигатор с включённым пробочным сервисом, на другом с выключенным. Это позволит понять, есть ли выигрыш от использования пробочного сервиса и в каких случаях.

Все автомобили, участвующие в тестировании пробочных сервисов, должны быть со схожими техническими характеристиками, водители должны меняться после каждого заезда.

Все автомобили должны стартовать единовременно, либо с минимальной разницей во времени.

Программы и карты используются последние релизные, никаких бет.

Представитель производителя навигационной системы лично проверяет правильность установки, настройки своей системы, сервисов и актуальность карт.

Водители строго следуют по маршруту, проложенному навигационной системой и не превышают разрешенную скорость.

В случае, если навигационная система предлагает нарушить ПДД, ей начисляются штрафные баллы.

[dimdim]

Гм... ИМХО, надо просто взять по 8 машинок, и прокатить их 3 раза в день 4 раза в неделю с одного конца города на другой (Север - Юг, СЗ - ЮВ, З - В и т.д.), а три дня - по радиусам (С - В, СВ - ЮВ и т.д.) Замерить время доезда и количество пробок, в которые машина заехала и о которых программа не знала.

Отдельно отмечать:

- призывы к нарушению ПДД

- резкие изменения маршрута без заблаговременного оповещения (когда ты уже встал в левый ряд, а программа передумала и решила, что надо направо ехать)

- неразумное, неправильное или нелогичное голосовое оповещение, а также пропуски голосовых команд при маневрах

- ведение по сложным местам (например, пересечение оживленной главной дороги) - надо и о начинающих водителях думать

- отмеченные, но несуществующие пробки (если таковые встретятся)

- качество сигнала спутников и связи, поведение программы при их потере (если произойдет). Для этого желательно, чтобы в каждой команде был одинаковый набор устройств.

- соответствие времени прибытия расчетному времени. Расчетное время прибытия фиксируется, скажем, каждые 20 минут (т.к. в процессе езды оно корректироваться будет).

Желательно, чтобы в каждой машине было по три человека: водитель и по представителю от каждой команды, которые будут вести "протокол испытаний".

Водителю запрещается нарушать ПДД за исключением скоростного режима - можно ехать со скоростью потока, но не устраивать шахматы.

[KonTur]

 

Во-первых нужен спонсор (бензин и пр.расходы).

Во-вторых, нужны именно независимые эксперты.

Маршрут из одного конца города в другой.

Запрет уходить с маршрута.

 

D C G

убрал флуд

[Noname65475235]

Маршруты должны выбираться случайным образом перед самым заездом, так чтобы никто сознательно не мог увеличить количество пробко-датчиков на нужном участке!

На устройствах должно использоваться именно то ПО которое предлагается всем, а не закрытые бета-разработки с обратной связью и удаленным управлением. За всяческим возможным мухлеванием нужно тщательно следить!

Поднять как можно больше шумихи вокруг тестирования!

К такому глобальному тестированию подключить как можно больше прессы, раструбить телевизионщикам, пусть в новостях показывают по всем каналам. :-)

Проводить подобные тесты регулярно 2-3 раза в год. Пусть это будет своеобразным экзаменом для навигационных систем.

[vaso007]

будут, однозначно будут, НО если под этими методиками подписались  все  участники теста, и в роли наблюдателей будут независимые люди, то тут оспаривай не оспаривай будет бесполезно

 

D C G

Тут обсуждаем только методику, остальное обсуждайте в других темах.

[Noname65475235]

Еще нужно авторитетное НЕЗАВИСИМОЕ жюри, которое будет готово подвести итоги, на основе всей накопившейся информации.

[alexeyT4]

...Фигня эти тесты на самом деле. Во-первых нужен спонсор (бензин и пр.расходы).

...

 

 

Мне бензина(и машину) не жалко. Готов учавствовать.

В любое зарнее обговоренное время.

Посадочных мест 5. + грузовой отсек.

[demalina]

1. Лучше всего данное тестирование проведут водители-женщины. Известно, что в первом приближении манера езды женского пола примерно одинакова

2. В качестве жюри можно взять, скажем, gps-клуб, или тот же 4pda. Mobile-Review также должны согласиться

[Noname65475235]

Еще в идеале видеофиксация показаний экранчика навигатора во время всего движения, для последующего разбора и анализа.

[andres78]

Для начала надо определиться с понятиями (с терминологией). Например, дать конкретное опредление слову "пробка".

 

Тестирование можно проводить в двух видах:  в "статическом режиме" (сравнение полноты и достоверности пробочной картины в определенные часы) и в "динамике" (сравнение качества прокладки и ведения по маршруту).

[Mal_Al]

я так понимаю, речь о сравнении различных навигационно-пробочных сервисов (СГ, НН, АС и др.) с помощью какой-то определенной однозначной методики.

Результаты следует разделить на те, что для ПОЛЬЗОВАТЕЛЕЙ и те, что для РАЗРАБОТЧИКОВ. Меня, как пользователя, интересует одно, а Вас, как разработчиков, и другое тоже. Например, алгоритм обработки данных и периодичность, мне знать о нем не важно и не нужно. Меня инетерсует другое.

какая из программ меня быстрее и беспробочнее доведет. насколько она проста в обращении. надежна в доверии и работоустойчивости. Т.е. по результатам применения методики я, пользователь, хочу получить эти сведения.

[d C G]

Подвел промежуточные итоги, обновил шапку.

[Funtic]

У всех должен быть одинаковый оператор связи для GPRS

чтобы потом ктонибудь на это не списал

[Funtic]

d C G

маршрут:

из одного конца города в другой. Выбирается жребием перед началом заезда.

С промежуточной точкой в центре или гонки по КАД

[Rainbow]

маршруты однозначно надо "вытаскивать как билет на экзамене"! правда тут надо мудрить, чтобы не ехать на соседний перекресток.

готов в выходные (сб, вск) проехать по Питеру.

вообще - я идеальный тестер буду - потому как Питера толком не знаю и езжу исключительно доверяясь СГ:-).

экипаж нужно 3-4 человека. представители прессы, 4pda и прочие незаинтересованные. тоже выбирать случайным образом в экипажи. писать видеопротокол команд навигатора и того, что делает водятел.

[sashaan]

я не думаю, что реальный проезд по маршруту на авто даст однозначный результат тестирования пробочного сервиса от разных поставщиков

 

можно было бы постараться как-то сравнить покрытие картографического графа "пробочным" графом и оценивать как число ребер с пробками, так и актуальность информации на них.

 

отсюда банально приходим к варианту: тот прав, у кого больше "пользователей"

 

также можно сравнить качество "картографического графа"... у кого точнее, актуальнее, больше

 

 

а машиной ездить..... ну, это-ж не гонки ф-1   тут думать надо, а не ездить :)

[YoGun]

Не надо привязываться к определёному городу. Это должен быть универсальный тест.

Итак. Что важно в пробочном сервисе:

1. Время, через которое данные о проезде будут доступны всем (частота отправки и скачивания информации).

2. Минимально необходимое количество проезда для отметки (учитывания при построении маршрута). Например, я слышал, что у Яндекса от одного пользователя отметка не встаёт.

3. Время жизни отметки (актуальность информации).

4. "Дуракоустойчивость", т.е. если человек остановился, то какое поведение программы - отметит ли она, что возникла пробка.

Было что-то ещё, если найду записи, то допишу.

 

Остальное зависит от количества пользователей в данный момент на вашем пути.

 

 

Что важно в программе, в которой используется пробочный сервис:

+ скорость пересчёта маршрута, если вы по какой-то причине не последовали предложенным маршрутом. Потому как если вы не смогли вовремя перестроиться, то надо как можно скорее знать что же делать дальше.

+ возможность вмешаться в построение маршрута, в том числе при попадании в неучтённую пробку (сюда относятся Промежуточные точки, кнопка Объезд, а так же все возможные настройки параметров маршрута (чего в СГ нет))

 

 

Очень важны карты для использования с пробочным сервисом:

+ Оперативность изменений/переизданий карт, оперативность исправлений ошибок и учёт перекрытий на праздники и пр., и пр.. Ибо для полноценного пробочного сервиса важно не только показать достоверную обстановку, но и предложить адекватный маршрут объезда. (А то Я-кс предлагает запрыгивать на мосты, а Навител объезжать по АЗС и дворам)

 

 

 

После того, как это всё проверили, можно приступать к практическим тестам, что бы убедиться в заявленных функциях. Но поскольку метод получения информации, используемый в Навителе и Яндексе точно такой же какой же, какой первым придумал и стал использовать СитиГид, то результат именно пробочной картины, зависит от количества пользователей в данный момент на данном месте. Сейчас один результат, а через полчаса другой.

 

Получаем главный результат: такой метод получения информации о пробках правильный и получил признание эффективности у пользователей.

Отличия в обработке и использовании этой информации при прокладке маршрута. Вот тут однозначного ответа вряд ли удастся добиться. У каждой программы есть открытые части форума, где и без регистрации можно прочитать недовольные посты.

 

 

 

 

Поэтому мне в очередной раз кажется, что зря СГ выступил с подобным предложением. Надо требовать, что бы Навител признал, что использует систему придуманную и разработанную СитиГидом, а ещё лучше, что бы указывал это на каждой коробке, в каждой рекламе, и в информационной вкладке на каждом устройстве, т.е. везде, где упоминаются слова Пробочный сервис (не менее 10% от информационной площади). То же самое и с Яндексом. А дальше пользователи сами решат какой из продуктов им больше нравится по дизайну и адекватности поведения на маршруте.

 

 

[PsevDANIm]

Думаю обязательным условием должно стать одинаковые машинки, т.е. модели навигаторов КПК, иначе сложно будет понять, в некоторых моментах, где баг программы а где устройства, также, как уже писалось выше - один оператор!

Вот Beeline СПб, например, последние две недели и-нет местами рубит...

Также считаю, что разумно было бы УЖЕ начать обсуждать это с конкурентами, чтобы потом время не терять...

И с чем черт не шутит - вдруг что умное предложат! )))

Жюри: однозначно пресса, причем было бы неплохо предупредить заранее телевизионщиков, они такое любят. Кстати, их пока никто купить не мог, ни НН ни МЫ, а в журналы реклама даётся, они уже косвенно, но заинтересованы. Т.е. 100% независимое жюри, тот, кому ещё никто не платил, т.е. ТВ! + камеры на халяву.

Как вариант "Главная дорога" на НТВ?

Вот только один вопрос есть, а как исключить варианты жульничества, в виде например, удалённого управления и/или подставления требуемых данных своим тестерам?

P.S.

Тоже являюсь идеальным тестером - езжу исключительно по СГ, т.к. стаж вождения не велик.)

[alexeyT4]

[quote name='PsevDANIm...Вот только один вопрос есть' date=' а как исключить варианты жульничества, в виде например, удалённого управления и/или подставления требуемых данных своим тестерам? 

...
[/quote']

Может быть выдавать тестеру программу вместе с маршрутом.

Т.е. тестеры от СГ едут по НН, и наоборот. 

[YoGun]

(обновил свои вчерашние размышления - см.выше)

А то получается "СитиГИД выступает за разработку универсальной методики оценки эффективности «пробочных» сервисов", но на деле, эффективный пробочный сервис один. Есть использование его в разных программах. А сравнивать программы и говорить, что эта лучше, а эта хуже никто не возьмётся - у каждой есть свои плюсы и свои минусы. Тем более, что каждая программа постоянно совершенствуется и нет полностью законченного продукта, где бы разработчики сказали: "Всё, это последняя версия, лучше уже некуда".

 

 

[Funtic]

Время проведение:

Утренний маршрут: старт в 10.00

Дневной маршрут: старт в 14.00

Вечерний маршрут: старт в 17.00

---------------------------------

НЕСОГЛАСЕН

---------------------------------

Утренний маршрут: старт в 08.00 ПЕРВЫЙ ДЕНЬ

Утренний маршрут: старт в 09.00 ВТОРОЙ ДЕНЬ

Утренний маршрут: старт в 10.00 ТРЕТИЙ ДЕНЬ

МАРШРУТ: СТАРТ-ФИНИШ

МАРШРУТ: СПАЛЬНЫЙ РАЙОН-ЦЕНТР

--------------------------------------------

Дневной маршрут: старт в 12.00 ПЕРВЫЙ ДЕНЬ

Дневной маршрут: старт в 13.00 ВТОРОЙ ДЕНЬ

Дневной маршрут: старт в 14.00 ТРЕТИЙ ДЕНЬ

МАРШРУТ: СТАРТ-ПРОМЕЖУТОЧНАЯ ТОЧКА-ФИНИШ

МАРШРУТ: СПАЛЬНЫЙ РАЙОН-ЦЕНТР-СПАЛЬНЫЙ РАЙОН(другой)

--------------------------------------------

Вечерний маршрут: старт в 17.00 ПЕРВЫЙ ДЕНЬ

Вечерний маршрут: старт в 18.00 ВТОРОЙ ДЕНЬ

Вечерний маршрут: старт в 19.00 ТРЕТИЙ ДЕНЬ

МАРШРУТ: СТАРТ-ФИНИШ

МАРШРУТ: ЦЕНТР-СПАЛЬНЫЙ РАЙОН

--------------------------------------------

Пример Дневного маршрута выходного дня: старт в 13.00

Спальный район(север)-Московский вокзал-аэропорт "Пулково"-Мега Дыбенко-СКК-гостиница "Прибалтийская"-Аврора-Мега Парнас

МАРШРУТ: СТАРТ-ПРОМЕЖУТОЧНЫЕ ТОЧКИ-ФИНИШ

-------------------------------------------

Старт,финиш и промежуточные точки=СТАНЦИИ МЕТРО(кроме выходных)

чтобы независимые наблюдатели могли комфортно и быстро перемещатся

и написали сколько этот маршрут занимает на метро

---------------------------------------------

КАТЕГОРИИ УЧАСТНИКОВ:

С ПРОГРАММОЙ УЧАСТНИКА КОНКУРСА СТРОГО ПО МАРШРУТУ(с наблюдателем)

С ПРОГРАММОЙ ИГО СТРОГО ПО МАРШРУТУ(с наблюдателем)

С ЛЮБОЙ НАВИПРОГРАММОЙ + ВКЛЮЧЕНИЕ МОЗГА(без наблюдателя результат первого участника только для статистики любое количество участников)

------------------------------------------------

количество тестов 10 (думаю достаточно)

-------------------------------------------------

УЧЕТ:

сводная таблица в экселе где обязательные данные: время и пробег в км

--------------------------------------------------

Время проведения:

СРЕДА,ЧЕТВЕРГ,ПЯТНИЦА,СУББОТА

ИЛИ

ВОСКРЕСЕНЬЕ,ПОНЕДЕЛЬНИК,ВТОРНИК,СРЕДА

=================================================

ps IGO 8.0 с картой России у меня есть лицензионная

[PsevDANIm]

Я хочу потестить!!!

Возьмите меня в тестеры!