Сообщений в теме: 28

[d C G]

Товарищи!

в связи с новостью: http://www.probki.net/News/#290

 

Предлагаю пообщаться на тему "Как правильно тестировать антипробочные сервисы".

 

Алгоритм, кол-во машин, время, место и т.д.

 

Хочется выработать универсальную методику, насколько это возможно.

 

Пока получается такой вариант:

__________________________

Жюри:
авторитетное, независимое, возможно пресса.

Участники:
нужно собрать группу людей-которые готовы потратить свое время и бензин.

автомобили:
любые легковые автомобили.

Кол-во участников:
в одном заезде участвуют равное кол-во машин от каждой компании (НН, АС, СГ, ЯП и т.д.) и такое же кол-во машин без навигации.

ПО:
используются только релизные ПО и карты.

стиль езды:
Шумахеров не берем, а если просочились - результат не засчитываем.

маршрут:
из одного конца города в другой. Выбирается жребием перед началом заезда.

Время проведение:
Утренний маршрут: старт в 10.00
Вечерний маршрут: старт в 17.00
Дневной маршрут: старт в 14.00

Срок теста:
несколько дней (чтобы избежать случайных побед).

Время проведения теста:
три раза в день: утро, день и вечер.

Контроль:
GPS трекер,
непрерывная запись видео изнутри ам,
возможно он-лайн мониторинг ам.

Условие для водителя:
обязательное исполнение комманд навигатора,
если навигатор нарушает ПДД - то ехать прямо до тех пор, пока навигатор не построит новый маршрут и далее опять подчиняться навигатору. При этом навигатору начисляются штрафной бал за каждое предложение нарушить ПДД.

 

Продолжаем обсуждать.

 

[Sanitar]

Попробую начать. Ну во первых, статья, как мне кажется, была просто заказная. Как, кто, что и какими методами тестировал, есс-но нет. Как в России все делается-многим известно.
По поводу нашего тестирования. Это сложный вопрос, и организация его требует большого времени, сил и.т.д. Для начала, нужно собрать группу людей-которые готовы потратить свое время, бензин и.т.д. Далее, из этой группы, отметить на карте-кто где территориально живет и где работает, идеально-если это будут разные концы города. Таким образом, утром тестируются утренние пробки а вечером вечерние. Но вопрос-кто подпишется на возможное опоздание на работу? Есть еще категория водителей-которые ездят по городу большую часть рабочего дня, но и им так же нужно прибыть к месту вовремя.
Получается, что первый запин, в наборе людей-реально готовых участвовать в этом. Если он решится-думаю дальше будет легче.
Может будут еще предложения?

[Funtic]

Срок теста:7 дней(с понедельника до воскресения)

Время проведения теста:3 раза в день(утро,день,вечер)

Маршруты:2 вида (с промежуточной точкой и без)

Задания:Запечатанные конверты с адресом финиша в непрозрачном мешке от представителей компаний конкурентов

Контроль:Представитель конкурирующей фирмы либо другое неезависимое лицо в автомобиле конкурента

Условие:Обязательное исполнение всех голосовых комманд навигатора

ПДД:Запрещена встречка и езда по дворам и тротуарам(желтый мигающий и иногда красный не всчет)

мобильные телефоны и средства связи тоже запрещены

Обезательна запись трэка

Участники:активные пользователи форумов

ДОПОЛНЯЙТЕ.......

[LS_D]

Есть несколько мыслей.

Для тестирования каждой навигационной системы нужно по 2 автомобиля - на одном навигатор с включённым пробочным сервисом, на другом с выключенным. Это позволит понять, есть ли выигрыш от использования пробочного сервиса и в каких случаях.
Все автомобили, участвующие в тестировании пробочных сервисов, должны быть со схожими техническими характеристиками, водители должны меняться после каждого заезда.
Все автомобили должны стартовать единовременно, либо с минимальной разницей во времени.
Программы и карты используются последние релизные, никаких бет.
Представитель производителя навигационной системы лично проверяет правильность установки, настройки своей системы, сервисов и актуальность карт.
Водители строго следуют по маршруту, проложенному навигационной системой и не превышают разрешенную скорость.
В случае, если навигационная система предлагает нарушить ПДД, ей начисляются штрафные баллы.

[dimdim]

Гм... ИМХО, надо просто взять по 8 машинок, и прокатить их 3 раза в день 4 раза в неделю с одного конца города на другой (Север - Юг, СЗ - ЮВ, З - В и т.д.), а три дня - по радиусам (С - В, СВ - ЮВ и т.д.) Замерить время доезда и количество пробок, в которые машина заехала и о которых программа не знала.



Отдельно отмечать:

- призывы к нарушению ПДД

- резкие изменения маршрута без заблаговременного оповещения (когда ты уже встал в левый ряд, а программа передумала и решила, что надо направо ехать)

- неразумное, неправильное или нелогичное голосовое оповещение, а также пропуски голосовых команд при маневрах

- ведение по сложным местам (например, пересечение оживленной главной дороги) - надо и о начинающих водителях думать

- отмеченные, но несуществующие пробки (если таковые встретятся)

- качество сигнала спутников и связи, поведение программы при их потере (если произойдет). Для этого желательно, чтобы в каждой команде был одинаковый набор устройств.

- соответствие времени прибытия расчетному времени. Расчетное время прибытия фиксируется, скажем, каждые 20 минут (т.к. в процессе езды оно корректироваться будет).



Желательно, чтобы в каждой машине было по три человека: водитель и по представителю от каждой команды, которые будут вести "протокол испытаний".



Водителю запрещается нарушать ПДД за исключением скоростного режима - можно ехать со скоростью потока, но не устраивать шахматы.

[KonTur]

 

Во-первых нужен спонсор (бензин и пр.расходы).

Во-вторых, нужны именно независимые эксперты.

Маршрут из одного конца города в другой.

Запрет уходить с маршрута.

 

D C G

убрал флуд

[AltGreen]

Маршруты должны выбираться случайным образом перед самым заездом, так чтобы никто сознательно не мог увеличить количество пробко-датчиков на нужном участке!

На устройствах должно использоваться именно то ПО которое предлагается всем, а не закрытые бета-разработки с обратной связью и удаленным управлением. За всяческим возможным мухлеванием нужно тщательно следить!



Поднять как можно больше шумихи вокруг тестирования!

К такому глобальному тестированию подключить как можно больше прессы, раструбить телевизионщикам, пусть в новостях показывают по всем каналам. :-)

Проводить подобные тесты регулярно 2-3 раза в год. Пусть это будет своеобразным экзаменом для навигационных систем.

[vaso007]

будут, однозначно будут, НО если под этими методиками подписались  все  участники теста, и в роли наблюдателей будут независимые люди, то тут оспаривай не оспаривай будет бесполезно

 

D C G

Тут обсуждаем только методику, остальное обсуждайте в других темах.

[AltGreen]

Еще нужно авторитетное НЕЗАВИСИМОЕ жюри, которое будет готово подвести итоги, на основе всей накопившейся информации.

[alexeyT4]

Цитата

...Фигня эти тесты на самом деле. Во-первых нужен спонсор (бензин и пр.расходы).

...

 

 

Мне бензина(и машину) не жалко. Готов учавствовать.

В любое зарнее обговоренное время.

Посадочных мест 5. + грузовой отсек.

[demalina]

1. Лучше всего данное тестирование проведут водители-женщины. Известно, что в первом приближении манера езды женского пола примерно одинакова

2. В качестве жюри можно взять, скажем, gps-клуб, или тот же 4pda. Mobile-Review также должны согласиться

[AltGreen]

Еще в идеале видеофиксация показаний экранчика навигатора во время всего движения, для последующего разбора и анализа.

[andres78]

Для начала надо определиться с понятиями (с терминологией). Например, дать конкретное опредление слову "пробка".

 

Тестирование можно проводить в двух видах:  в "статическом режиме" (сравнение полноты и достоверности пробочной картины в определенные часы) и в "динамике" (сравнение качества прокладки и ведения по маршруту).

[Mal_Al]

я так понимаю, речь о сравнении различных навигационно-пробочных сервисов (СГ, НН, АС и др.) с помощью какой-то определенной однозначной методики.

Результаты следует разделить на те, что для ПОЛЬЗОВАТЕЛЕЙ и те, что для РАЗРАБОТЧИКОВ. Меня, как пользователя, интересует одно, а Вас, как разработчиков, и другое тоже. Например, алгоритм обработки данных и периодичность, мне знать о нем не важно и не нужно. Меня инетерсует другое.

какая из программ меня быстрее и беспробочнее доведет. насколько она проста в обращении. надежна в доверии и работоустойчивости. Т.е. по результатам применения методики я, пользователь, хочу получить эти сведения.

[d C G]

Подвел промежуточные итоги, обновил шапку.

[Funtic]

У всех должен быть одинаковый оператор связи для GPRS

чтобы потом ктонибудь на это не списал

[Funtic]

d C G

маршрут:

из одного конца города в другой. Выбирается жребием перед началом заезда.



С промежуточной точкой в центре или гонки по КАД

[Rainbow]

маршруты однозначно надо "вытаскивать как билет на экзамене"! правда тут надо мудрить, чтобы не ехать на соседний перекресток.

готов в выходные (сб, вск) проехать по Питеру.

вообще - я идеальный тестер буду - потому как Питера толком не знаю и езжу исключительно доверяясь СГ:-).

экипаж нужно 3-4 человека. представители прессы, 4pda и прочие незаинтересованные. тоже выбирать случайным образом в экипажи. писать видеопротокол команд навигатора и того, что делает водятел.

[sashaan]

я не думаю, что реальный проезд по маршруту на авто даст однозначный результат тестирования пробочного сервиса от разных поставщиков :)

 

можно было бы постараться как-то сравнить покрытие картографического графа "пробочным" графом и оценивать как число ребер с пробками, так и актуальность информации на них.

 

отсюда банально приходим к варианту: тот прав, у кого больше "пользователей" :)

 

также можно сравнить качество "картографического графа"... у кого точнее, актуальнее, больше :)

 

 

а машиной ездить..... :) ну, это-ж не гонки ф-1 :)  тут думать надо, а не ездить :):):)

[YoGun]

Не надо привязываться к определёному городу. Это должен быть универсальный тест.

Итак. Что важно в пробочном сервисе:

1. Время, через которое данные о проезде будут доступны всем (частота отправки и скачивания информации).

2. Минимально необходимое количество проезда для отметки (учитывания при построении маршрута). Например, я слышал, что у Яндекса от одного пользователя отметка не встаёт.

3. Время жизни отметки (актуальность информации).

4. "Дуракоустойчивость", т.е. если человек остановился, то какое поведение программы - отметит ли она, что возникла пробка.

Было что-то ещё, если найду записи, то допишу.

 

Остальное зависит от количества пользователей в данный момент на вашем пути.

 

 

Что важно в программе, в которой используется пробочный сервис:

+ скорость пересчёта маршрута, если вы по какой-то причине не последовали предложенным маршрутом. Потому как если вы не смогли вовремя перестроиться, то надо как можно скорее знать что же делать дальше.

+ возможность вмешаться в построение маршрута, в том числе при попадании в неучтённую пробку (сюда относятся Промежуточные точки, кнопка Объезд, а так же все возможные настройки параметров маршрута (чего в СГ нет))

 

 

Очень важны карты для использования с пробочным сервисом:

+ Оперативность изменений/переизданий карт, оперативность исправлений ошибок и учёт перекрытий на праздники и пр., и пр.. Ибо для полноценного пробочного сервиса важно не только показать достоверную обстановку, но и предложить адекватный маршрут объезда. (А то Я-кс предлагает запрыгивать на мосты, а Навител объезжать по АЗС и дворам)

 

 

 

После того, как это всё проверили, можно приступать к практическим тестам, что бы убедиться в заявленных функциях. Но поскольку метод получения информации, используемый в Навителе и Яндексе точно такой же какой же, какой первым придумал и стал использовать СитиГид, то результат именно пробочной картины, зависит от количества пользователей в данный момент на данном месте. Сейчас один результат, а через полчаса другой.

 

Получаем главный результат: такой метод получения информации о пробках правильный и получил признание эффективности у пользователей.

Отличия в обработке и использовании этой информации при прокладке маршрута. Вот тут однозначного ответа вряд ли удастся добиться. У каждой программы есть открытые части форума, где и без регистрации можно прочитать недовольные посты.

 

 

 

 

Поэтому мне в очередной раз кажется, что зря СГ выступил с подобным предложением. Надо требовать, что бы Навител признал, что использует систему придуманную и разработанную СитиГидом, а ещё лучше, что бы указывал это на каждой коробке, в каждой рекламе, и в информационной вкладке на каждом устройстве, т.е. везде, где упоминаются слова Пробочный сервис (не менее 10% от информационной площади). То же самое и с Яндексом. А дальше пользователи сами решат какой из продуктов им больше нравится по дизайну и адекватности поведения на маршруте.