d C G Posted November 2, 2009 Share Posted November 2, 2009 Товарищи! в связи с новостью: http://www.probki.net/News/#290 Предлагаю пообщаться на тему "Как правильно тестировать антипробочные сервисы". Алгоритм, кол-во машин, время, место и т.д. Хочется выработать универсальную методику, насколько это возможно. Пока получается такой вариант: __________________________ Жюри:авторитетное, независимое, возможно пресса. Участники:нужно собрать группу людей-которые готовы потратить свое время и бензин. автомобили:любые легковые автомобили. Кол-во участников:в одном заезде участвуют равное кол-во машин от каждой компании (НН, АС, СГ, ЯП и т.д.) и такое же кол-во машин без навигации. ПО:используются только релизные ПО и карты. стиль езды:Шумахеров не берем, а если просочились - результат не засчитываем. маршрут: из одного конца города в другой. Выбирается жребием перед началом заезда. Время проведение:Утренний маршрут: старт в 10.00Вечерний маршрут: старт в 17.00Дневной маршрут: старт в 14.00 Срок теста:несколько дней (чтобы избежать случайных побед). Время проведения теста:три раза в день: утро, день и вечер. Контроль:GPS трекер,непрерывная запись видео изнутри ам,возможно он-лайн мониторинг ам. Условие для водителя:обязательное исполнение комманд навигатора,если навигатор нарушает ПДД - то ехать прямо до тех пор, пока навигатор не построит новый маршрут и далее опять подчиняться навигатору. При этом навигатору начисляются штрафной бал за каждое предложение нарушить ПДД. Продолжаем обсуждать. Link to post Share on other sites
Sanitar Posted November 2, 2009 Share Posted November 2, 2009 Попробую начать. Ну во первых, статья, как мне кажется, была просто заказная. Как, кто, что и какими методами тестировал, есс-но нет. Как в России все делается-многим известно. По поводу нашего тестирования. Это сложный вопрос, и организация его требует большого времени, сил и.т.д. Для начала, нужно собрать группу людей-которые готовы потратить свое время, бензин и.т.д. Далее, из этой группы, отметить на карте-кто где территориально живет и где работает, идеально-если это будут разные концы города. Таким образом, утром тестируются утренние пробки а вечером вечерние. Но вопрос-кто подпишется на возможное опоздание на работу? Есть еще категория водителей-которые ездят по городу большую часть рабочего дня, но и им так же нужно прибыть к месту вовремя. Получается, что первый запин, в наборе людей-реально готовых участвовать в этом. Если он решится-думаю дальше будет легче. Может будут еще предложения? Link to post Share on other sites
Funtic Posted November 3, 2009 Share Posted November 3, 2009 Срок теста:7 дней(с понедельника до воскресения) Время проведения теста:3 раза в день(утро,день,вечер) Маршруты:2 вида (с промежуточной точкой и без) Задания:Запечатанные конверты с адресом финиша в непрозрачном мешке от представителей компаний конкурентов Контроль:Представитель конкурирующей фирмы либо другое неезависимое лицо в автомобиле конкурента Условие:Обязательное исполнение всех голосовых комманд навигатора ПДД:Запрещена встречка и езда по дворам и тротуарам(желтый мигающий и иногда красный не всчет) мобильные телефоны и средства связи тоже запрещены Обезательна запись трэка Участники:активные пользователи форумов ДОПОЛНЯЙТЕ....... Link to post Share on other sites
LS_D Posted November 3, 2009 Share Posted November 3, 2009 Есть несколько мыслей. Для тестирования каждой навигационной системы нужно по 2 автомобиля - на одном навигатор с включённым пробочным сервисом, на другом с выключенным. Это позволит понять, есть ли выигрыш от использования пробочного сервиса и в каких случаях. Все автомобили, участвующие в тестировании пробочных сервисов, должны быть со схожими техническими характеристиками, водители должны меняться после каждого заезда. Все автомобили должны стартовать единовременно, либо с минимальной разницей во времени. Программы и карты используются последние релизные, никаких бет. Представитель производителя навигационной системы лично проверяет правильность установки, настройки своей системы, сервисов и актуальность карт. Водители строго следуют по маршруту, проложенному навигационной системой и не превышают разрешенную скорость. В случае, если навигационная система предлагает нарушить ПДД, ей начисляются штрафные баллы. Link to post Share on other sites
dimdim Posted November 3, 2009 Share Posted November 3, 2009 Гм... ИМХО, надо просто взять по 8 машинок, и прокатить их 3 раза в день 4 раза в неделю с одного конца города на другой (Север - Юг, СЗ - ЮВ, З - В и т.д.), а три дня - по радиусам (С - В, СВ - ЮВ и т.д.) Замерить время доезда и количество пробок, в которые машина заехала и о которых программа не знала. Отдельно отмечать: - призывы к нарушению ПДД - резкие изменения маршрута без заблаговременного оповещения (когда ты уже встал в левый ряд, а программа передумала и решила, что надо направо ехать) - неразумное, неправильное или нелогичное голосовое оповещение, а также пропуски голосовых команд при маневрах - ведение по сложным местам (например, пересечение оживленной главной дороги) - надо и о начинающих водителях думать - отмеченные, но несуществующие пробки (если таковые встретятся) - качество сигнала спутников и связи, поведение программы при их потере (если произойдет). Для этого желательно, чтобы в каждой команде был одинаковый набор устройств. - соответствие времени прибытия расчетному времени. Расчетное время прибытия фиксируется, скажем, каждые 20 минут (т.к. в процессе езды оно корректироваться будет). Желательно, чтобы в каждой машине было по три человека: водитель и по представителю от каждой команды, которые будут вести "протокол испытаний". Водителю запрещается нарушать ПДД за исключением скоростного режима - можно ехать со скоростью потока, но не устраивать шахматы. Link to post Share on other sites
KonTur Posted November 3, 2009 Share Posted November 3, 2009 Во-первых нужен спонсор (бензин и пр.расходы). Во-вторых, нужны именно независимые эксперты. Маршрут из одного конца города в другой. Запрет уходить с маршрута. D C G убрал флуд Link to post Share on other sites
Noname65475235 Posted November 3, 2009 Share Posted November 3, 2009 Маршруты должны выбираться случайным образом перед самым заездом, так чтобы никто сознательно не мог увеличить количество пробко-датчиков на нужном участке! На устройствах должно использоваться именно то ПО которое предлагается всем, а не закрытые бета-разработки с обратной связью и удаленным управлением. За всяческим возможным мухлеванием нужно тщательно следить! Поднять как можно больше шумихи вокруг тестирования! К такому глобальному тестированию подключить как можно больше прессы, раструбить телевизионщикам, пусть в новостях показывают по всем каналам. :-) Проводить подобные тесты регулярно 2-3 раза в год. Пусть это будет своеобразным экзаменом для навигационных систем. Link to post Share on other sites
vaso007 Posted November 3, 2009 Share Posted November 3, 2009 будут, однозначно будут, НО если под этими методиками подписались все участники теста, и в роли наблюдателей будут независимые люди, то тут оспаривай не оспаривай будет бесполезно D C G Тут обсуждаем только методику, остальное обсуждайте в других темах. Link to post Share on other sites
Noname65475235 Posted November 3, 2009 Share Posted November 3, 2009 Еще нужно авторитетное НЕЗАВИСИМОЕ жюри, которое будет готово подвести итоги, на основе всей накопившейся информации. Link to post Share on other sites
alexeyT4 Posted November 3, 2009 Share Posted November 3, 2009 ...Фигня эти тесты на самом деле. Во-первых нужен спонсор (бензин и пр.расходы). ... Мне бензина(и машину) не жалко. Готов учавствовать. В любое зарнее обговоренное время. Посадочных мест 5. + грузовой отсек. Link to post Share on other sites
demalina Posted November 3, 2009 Share Posted November 3, 2009 1. Лучше всего данное тестирование проведут водители-женщины. Известно, что в первом приближении манера езды женского пола примерно одинакова 2. В качестве жюри можно взять, скажем, gps-клуб, или тот же 4pda. Mobile-Review также должны согласиться Link to post Share on other sites
Noname65475235 Posted November 3, 2009 Share Posted November 3, 2009 Еще в идеале видеофиксация показаний экранчика навигатора во время всего движения, для последующего разбора и анализа. Link to post Share on other sites
andres78 Posted November 3, 2009 Share Posted November 3, 2009 Для начала надо определиться с понятиями (с терминологией). Например, дать конкретное опредление слову "пробка". Тестирование можно проводить в двух видах: в "статическом режиме" (сравнение полноты и достоверности пробочной картины в определенные часы) и в "динамике" (сравнение качества прокладки и ведения по маршруту). Link to post Share on other sites
Mal_Al Posted November 3, 2009 Share Posted November 3, 2009 я так понимаю, речь о сравнении различных навигационно-пробочных сервисов (СГ, НН, АС и др.) с помощью какой-то определенной однозначной методики. Результаты следует разделить на те, что для ПОЛЬЗОВАТЕЛЕЙ и те, что для РАЗРАБОТЧИКОВ. Меня, как пользователя, интересует одно, а Вас, как разработчиков, и другое тоже. Например, алгоритм обработки данных и периодичность, мне знать о нем не важно и не нужно. Меня инетерсует другое. какая из программ меня быстрее и беспробочнее доведет. насколько она проста в обращении. надежна в доверии и работоустойчивости. Т.е. по результатам применения методики я, пользователь, хочу получить эти сведения. Link to post Share on other sites
d C G Posted November 3, 2009 Author Share Posted November 3, 2009 Подвел промежуточные итоги, обновил шапку. Link to post Share on other sites
Funtic Posted November 3, 2009 Share Posted November 3, 2009 У всех должен быть одинаковый оператор связи для GPRS чтобы потом ктонибудь на это не списал Link to post Share on other sites
Funtic Posted November 3, 2009 Share Posted November 3, 2009 d C G маршрут: из одного конца города в другой. Выбирается жребием перед началом заезда. С промежуточной точкой в центре или гонки по КАД Link to post Share on other sites
Rainbow Posted November 3, 2009 Share Posted November 3, 2009 маршруты однозначно надо "вытаскивать как билет на экзамене"! правда тут надо мудрить, чтобы не ехать на соседний перекресток. готов в выходные (сб, вск) проехать по Питеру. вообще - я идеальный тестер буду - потому как Питера толком не знаю и езжу исключительно доверяясь СГ:-). экипаж нужно 3-4 человека. представители прессы, 4pda и прочие незаинтересованные. тоже выбирать случайным образом в экипажи. писать видеопротокол команд навигатора и того, что делает водятел. Link to post Share on other sites
sashaan Posted November 3, 2009 Share Posted November 3, 2009 я не думаю, что реальный проезд по маршруту на авто даст однозначный результат тестирования пробочного сервиса от разных поставщиков можно было бы постараться как-то сравнить покрытие картографического графа "пробочным" графом и оценивать как число ребер с пробками, так и актуальность информации на них. отсюда банально приходим к варианту: тот прав, у кого больше "пользователей" также можно сравнить качество "картографического графа"... у кого точнее, актуальнее, больше а машиной ездить..... ну, это-ж не гонки ф-1 тут думать надо, а не ездить :) Link to post Share on other sites
YoGun Posted November 3, 2009 Share Posted November 3, 2009 Не надо привязываться к определёному городу. Это должен быть универсальный тест. Итак. Что важно в пробочном сервисе: 1. Время, через которое данные о проезде будут доступны всем (частота отправки и скачивания информации). 2. Минимально необходимое количество проезда для отметки (учитывания при построении маршрута). Например, я слышал, что у Яндекса от одного пользователя отметка не встаёт. 3. Время жизни отметки (актуальность информации). 4. "Дуракоустойчивость", т.е. если человек остановился, то какое поведение программы - отметит ли она, что возникла пробка. Было что-то ещё, если найду записи, то допишу. Остальное зависит от количества пользователей в данный момент на вашем пути. Что важно в программе, в которой используется пробочный сервис: + скорость пересчёта маршрута, если вы по какой-то причине не последовали предложенным маршрутом. Потому как если вы не смогли вовремя перестроиться, то надо как можно скорее знать что же делать дальше. + возможность вмешаться в построение маршрута, в том числе при попадании в неучтённую пробку (сюда относятся Промежуточные точки, кнопка Объезд, а так же все возможные настройки параметров маршрута (чего в СГ нет)) Очень важны карты для использования с пробочным сервисом: + Оперативность изменений/переизданий карт, оперативность исправлений ошибок и учёт перекрытий на праздники и пр., и пр.. Ибо для полноценного пробочного сервиса важно не только показать достоверную обстановку, но и предложить адекватный маршрут объезда. (А то Я-кс предлагает запрыгивать на мосты, а Навител объезжать по АЗС и дворам) После того, как это всё проверили, можно приступать к практическим тестам, что бы убедиться в заявленных функциях. Но поскольку метод получения информации, используемый в Навителе и Яндексе точно такой же какой же, какой первым придумал и стал использовать СитиГид, то результат именно пробочной картины, зависит от количества пользователей в данный момент на данном месте. Сейчас один результат, а через полчаса другой. Получаем главный результат: такой метод получения информации о пробках правильный и получил признание эффективности у пользователей. Отличия в обработке и использовании этой информации при прокладке маршрута. Вот тут однозначного ответа вряд ли удастся добиться. У каждой программы есть открытые части форума, где и без регистрации можно прочитать недовольные посты. Поэтому мне в очередной раз кажется, что зря СГ выступил с подобным предложением. Надо требовать, что бы Навител признал, что использует систему придуманную и разработанную СитиГидом, а ещё лучше, что бы указывал это на каждой коробке, в каждой рекламе, и в информационной вкладке на каждом устройстве, т.е. везде, где упоминаются слова Пробочный сервис (не менее 10% от информационной площади). То же самое и с Яндексом. А дальше пользователи сами решат какой из продуктов им больше нравится по дизайну и адекватности поведения на маршруте. Link to post Share on other sites
PsevDANIm Posted November 4, 2009 Share Posted November 4, 2009 Думаю обязательным условием должно стать одинаковые машинки, т.е. модели навигаторов КПК, иначе сложно будет понять, в некоторых моментах, где баг программы а где устройства, также, как уже писалось выше - один оператор! Вот Beeline СПб, например, последние две недели и-нет местами рубит... Также считаю, что разумно было бы УЖЕ начать обсуждать это с конкурентами, чтобы потом время не терять... И с чем черт не шутит - вдруг что умное предложат! ))) Жюри: однозначно пресса, причем было бы неплохо предупредить заранее телевизионщиков, они такое любят. Кстати, их пока никто купить не мог, ни НН ни МЫ, а в журналы реклама даётся, они уже косвенно, но заинтересованы. Т.е. 100% независимое жюри, тот, кому ещё никто не платил, т.е. ТВ! + камеры на халяву. Как вариант "Главная дорога" на НТВ? Вот только один вопрос есть, а как исключить варианты жульничества, в виде например, удалённого управления и/или подставления требуемых данных своим тестерам? P.S. Тоже являюсь идеальным тестером - езжу исключительно по СГ, т.к. стаж вождения не велик.) Link to post Share on other sites
alexeyT4 Posted November 4, 2009 Share Posted November 4, 2009 [quote name='PsevDANIm...Вот только один вопрос есть' date=' а как исключить варианты жульничества, в виде например, удалённого управления и/или подставления требуемых данных своим тестерам? ... [/quote'] Может быть выдавать тестеру программу вместе с маршрутом. Т.е. тестеры от СГ едут по НН, и наоборот. Link to post Share on other sites
YoGun Posted November 4, 2009 Share Posted November 4, 2009 (обновил свои вчерашние размышления - см.выше) А то получается "СитиГИД выступает за разработку универсальной методики оценки эффективности «пробочных» сервисов", но на деле, эффективный пробочный сервис один. Есть использование его в разных программах. А сравнивать программы и говорить, что эта лучше, а эта хуже никто не возьмётся - у каждой есть свои плюсы и свои минусы. Тем более, что каждая программа постоянно совершенствуется и нет полностью законченного продукта, где бы разработчики сказали: "Всё, это последняя версия, лучше уже некуда". Link to post Share on other sites
Funtic Posted November 4, 2009 Share Posted November 4, 2009 Время проведение: Утренний маршрут: старт в 10.00 Дневной маршрут: старт в 14.00 Вечерний маршрут: старт в 17.00 --------------------------------- НЕСОГЛАСЕН --------------------------------- Утренний маршрут: старт в 08.00 ПЕРВЫЙ ДЕНЬ Утренний маршрут: старт в 09.00 ВТОРОЙ ДЕНЬ Утренний маршрут: старт в 10.00 ТРЕТИЙ ДЕНЬ МАРШРУТ: СТАРТ-ФИНИШ МАРШРУТ: СПАЛЬНЫЙ РАЙОН-ЦЕНТР -------------------------------------------- Дневной маршрут: старт в 12.00 ПЕРВЫЙ ДЕНЬ Дневной маршрут: старт в 13.00 ВТОРОЙ ДЕНЬ Дневной маршрут: старт в 14.00 ТРЕТИЙ ДЕНЬ МАРШРУТ: СТАРТ-ПРОМЕЖУТОЧНАЯ ТОЧКА-ФИНИШ МАРШРУТ: СПАЛЬНЫЙ РАЙОН-ЦЕНТР-СПАЛЬНЫЙ РАЙОН(другой) -------------------------------------------- Вечерний маршрут: старт в 17.00 ПЕРВЫЙ ДЕНЬ Вечерний маршрут: старт в 18.00 ВТОРОЙ ДЕНЬ Вечерний маршрут: старт в 19.00 ТРЕТИЙ ДЕНЬ МАРШРУТ: СТАРТ-ФИНИШ МАРШРУТ: ЦЕНТР-СПАЛЬНЫЙ РАЙОН -------------------------------------------- Пример Дневного маршрута выходного дня: старт в 13.00 Спальный район(север)-Московский вокзал-аэропорт "Пулково"-Мега Дыбенко-СКК-гостиница "Прибалтийская"-Аврора-Мега Парнас МАРШРУТ: СТАРТ-ПРОМЕЖУТОЧНЫЕ ТОЧКИ-ФИНИШ ------------------------------------------- Старт,финиш и промежуточные точки=СТАНЦИИ МЕТРО(кроме выходных) чтобы независимые наблюдатели могли комфортно и быстро перемещатся и написали сколько этот маршрут занимает на метро --------------------------------------------- КАТЕГОРИИ УЧАСТНИКОВ: С ПРОГРАММОЙ УЧАСТНИКА КОНКУРСА СТРОГО ПО МАРШРУТУ(с наблюдателем) С ПРОГРАММОЙ ИГО СТРОГО ПО МАРШРУТУ(с наблюдателем) С ЛЮБОЙ НАВИПРОГРАММОЙ + ВКЛЮЧЕНИЕ МОЗГА(без наблюдателя результат первого участника только для статистики любое количество участников) ------------------------------------------------ количество тестов 10 (думаю достаточно) ------------------------------------------------- УЧЕТ: сводная таблица в экселе где обязательные данные: время и пробег в км -------------------------------------------------- Время проведения: СРЕДА,ЧЕТВЕРГ,ПЯТНИЦА,СУББОТА ИЛИ ВОСКРЕСЕНЬЕ,ПОНЕДЕЛЬНИК,ВТОРНИК,СРЕДА ================================================= ps IGO 8.0 с картой России у меня есть лицензионная Link to post Share on other sites
PsevDANIm Posted November 5, 2009 Share Posted November 5, 2009 Я хочу потестить!!! Возьмите меня в тестеры! Link to post Share on other sites
Recommended Posts