Алгоритмы расчета и прокладки маршрутов

[timvetrov]

Был такой тест год назад. Таксист проиграл.

Это был неправильный тест, результаты которого совершенно ничего не означали.

При таком дизайне и особенно при такой выборке (каждая сравниваемая группа равна единице) ни о какой репрезентативности речи нет.

Вообще, если говорить серьезно, то не опубликовано никаких исследований, объективно доказывающих эффективность пробочных сервисов.

Пока все основано на теоретических обоснованиях и на вере клиентов в эти обоснования.

[alexeyT4]

Как вариант, можно приподнять темку про тесты и организовать крупномасштабный тест, с большим количеством участников и тщательным анализом его результатов.

[Vodolazz]

Как вариант, можно приподнять темку про тесты и организовать крупномасштабный тест, с большим количеством участников и тщательным анализом его результатов.

Этот крупномасштабный тест как бы подитоживает работу разработчиков за год и носит рекламный характер. Согласен он нужен, но это забота разработчиков.

Я предлагаю проводить эксперементы по работе алгоритма. Ведь у каждого пользователя СГ были сомнения "а может мне надо было поехать по другому". Так вот что бы расеять эти сомнения надо находить такого же сомневающегося и проверять.

[IШIN]

Этот крупномасштабный тест как бы подитоживает работу разработчиков за год и носит рекламный характер. Согласен он нужен, но это забота разработчиков.

Учитывая, что результат заранее неизвестен, рекламным его назвать трудно.

Я предлагаю проводить эксперементы по работе алгоритма. Ведь у каждого пользователя СГ были сомнения "а может мне надо было поехать по другому". Так вот что бы расеять эти сомнения надо находить такого же сомневающегося и проверять.

Тогда, год назад, AlexeyT4 тоже начал со слов "заморачиваться с судьями/видеозаписью/протоколами не будем.

Проведем любительский тест для себя - проедем с разными программами из точки в точку и посмотрим".

А оно вон че вышло! :)

[eklmn]

организовать крупномасштабный тест, с большим количеством участников

Боюсь, что в понимании timvetrov "крупномасштабный" значит не 20 машинозаездов, а тыщ 20...

А значит его не убедит ни еще один, ни еще три теста.

P.S. Как участник позапрошлогоднего теста, готов повторить.

Изменено 19 января, 2012 пользователем eklmn

[Sevar7867]

Я ежедневно (утром и вечером) еду с двумя разными версиями СГ плюс какая-нибудь еще пробочная программа на третьем устройстве (Самый свежий НН, или ПГ, но чаще - iGO Primo 1.2 с пробками, изредка для информации ЯК включаю (когда все совсем глухо). Так вот, заметил, что Симбовская 5-ка (да и 2.8) считала лучше 5-ки WinCE, сейчас же 7-ка ведет несколько лучше Симбы. Лучше в плане скорости перестроения маршрута, отслеживания "минимальной" пробки и реакции на изменение маршрута. Понимаю, что тут и "железо" большую роль играет, но и тест в таком случае становится "многоликим". Плюс к этому - предложение изменить маршрут в 5 метрах от поворота далеко не всегда выполнимо, но бывает весьма часто (как инфа поступила и обработалась, так и выдает), тут тоже сразу вариации возникают... Так что - даже внутри одной платформы получается разный алгоритм.

[OlegCh]

Это был неправильный тест, результаты которого совершенно ничего не означали.

При таком дизайне и особенно при такой выборке (каждая сравниваемая группа равна единице) ни о какой репрезентативности речи нет.

Вообще, если говорить серьезно, то не опубликовано никаких исследований, объективно доказывающих эффективность пробочных сервисов.

Пока все основано на теоретических обоснованиях и на вере клиентов в эти обоснования.

Совершенно точно! Тот тест был все равно что монетку подбросить - кто победит... Влияет масса случайных факторов - работа светофоров, неожиданная авария, ремонтные работы, не успевшие попасть в корректировки и т.п.

Чтобы тест был более-менее объективным надо ездить парно в течение недели в разное время, по разным маршрутам - проехать хотя бы раз 20, чтобы более-менее усреднить случайные недоразумения.

Понятно, что вряд ли найдется такая пара желающих, а разработчики тоже вряд ли пойдут на такой эксперимент (а если и пойдут, то о результате уж точно не скажут, а если и скажут, то верить им уж точно будет нельзя ))))).

Единственный вариант, который мне представляется физически реализуемым - набирать статистику постепенно - кто-то проехал парно, отписался в специальную тему. Кто-то еще проехал когда-то, опять отписался. Так постепенно можно будет набрать статистику. Только, боюсь, за это время версия программы уже поменяется несколько раз... ((

Изменено 19 января, 2012 пользователем OlegCh

[sergges]

Совершенно точно! Тот тест был все равно что монетку подбросить - кто победит... Влияет масса случайных факторов - работа светофоров, неожиданная авария, ремонтные работы, не успевшие попасть в корректировки и т.п

не, ну вы конечно интересно размышляете. Все равно что сказать, что все Чемпионаты мира по футболу выиграны случайно. В финале ведь тоже все зависит от множества факторов, мб стоит играть финал из 30 матчей, чтобы точно понять, кто лучше? И все олимпиады так проводить?))

Есть конкретный заезд, в котором на конкретной, одинаковой для всех обстановке, при одинаковой погоде проверяется, какая из программ выберет лучший маршрут. Все остальное, сломанный светофор по пути, авария или еще что-нибудь, это уже лирика.

[OlegCh]

не, ну вы конечно интересно размышляете. Все равно что сказать, что все Чемпионаты мира по футболу выиграны случайно. В финале ведь тоже все зависит от множества факторов, мб стоит играть финал из 30 матчей, чтобы точно понять, кто лучше? И все олимпиады так проводить?))

Есть конкретный заезд, в котором на конкретной, одинаковой для всех обстановке, при одинаковой погоде проверяется, какая из программ выберет лучший маршрут. Все остальное, сломанный светофор по пути, авария или еще что-нибудь, это уже лирика.

Ваша аналогия неуместна, хотя и достаточно образна. Разные цели и задачи. В спортивных соревнованиях выявляется победитель на данный момент и без разницы как он выиграет (как Марадона рукой, например) и как будет играть все три последующих года, все равно его будут считать чемпионом. Мне же надо от программы, чтобы она мне помогала не только вот сейчас, а всегда. По крайней мере, в большинстве случаев. Поэтому результаты единичного теста не показательны для нашего случая. Я так думаю...

[sergges]

Ваша аналогия неуместна, хотя и достаточно образна. Разные цели и задачи. В спортивных соревнованиях выявляется победитель на данный момент и без разницы как он выиграет (как Марадона рукой, например) и как будет играть все три последующих года, все равно его будут считать чемпионом. Мне же надо от программы, чтобы она мне помогала не только вот сейчас, а всегда.

. По крайней мере, в большинстве случаев. Поэтому результаты единичного теста не показательны для нашего случая. Я так думаю..

не, ну там тоже победитель финала не начинает всем проигрывать после него. Опустим сборные, возьмём клубные команды. Те, кто побеждают в еврокубках, обычно стабильно хорошо играют и дальше, в своих чемпионатах)) Нынешняя Барселона- как пример.

В этом и есть класс, в нашем случае навигационной программы. Если она хорошая, пусть докажет это в конкретный день в соревновании с другими. Отговорки в стиле, не повезло, не работающий светофор по пути попался или авария- никому не интересны. Если они попались по пути сейчас, то они могли попасться и в любой другой день.

Ну и главное у Вас- "Мне же надо от программы, чтобы она мне помогала не только вот сейчас, а всегда. По крайней мере, в большинстве случаев"

Если не только сейчас, а "всегда", то почему тогда именно день теста не входит в это "всегда"?

Вы сами себе противоречите. Говорите что программа всегда должна быть на высоте, и тут-же заявляете, что единичные случаи, не в счет))))

Или это особенность самых лучших программ, 364 дня в году быть на высоте, а в один оставшийся, самый решающий и тестовый, проваливаться, а потом оправдываться неработающими светофорами?

Изменено 19 января, 2012 пользователем sergges

[IШIN]

Есть конкретный заезд, в котором на конкретной, одинаковой для всех обстановке, при одинаковой погоде проверяется, какая из программ выберет лучший маршрут.

Согласен. Причем при маршруте "три раза через весь город" такие мелочи, как светофор туда-светофор сюда" сглаживаются. Единственная жаль, что последние тесты проводились в не самых интересных обстоятельствах - в Москве при почти полном отсутствии пробок (езжай как хочешь - все равны), а в Питере - в одной огромной пробке (как ни ехай - все стоим одинаково).

[eklmn]

Но при этом, разница между первым и последним, исчислялась часами, а не минутами.

[IШIN]

Разве? (я не учитываю бедную уставшую девушку)

Мне казалось, что СГ+пробки, СГ_без_пробок, Навител+пробки, Навител_безпробок и Штурман пришли в пределах 20-минутного разброса...

Пойду-ка перечитаю GPSreview.ru.

[eklmn]

В Питере поплотнее были результаты - меньше часа.

А вот в "пустой" Москве некоторые сильно поплутали.

[Mr_Jurist]

Хочу обратить внимание уважаемой публики, а особенно разработчиков на такой аспект, как подсчет времени до финиша.

У меня создалось стойкое ощущение, что в алгоритме этого дела есть изъян.

Например, я добираюсь зимой до работы ровно 1 час (при любых маршрутах). Расстояние - 5 км.

Пока еду, все хорошо, показывает, что осталось ехать 16 минут.

Заезжаю в стоячую пробку и те же 15-16 минут непрерывно висят минут 30.

По идее, СГ должен сразу время до финиша увеличить на 20-30 минут. Однако этого не происходит.

[Евгений Ш]

Однако этого не происходит.

Давно известный баг (фича?) Кроме разработчиков никто не знает алгоритма расчета времени до финиша. В разных темах обсуждалось неоднократно.

[Vodolazz]

Единственный вариант, который мне представляется физически реализуемым - набирать статистику постепенно - кто-то проехал парно, отписался в специальную тему. Кто-то еще проехал когда-то, опять отписался. Так постепенно можно будет набрать статистику. Только, боюсь, за это время версия программы уже поменяется несколько раз... ((

Согласен с таким вариантом

[alexeyT4]

Давно известный баг (фича?

Винда тоже никогда не показывает точное время перекачки файла.

Может, оттуда ноги растут.

А по поводу парно поездить.

Я ездил с товарищами-коллегами и неоднократно и не парно, а по три-четыре машины. Из одной точки в другую, а бывало что еще и в третью и четвертую.

Так вот.

у людей, которые ездили по одним и тем же точкам, но разными маршрутами, без Сити Гида, Вопрос покупать-не покупать, нужны или не нужны пробки отпадал на второй, максимум на третий раз их приезда позже меня минут на 40.

По поводу тестов, давайте попробуем. опыт небольшой есть. были бы желающие.

Предлагаю после выхода семерки возбудить темку тестов.

[timvetrov]

Боюсь, что в понимании timvetrov "крупномасштабный" значит не 20 машинозаездов, а тыщ 20... А значит его не убедит ни еще один, ни еще три теста.

Вообще, существуют определенные методики подсчета необходимой выборки, и совсем не обязательно это будет 20 тыс. заездов.

Возможно, хватит и 20 заездов, но тогда должно быть 2 группы, а не 6, и при этом проблема рандомизации должна решаться, видимо, перекрестным дизайном.

То есть, один и тот же участник проедет по одному и тому же маршруту туда с пробками, обратно без пробок. Правда, останется проблема неодновременности, но ее можно нивелировать тем, что другой участник в это же время едет наоборот (оттуда - с пробками, туда - без пробок).

В этом случае 10 экипажей вполне хватит. Потом надо посчитать статистику непараметрикой и посмотреть, что получится.

P.S. Как участник позапрошлогоднего теста, готов повторить.

Я тоже готов поучаствовать, хоть никогда раньше не пробовал. Когда выйдет семерка для андройда...

Чтобы тест был более-менее объективным надо ездить парно в течение недели в разное время, по разным маршрутам - проехать хотя бы раз 20, чтобы более-менее усреднить случайные недоразумения.

Это будет, конечно, лучше, чем ничего, но тут тоже возможные т.н. bias'ы (т.е. некоторые заранее не учтенные факторы, повлиявшие на результат эксперимента). Дело в том, что грамотно проведенный эксперимент должен быть заранее спланирован (с учетом этих вот bias) и проводиться в контролируемых условиях. Т.е. надо следить, чтобы участники следовали указаниям программы, не нарушали ПДД и т.п. А в Вашем предложении этого нет.

Допустим, накопили мы эту параллельную статистику (у меня она уже есть, позитивная для СГ).

Пример возражения: Тот, кто использует СГ, может иногда следовать маршруту, иногда не следовать. Если следовать слепо - заплутаешь так, что лучше вообще пробки не включать.

И попробуйте отмести это возражение. Тем более, что я даже специально закрыл на карте переезды в Обухово за их непредсказуемость...

Или: Те, кто пользуется навигацией и пробочными сервисами, более продвинутый водитель.

И попробуйте это опровергнуть...

В клинических исследованиях и медицине, основанной на доказательствах, существует т.н. "пирамида доказательств", которая ранжирует степень достоверности данных. Так вот, внизу пирамиды находится личный опыт, несколько выше - опыт профессиональных групп и учреждений, еще выше - анализ разрозненных случаев (case report), далее - case-control (то, о чем вы говорите), далее - мета-анализ (т.е. анализ нескольких исследований, проведенных разными методами), далее - контролируемые исследования (две параллельных группы), потом контролируемые рандомизированные исследования (то, о чем я говорю) и т.д. На вершине пирамиды находятся международные многоцентровые рандомизированные двойные слепые контролируемые исследования.

К чему я это несу.

Предлагаемый мной дизайн (рандомизированное контролируемое исследование) на несколько ступеней выше, чем исследование case - control, которые предлагает Вы. Поэтому размер выборки (и количество усилий) потребуется меньше, а смысла будет больше.

Изменено 19 января, 2012 пользователем timvetrov

[timvetrov]

Все равно что сказать, что все Чемпионаты мира по футболу выиграны случайно. В финале ведь тоже все зависит от множества факторов, мб стоит играть финал из 30 матчей, чтобы точно понять, кто лучше? И все олимпиады так проводить?))

И ЧМ, и олимпиады проводят по такой системе вовсе не потому, что она наиболее точно определяет сильнейшего. Так делают из-за недостатка времени и денег.

Наиболее точная система - это система национальных чемпионатов, когда очки набирают постепенно, и каждая команда играет сначала на своем поле, потом на чужом. Вот и получается 30 матчей. А проиграть случайно и Зенит-Чемпион может... :D

Изменено 19 января, 2012 пользователем timvetrov

[Vodolazz]

Я ездил с товарищами-коллегами и неоднократно и не парно, а по три-четыре машины. Из одной точки в другую, а бывало что еще и в третью и четвертую.

Я так понимаю Вы ездили по Питеру. Для Москвы этот вопрос остается открытым и актуальным из-за количества датчиков.

Я бы тоже с удовольствием поучаствовал в тесте.

[sergges]

И ЧМ, и олимпиады проводят по такой системе вовсе не потому, что она наиболее точно определяет сильнейшего. Так делают из-за недостатка времени и денег. Наиболее точная система - это система национальных чемпионатов, когда очки набирают постепенно, и каждая команда играет сначала на своем поле, потом на чужом. Вот и получается 30 матчей. А проиграть случайно и Зенит-Чемпион может...

да, но по настоящему хорошие команды редко проигрывают слабым и при кубковой системе "на вылет". Пример с ЛЧ я уже приводил, где в финалы редко выходит отстой, а вот Барселоны и проч Миланы- постоянно.

Если СГ из нескольких тестов не смог выиграть ни один, глупо постоянно ссылаться на невезение.

Если ты в обычной жизни лучше навитела и прочих прогородов, почему не подтвердить это именно в тот, самый нужный момент?

Изменено 20 января, 2012 пользователем sergges

[alexeyT4]

Я так понимаю Вы ездили по Питеру. Для Москвы этот вопрос остается открытым и актуальным из-за количества датчиков. Я бы тоже с удовольствием поучаствовал в тесте.

Да по Питеру.

А в Москве тест проводил GPS клуб. даже два раза.

На мои предложения провести его в Питере они ответили, что нет ресурсов.

И нам пришлось проводить тест своими силами.

[timvetrov]

Если СГ из нескольких тестов не смог выиграть ни один, глупо постоянно ссылаться на невезение. Если ты в обычной жизни лучше навитела и прочих прогородов, почему не подтвердить это именно в тот, самый нужный момент?

Я думаю, что ни один производитель навигационного ПО не заинтересован в объективном исследовании эффективности своего пробочного сервиса.

В этом главная причина того, что такие исследования до сих пор не проводились.

Те несколько тестов - это просто несерьезно хотя бы потому, что с разными программами ездили разные водители на разных машинах. Да и выборка такова, что о достоверности различий судить было невозможно. Дело в том, что даже разница в 20 минут может быть недостоверной.

Пример с ЛЧ я уже приводил, где в финалы редко выходит отстой, а вот Барселоны и проч Миланы- постоянно.

Да, но при этом Барселона (лучшая команда мира) проиграла в той же ЛЧ Рубину на своем поле. Хорошо для Барселоны, что это было в группе, а не в плей-офф. Точно так же та же Барселона, выиграв в Мадриде у Реала 1:3 (в начале декабря, я как раз был в Барселоне, кипеж стоял полночи), чуть ли не в следующем туре чемпионата проиграла куда более слабому Эспаньолу. А Зенит-Чемпион не так давно вылетел из Кубка России, проиграв Сибири... Россия обыграла Нидерланды на ЧЕ... Это я к тому, что случайности в футболе бывают, да и мотивация тоже не всегда одинаковая, поэтому то, что хорошо для спорта, не всегда хорошо для выяснения истины. Когда нужно объективное подтверждение эффективности, нужно постараться исключить влияние посторонних факторов. Это делается с помощью дизайна (рандомизация, размер выборки и т.д.) и грамотного анализа.

Что-то у нас тут такой мощный офф-топик пошел! Может, попросить модераторов перенести все это в ветку про тесты СГ?

Изменено 20 января, 2012 пользователем timvetrov

[Alexey_Sh]

Сегодня 35 минут простоял на Б.Проспекте Петроградской, хотя по СГ должен был там ехать с ветерком.

Проблема как я понимаю в полосе для общественного транспорта. Куча народу бодро шпарит по ней, оттуда и скорость на треке.

Есть пожелание, если по маршруту не все машинки едут бодро, а некоторые почему то ползут медленно, считать скорости с приоритетом по медленным.

Аналогично и загородные дороги, когда пробки по обочинам объезжают.

В среднем по больнице неплохая скорость получается.