osm OSM Downloader (Android)

[Пирс]

Да, поднялось. Так что переезд пока отменяется)

---

Бог с ними с топами, а вот статистика бы и правда не помешала.

12700 активных пользователей, 300-350 новых в день.

Как это вычислено? Что считается активным пользователем?

пожелания принимаются

Можно прикрутить статистку по скачиваниям в разрезе карт? Сколько раз скачивалась каждая карта, через программу, за последние 3 месяца.

можно сделать прямо в самой программе страничку - топ 100 популярных карт.

Такой статистики у меня нет, и меня это очень напрягает. Конечно, логично было бы это сделать через рамблер, но как это сделать, я просто не представляю.

[sergeyastakhov]

Такой статистики у меня нет, и меня это очень напрягает. Конечно, логично было бы это сделать через рамблер, но как это сделать, я просто не представляю.

 

Например так: http://www.tipstuff.org/2012/08/Nginx-post-action-to-trigger-successfully-download-file.html

[nikanorov]

Можно прикрутить статистку по скачиваниям в разрезе карт? Сколько раз скачивалась каждая карта, через программу, за последние 3 месяца. можно сделать прямо в самой программе страничку - топ 100 популярных карт. Такой статистики у меня нет, и меня это очень напрягает. Конечно, логично было бы это сделать через рамблер, но как это сделать, я просто не представляю.

Ну правильнее всего и логичнее обрабатывать nginx'овский access_log, если он ведётся. Ты узнай, может у тебя в директории есть или в /var/log/ где-нибудь глянь. Тогда всё достаточно просто. У Downoader'а нормальный свой user-agent, так что ты его, например, вплоть до версии отследить сможешь. Есть куча готовых скриптов-приложений для статистики. 

 

Как это вычислено? Что считается активным пользователем?

к активным пользователям мы относим всех тех, кто хотя бы однажды за выбранный временной промежуток открыл ваше приложение. Промежуток был месяц от вчера. 

 

Кстати premium крайне низкий, 1%. Не стесняемся! 

[Пирс]

Так, лог действительно ведется, и хранится за 10 дней.

Это же он: http://peirce.gis-lab.ru/misc/peirce-access.log.txt ?

Киньте мне плиз ссылки на какие нибудь скрипты-доки, для изучения.

Изменено 30 сентября, 2013 пользователем Пирс

[nikanorov]

Так, лог действительно ведется, и хранится за 10 дней. Это же он: http://peirce.gis-la...-access.log.txt ? Киньте мне плиз ссылки на какие нибудь скрипты-доки, для изучения.

 

Да, оно. Их миллион и больше. 

 

Вот, например, в режиме реального времени + генератор: http://goaccess.prosoftcorp.com/

 

AWStats тот же. Я бы советовал ещё прочитать про logrotate и ротацию логов, чтоб было понимание, если нет. 

 

Формат у тебя кажись стандартный nginx'овский:

'$remote_addr - $remote_user [$time_local] '
                       '"$request" $status $bytes_sent '
                       '"$http_referer" "$http_user_agent" "$gzip_ratio"'

Изменено 30 сентября, 2013 пользователем nikanorov

[nikanorov]

Вот, например, goaccess репорт по твоим данным: http://peirce.nikanorov.mobi/report.html

 

в ~/.goaccessrc для твоего формата:

date_format %d/%b/%Y:%T %z
log_format %h - - [%d] %^ %r %^ "%s" %b "%R" "%u" "-"

Команда для генерации: goaccess -a -f peirce-access.log.txt > report.html

 

Я ещё в исходники в файл util.c добавл строчки, чтоб Downloader выделялся:

static char *os[][2] = {
    {"OSMDownloader", "Android"},
	{"Windows NT 6.2", "Windows"},

static char *browsers[][2] = {
   /* browsers & offline browsers */
    {"OSMDownloader", "OSM Downloader"},	
   {"Avant Browser", "Others"},

Изменено 30 сентября, 2013 пользователем nikanorov

[Пирс]

Ух,ты как симпатично.

Я правильно понимаю, что это означает:
5795 запросов в сутки, 119 Гигабайт суточный трафик, треть приходится на OSM Downloader.
 

[nikanorov]

5795 запросов в сутки, 119 Гигабайт суточный трафик, треть приходится на OSM Downloader.

Абсолютно верно, за 27ое число, пятница. Треть хитов только, не трафика.

Изменено 30 сентября, 2013 пользователем nikanorov

[Пирс]

Вот интересно,  120 Гигабайт трафика в сутки, это много или мало?

 

//Треть хитов только, не трафика.

Я думаю это не принципиально

[nikanorov]

Вот интересно,  120 Гигабайт трафика в сутки, это много или мало?

Около $430 в месяц на Amazon S3 Europe. 

10%+ от 100 мегабитного канала, если я не путаю.

[Пирс]

Хиты кстати считает неправильно, засчитывает частичный запрос (206) за хит.

 

 

136 2.35% 13.19 GiB 0.00 us /static/cg7_maps/RU-SPO.cgmap

 

13 гиг при 136 хитах составляет 95 Мб на файл, а должно получиться 204 (размер RU-SPO.cgmap).

[nikanorov]

Хиты кстати считает неправильно, засчитывает частичный запрос (206) за хит.

Да он любой запрос даже HEAD за хит считает (но их там всего 36, остальные 5759 GET). На сколько правильно не знаю, но мой конфиг это не учитывал. 

 

 

13 гиг при 136 хитах составляет 95 Мб на файл, а должно получиться 204 (размер RU-SPO.cgmap).

Это кстати запросто, где-то оборвалось (вот тут не уверен), где-то докачка (тут точно).  + возможно кто-то в несколько потоков качает.

Изменено 30 сентября, 2013 пользователем nikanorov

[nikanorov]

Они вообще там путаются в терминах. Например хиты в Browsers они считают процент от "Unique visitors". Т.е. получается, что из 656 уникальных пользователей, 222 (33%) - OSMDownloader. Но goaccess всё же немного для другого, так, быстро нагрузку оценить, проблемы выявить. 

Изменено 30 сентября, 2013 пользователем nikanorov

[Пирс]

Мне интереснее всего количество пользователей, и какие карты вызвают наибольший интерес со стороны пользователей.

 

Но то что удалось оценить размер трафика, уже фантастический прогресс.

[nikanorov]

Мне интереснее всего количество пользователей, и какие карты вызвают наибольший интерес со стороны пользователей.

Ну тут сложно точно посчитать. Давай я в следующей версии такую метрику сделаю, она должна близко к правде получится. 

[Пирс]

Какие смешные зеркала

http://gps-maps.pp.ua/skachat-besplatno-karty-sitigid-7-x/

:)

[Cruiser]

У всех сегодня OSM загрузчик не работает? Список карт вообще не показывает.

[KonTur]

Еще вчера сломался. Но я нагрешил на планшет...

Отправлено с моего A501 через Tapatalk

[Cruiser]

Думал сервер упал но http://peirce.gis-lab.info/daily работает и скачиваются карты.

зы: а для навитела работает.

[nikanorov]

Пирс, ты генератор XML сменил? Там весь файл в одну строчку теперь. Насколько я помню, мне как минимум заголовок файла "<?xml version="1.0" encoding="Windows-1251"?>" надо первой отдельной строчкой отдать. 

 

Можешь вернуть к построчному или заголовок хотя бы строчкой отдельной первой отдавать(я не тестировал, но должно сработать), мне-то исправить это просто, но пока все обновления получат. 

[nikanorov]

Сейчас протестировал, да, достаточно будет заголовок (<?xml version="1.0" encoding="Windows-1251"?>) отдельной первой строкой, дальше можно в кучу. Главное чтоб был заголовок с кодировкой, а после него перевод строки. 

[Пирс]

Да, вообще планировщик конвертаций переписан.

Посмотрю что там можно сделать.

[nikanorov]

Посмотрю что там можно сделать.

Ты мне только скажи если не получится, я тогда апдейт начну готовить. А то там уже посыпались комментарии с низким рейтингом. В идеале конечно бы добавить просто этот один символ перевода. 

[nikanorov]

Вообще конечно непонятно зачем я такую глупость как удаление первой строчки сделал. В принципе всё исправил (одну строчку закомментировать то!), сейчас тесты прогоню (там много каких библиотек обновилось), может ещё какие баги пофикшу и выложу. 

[Пирс]

Что-то у нас какой-то высокопулярный сервис. Ни на минуту нельзя расслабиться. Пока скорректировал Xml ручками и отключил обновление.

 

как удаление первой строчки сделал.

По идее, xml переносов строк вовсе не требует. Браузеры xml и без концов строк понимают. Изменено 20 октября, 2013 пользователем Пирс