итак, в пятницу я начал разносить nginx на две части, как я писал в предыдущем топике. / админские истории :: chrome 25 prerender bug :: Истории

админские истории story chrome 25 prerender bug 
итак, в пятницу я начал разносить nginx на две части, как я писал в предыдущем топике. После разнесения стало заметно меньше лагов. И вдруг сильно подскочило количество просмотров на посетителя. В картинке ниже - пример того, что было в воскресение по сравнению с субботой.

продолжение под катом
админские истории,Истории,chrome 25 prerender bug
Подробнее

админские истории,Истории,chrome 25 prerender bug
Еще на тему
Развернуть
Вначале я подумал, что это люди хотели сидеть на сайте, но из-за тормозов не сидели. Через некоторое время меня начали обуревать сомнения. Особенно после того, как я нашёл вот такой график.
koka koka 24.02.201314:16 ответить ссылка 0.8
получается, что прирост количества показов в основном за счёт тех, кто посмотрел более 200 страниц в день. Те, у кого было от 51 до 100 просмотров в день - не изменились и даже немного упали.

Следующая идея - ддос. Но какой-то уж очень странный. Обычно ддосят как-нибудь эффективно и просто. А тут полностью грузили страничку включая статистику лирушки и сложные скрипты выдачи рекламы.

Грепаю логи на предмет какой ип сколько раз заходил на мудактор
cat /var/log/nginx/access.log | awk '{print $1}'| sort | uniq -c | sort -n

В топ 10 одни роботы с более 1000 просмотров. Дальше идёт плотным строем ипы с 700 показами. Грепаем по любом ипу - видим такое:

77.41.97.207 - - [24/Feb/2013:05:04:49 +0100] "GET /all/636 HTTP/1.1" 200 14369 "http://joyreactor.cc/all/635" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.22 (KHTML, like Gecko) Chrome/25.0.1364.97 Safari/537.22" "-"
77.41.97.207 - - [24/Feb/2013:05:05:20 +0100] "GET /all/637 HTTP/1.1" 200 13979 "http://joyreactor.cc/all/636" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.22 (KHTML, like Gecko) Chrome/25.0.1364.97 Safari/537.22" "-"
77.41.97.207 - - [24/Feb/2013:05:05:51 +0100] "GET /all/638 HTTP/1.1" 200 15959 "http://joyreactor.cc/all/637" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.22 (KHTML, like Gecko) Chrome/25.0.1364.97 Safari/537.22" "-"
77.41.97.207 - - [24/Feb/2013:05:06:22 +0100] "GET /all/639 HTTP/1.1" 200 14524 "http://joyreactor.cc/all/638" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.22 (KHTML, like Gecko) Chrome/25.0.1364.97 Safari/537.22" "-"
77.41.97.207 - - [24/Feb/2013:05:06:53 +0100] "GET /all/640 HTTP/1.1" 200 14816 "http://joyreactor.cc/all/639" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.22 (KHTML, like Gecko) Chrome/25.0.1364.97 Safari/537.22" "-"

То есть, раз в 30 секунд методично запрашивает следующую страницу в бездне. На этом куске он дошёл до 640ой страницы.

Проверяю топ 500 ипов - все такие. Но у конца списка количетсво просмотров не 700, а около 250. Смотрю что вообще делал пользователь вначале - вполне законная деятельность. Зашёл на главную, почитал комменты, поголосовал за посты. И дальше вдруг нормальная деятельность заканчивается и он начинает одну страницу за другой запрашивать раз в 30 секунд.

Следующая гипотеза - может вирусня какая на реакторе. Чувак заражается ей и начинает досить реактор.
koka koka 24.02.201314:25 ответить ссылка 1.1
OKAY
уже все знают как отличить бота от реала.
Надо будет дописать бота, чтобы картинки тоже запрашивал
c1615253 c1615253 25.02.201313:52 ответить ссылка -0.1
выбираю несколько ипов. Смотрю последние действия перед "заражением" - ничего совпадающего нет.

И тут меня осеняет. У всех, кого я грепал, браузер был хром. Хром поддерживает пререндер. Когда заходишь на страницу /all/5 - то внутри есть спец.тег, говорящий хрому что следующая страница /all/6. Он её сразу загружает в невидимый таб и когда ты нажимаешь дальше - он просто переключает табы. Но почему-то хром не остановился на загрузке только /all/6 и решил загрузить следующую страницу и для этой - /all/7 и т.д.

В итоге получалось так: пользователь заходит на реактор. Немного лазит по нему. Переключается на другую вкладку (или уходит спать). В это время хром не покладая табов грузит страницы одну за другой с интервалом в 30 секунд.

Убрал эту фичу - сразу и нагрузка спала, и количество просмотров =)
koka koka 24.02.201314:32 ответить ссылка 1.2
ну и последняя пикча - как стало после этой мега-оптимизации =)
Просмотров в минуту
I_
koka koka 24.02.201314:34 ответить ссылка 3.3
Прикольно. Особенно на лимитированных тарифах и на радио :)
Кстати, убрал бы адрема из поста, вдруг спалят человека, что он вместо работы на реакторе сидит :)
я думаю в 5 утра можно и на реакторе посидеть, гг =)
koka koka 24.02.201314:53 ответить ссылка 0.0
Не все в 5 утра не работают)
Сейчас эту тему читает тип который очень разбирается в этом вопросе. Ждем его профффесионального заключения.
Ishto Ishto 24.02.201317:24 ответить ссылка 0.3
Он сказал - "Мда.." - и на этом проффесор закончил. Агонь потух моментально.
Ishto Ishto 24.02.201319:04 ответить ссылка 0.0
фигассе он читал 40 минут это =)
koka koka 24.02.201319:09 ответить ссылка 0.0
Я с ним долго спорил. Он настаивал что это фича хрома, я же говорил, что это баг.
Ishto Ishto 24.02.201323:44 ответить ссылка 0.2
ну prerender - это фича хрома. А то, что он раз в 30 секунд начал запрашивать следующую страницу - явная бага =)
koka koka 24.02.201323:49 ответить ссылка 0.3
Всё гораздо круче. Этот тип эту тему и написал!
аааа. Сейчас вконтакт тормозит на отдачу картинок. Я задумался - а не та ли проблема у них, что и у меня был. Захожу в их статистику лирушки - и вижу совершенно то же самое =)
koka koka 24.02.201319:43 ответить ссылка 0.4
cool story bro tell it again
shlyapa shlyapa 24.02.201319:53 ответить ссылка -0.1
Написал им?
смысла им писать мало. Пока я буду пробиваться через саппорт 1го уровня, они уже сами догадаются и поправят =). Судя по текущему графику посещаемости, уже поправили.
koka koka 25.02.201311:54 ответить ссылка 0.0
Хрому уже написал?
да, только что написал. Но там похоже какая-то эвристика глючит. Я на тестовом не смог это воспроизвести.
koka koka 24.02.201320:39 ответить ссылка 0.0
Пробуй, авось получиться. Кстати они там бабки за баги не платят? :D
Ishto Ishto 24.02.201321:43 ответить ссылка 0.0
они бабки платят только за security-баги.
koka koka 24.02.201321:47 ответить ссылка 0.2
Хех, никогда бы не подумал, что хром может так подглючивать :) Было бы интересно поковырять minimal working example.
drakmail drakmail 25.02.201300:28 ответить ссылка 0.0
ну, гугль все рассчитывает на тех, у кого нормальный тырнет(те не на нашу страну), тч они могу просто положить большой и толстый и сказать, что все так и задумывалось.
предазгрузка одной страницы - да, нормально. Но зачем загружать 1000 страниц? Если он ещё и сохраняет их в памяти - то явно всё в своп уйдёт на 100ой странице.
Если не сохраняет - то зачем вообще это загружать, если пользователь никогда не посмотрит их?
koka koka 25.02.201309:34 ответить ссылка 0.1
Вы свой опенсорс будете допиливать?
itskun itskun 25.02.201308:23 ответить ссылка 0.0
я - нет. Этим опенсорсом занимается грофер и он забил похоже
koka koka 25.02.201309:05 ответить ссылка 0.0
Чем статистику собираешь?
всё просто и прозаично - http://www.liveinternet.ru/stat/joyreactor.ru/ =)
koka koka 25.02.201309:34 ответить ссылка 0.1
ленивый
Хотел написать псто, но руки не доходили заняться исследованием проблемы. В общем со вчерашнего дня (я это связываю с разбиением nginx на 2) реактор стал себя вести очень не очень, по крайней мере в опере.
Суть такова. Я запрашиваю страницу, сервак отдает очень быстро аватары и собственно сам html, а вот картинки грузятся через раз, какие-то грузятся, какие-то нет вообще. Помогает только обновление страницы целиком. Такое наблюдается только в час пик. И по-моему соединение на запрос картинки просто висит (не закрывается). Такой вывод я сделал, открыв дубликат вкладки, и обновив его. Первая вкладка автоматически отобразила картинки.
BoxAtBox BoxAtBox 25.02.201309:50 ответить ссылка 0.0
да, это из-за хрени, которую я выше рассказывал. Сегодня в час пик должно быть всё ок.
koka koka 25.02.201309:57 ответить ссылка 0.0
Ок. Гляну сегодня вечерком что к чему.
omfg, opera
Именно, а что тебя так удивляет?
никогда не видел людей которые добровольно в этом браузере сидят
Это потому что ты не пробовал на нем сидеть, особенно когда у тебя открыты десятки вкладок. У меня например установлен и хром, и фф, но основным браузером является опера. Хром тормознут и неудобен. ФФ либо быстр и неудобен, либо тормознут и удобен.
Единственный минус - то что верстальщики часто забивают на оперу, и бывают проблемы, но это решается другим браузером для пары сайтов.
Кстати опера теперь планирует использовать вебкит и v8, что устранит её последние недостатки как браузера лично для меня.
странно у меня реконк и хром отлично работают, хром хоть и страдает кучей недостатков, хотя бы самый производительный
фх под линуксами выглядит убого, ну и со своими технологиями, как и опера, дотягивает до места в музее
верстальщики не просто так забивали на браузер, возможно из-за его доли и главное из-за поддержки стандартов
верстать отдельно под пару лишних браузеров сомнительное удовольствие
Доля браузера норгов на дэсктопе 1-2%. Ясное дело они забили ) Учитывая что у рук-ва последние 10 лет в голове только тараканы - они свой рынок упустили. В этом и причина. А поддержка стандартов на довольно высоком уровне, дело точно не в них, там разница уже в мелочах на уровне свежих драфтов спецификаций.
faiwer faiwer 25.02.201310:55 ответить ссылка 0.0
доля оперы в мобильном сегменте была очень внушающая
мой знакомый верстальщик наоборот говорит поддержка стандартов у них своя, пилить тонкости не очень хочется
мобильный сегмент это вообще отдельный геморрой )
faiwer faiwer 25.02.201311:53 ответить ссылка 0.0
я тупой басист^W программист, никогда не сталкивался с мобильными и даже немного счастлив
пересборка@допиливание софта под свой н900 не в счёт)
Что за реконк? Под линуксами сидел последний раз давно, и опера там была ужасная (по сравнению с тем же фф). А верстальщики забивали на браузер исключительно из-за доли браузера среди всех остальных. Стандарты опера блюдет на пару порядков лучше чем тот же самый IE, и как правило все работает без каких-либо изменений в верстке. Это я из собственного опыта, т.к. отдельно править под оперу мне приходилось крааайне редко. Основной же "траходром" с IE.

Так что на данный момент для меня на винде оптимальный браузер - Опера.
В смысле ужасная? Точно такая же. Последние 3 года точно.
faiwer faiwer 25.02.201311:01 ответить ссылка 0.0
Такая же. До тех пор пока ты не начинаешь ей пользоваться вплотную. Мало того что выходит ни капли не шустрее фф, так еще с багами. В 90% случаев это гуевые баги при работе с вкладками, и в окнах настройки. Если в настройки лазаешь редко, то баги с вкладками дико бесят. Алсо она не шустрее фф была у меня. Так что под убунтой я не видел смысла сидеть в опере.
Пользуюсь ею вплотную на debian-based дистрибутивах уже 3-ий год. Единственная проблема - flash тормозит сильно, но обновив ПК на порядок, теперь хватает. Ещё из гуёвых багов - нельзя отключать крестики на вкладках. Всё. Других проблем нет. Активнее пользоваться оперой тупо нереально, итак всё время в ней :)
faiwer faiwer 25.02.201311:18 ответить ссылка 0.0
Года два назад я последний раз пробовал её на убунте (10-ой если мне не изменяет память), и было именно так, как я описал. При этом на этом же железе под виндой все было отлично. Может быть проблема была не в опере, а в окружении (хотя я сомневаюсь), а может быть какая-то не стабильная версия оперы была. Но факт один, мне не понравилось. Но спасибо за информацию, если сяду на линукс снова - обязательно опробую оперу снова.
специально сравнивал флеш на нетбуке в хроме и фх - в хроме явно допиленный флеш, скорее всего в опере положение дел такое же как и в фх
реконк - легкий браузер на qt/webkit пилится в кедах
опера, да, на линуксах выглядела не фонтан, желания смотреть вообще нет
повторюсь знакомый верстальщик наоборот жаловался на оперу и их своё видение стандартов, про ие эт отдельный стёб:)
Все, с чем я сталкивался при проблеме с версткой в опере - было по моему собственном недосмотру. То clear:both забуду, то еще что-то, и все проблемы решались внимательным чтением w3schools.com. Т.е. по факту это не опера криво отображала, а фф/хром спускали все мне все с рук. В отличие от IE, который просто делал все по другому, и фактически приходилось верстать дважды.
что может превратить её в очередной клон хромиума, и придётся переходить на тормо-файрфокс =)
faiwer faiwer 25.02.201310:53 ответить ссылка 0.0
Посмотрим. Как сказал товарищ pepelsbey: "Атмосфера как в палате, где делают операцию по пересадке сердца. Нервная, но оптимистичная."
Я надеюсь что они смогут перенести все сильные стороны оперы.
Нас довольно дохуя. Посмотри тему про переход оперы на вебкит, там over1000 комментов нытья про то, что православная опера скатится до хрома и все умрут =( Я 1 из них, ибо не вижу никаких альтернатив опере на данный момент =(
faiwer faiwer 25.02.201310:52 ответить ссылка 0.0
забыл уточнить - тему на хабре =)
faiwer faiwer 25.02.201310:53 ответить ссылка 0.0
ну нытьё всегда присутствует в любой теме, недовольных сложно отменить, с другой стороны сложно этим что-то оценить
врядли вы что-то почувствуете, кроме того что сайты стали быстрее/медленее работать
в 2013 году пилить свои html/js движки немного накладно и врядли кто-то оценит
Как ты думаешь, почему некоторые web-айтишники используют оперу? За продуманность и гибкость интерфейса, сочетающуюся с большой скоростью работы. Первое при переносе может превратиться в пыль, соответственно, я боюсь, что я не просто замечу это сразу, как заметил бы слонёнка на своей кровати, но и мне тупо придётся забить на этот браузер и переходить на Firefox (он в отличии от хрома довольно гибконастраивается, взять тот же TabMix Pro).
faiwer faiwer 25.02.201311:04 ответить ссылка 0.0
То, что пилить свой двиг накладно я понимаю. Рынок диктует свои правила, всегда есть пострадавшие.
faiwer faiwer 25.02.201311:05 ответить ссылка 0.0
дополнения в фхе раньше были плюсом, сейчас это что-то отваливающееся при каждом релизе
я не считаю что пользуют браузер из-за каких-то мега фич, скорее всего это тупо статистика
Ясное дело. Большинство пользуются тем или иным браузером по инерции или рекомендации. Единицы делают это исходя из десятка требований. Я из последних, потому для меня есть сущ-ая разница между ними :) Потому пострадавших выше - немного, и на доле на рынке это сильно не скажется. С этим не спорю.
faiwer faiwer 25.02.201312:05 ответить ссылка 0.0
ну а тебе рано или поздно придётся пересмотреть свои взгляды на браузеры
вообще самое простое для среднего ойтишника - залезть под капот открытым браузерам, поковырять движки и юай, найти наименее мерзкий и остановится
надеюсь, что геко(движок огнелиса) постигнет судьба оперы
забыл добавить
аминь:)
Бог ты мой... залезть под капот и поковырять движки. Это сейчас была шутка такая? В чем заключается простота, и зачем туда вообще среднему айтишнику лезть? Я например никогда опенсорсный софт не ковыряю просто так, потому что ковырять опенсорс - это не 5-ти минутная забава, и делаю я это исключительно тогда, когда мне надо самому реализовать что-то подобное.
не 5и минутная да, но.. разве не будешь лучше понимать как что-то работает, пока не поковыряешь?
разве нет кайфа от того что начинаешь понимать лучше механизмы работы
допустим если ты верстальщик, то разобрался с парсером цсс свойств, начал лучше их писать

ну может быть примеры не очень адекватные, например, опенсорс в который я лезу эт - кде/qt/что-нибудь окололинуксовое, хотя бы такое https://gitorious.org/kfilebox

смотреть чтобы реализовывать по-своему где-то, да удобно, но мне ближе чинить, добавлять фичи, а не писать своё с нуля
Хром для ушлепков и задротов
Юзайте оперу или мозиллу
horniest horniest 25.02.201310:02 ответить ссылка -1.6
ПОШЕЛ НАХУЙ, МРАЗЬ! ГУГЛ ЭТО ВЕРШИНА БРАУЗЕРОСТРОЕНИЯ! ПРОДУКТ КОМПАНИИ ПРАКТИЧЕСКИ СОЗДАВШЕЙ ИНТЕРНЕТ! НЕ ОРИ МНЕ ПРО НЕТСКЕЙП - МНЕ ПОХУЙ, - Я ГУГЛОДРОЧЕР.
Баклан ты, а не админ. Открой уже наконец для себя async флаг монтирования если ufs. Ну про aio и модули nginx вообще молчу, но там всё строго экспериментально.
Dr_Quake Dr_Quake 25.02.201310:55 ответить ссылка -0.5
Баклан ты, а не читатель. Сконцентрируйся и попробуй определить по моему рассказу какая ОС на серверах.
koka koka 25.02.201311:02 ответить ссылка 0.0
и какой вообще отношение async имеет к этому топику? =)
koka koka 25.02.201311:04 ответить ссылка 0.0
Похоже из-за этого хром отожрал столько памяти что все начало тормозить. А я думал это останется загадкой.
Resft Resft 25.02.201320:53 ответить ссылка 0.0
пиши еще, очень интерестны все технические нюансы
Только зарегистрированные и активированные пользователи могут добавлять комментарии.
Похожие темы

Похожие посты