Илья Дронов ([info]igrick) wrote,
2011-03-31 11:36:00
  • Previous
  • Memorize
  • Share
  • Next

Как вчера атаковали ЖЖ

Итак, как вы, наверное, вчера заметили, ЖЖ был почти недоступен. Я говорю «почти», потому что пробиться-таки можно было, попытки с 10-й, например, и я даже получил за это время несколько комментариев к своим последним записям. Но сейчас не об этом, а о том, что это была за атака.

  • DDoS начался приблизительно в 16:00 по Москве (около 12:00 UTC), восстановить приемлемую работоспособность, т.е. справиться с проблемой, мы смогли примерно через 7 часов, а сама атака завершилась значительно позже, уже глубокой ночью по Москве;
  • Load Balancer (система, отвечающая за распределение входящей нагрузки) испытывала около 1.2 миллиона одновременных соединений при нашей средневзвешенной норме в 50 000;
  • ЖЖ отдавал 2 Гбита трафика в секунду при средневзвешенной норме в 400 Мбит;
  • ЖЖ обслуживал в десятки раз больше HTTP запросов чем обычно;
  • ЖЖ смог обслужить около 30% трафика, включающего и нормальный, и вредоносный, в пике, т.е. все остальное пришлось отбрасывать;
  • Атака не привела ни к отказу оборудования, ни к нарушению целостности системы, ни к потере какого-либо уже опубликованного контента.

За то время, пока мы боролись с атакой, нам удалось ее систематизировать, выделить вредоносный трафик из нормального, что в итоге дало нам возможность его частично отсечь и восстановить работоспособность системы. При этом, к сожалению, нам пришлось также временно отсечь индексацию ЖЖ различными поисковыми системами, что на данный момент приводит к задержкам в появлении свежих записей в результатах поиска, но данную проблему мы устраним в течение дня.

Также для интересующихся и разбирающихся выкладываю график нагрузки на один из Load Balancer'ов, из которого видно, что через 5 часов после борьбы с проблемой, нам пришлось сдать этот рубеж и бороться уже на втором уровне системы, что в конечном счете дало приемлемые результаты:

Еще из интересного — примерная география распределения атакующих, содержащая около 1 000 случайно выбранных атакующих систем, наложенная на Google Maps:

Скорее всего, подобные ситуации будут повторяться в будущем, но мы к ним теперь гораздо более подготовлены, и можно сказать, что система, которую я описывал в предыдущей записи, вчера прошла боевое крещение, и благодаря ей нам в конечном счете удалось устоять.

Спасибо за ваше терпение, поддержку и понимание.

Tags: жж, жопа, но мы справились

  • Post a new comment

    Error

    switch

    Your reply will be screened

    Your IP address will be recorded 

     
    Help
  • 721 comments
Previous
← Ctrl← Alt
Next
Ctrl →Alt →

[info]_shin_akuma_

March 31 2011, 07:41:34 UTC 1 year ago

вы круты! а на кого была атака так и останется секретом? :)

[info]levinewwave

March 31 2011, 07:47:29 UTC 1 year ago

На Михалкова.

[info]go_0d

1 year ago

  • Loading...

[info]npaholinitchi

1 year ago

  • Loading...

[info]ngs_govno

1 year ago

  • Loading...

[info]npaholinitchi

1 year ago

  • Loading...

[info]ngs_govno

1 year ago

  • Loading...

[info]npaholinitchi

1 year ago

  • Loading...

[info]fallen_trancer

1 year ago

  • Loading...

[info]npaholinitchi

1 year ago

  • Loading...

[info]d3zum9q

1 year ago

  • Loading...

[info]igrick

1 year ago

  • Loading...

[info]creopolis

1 year ago

  • Loading...
...and 8 more comments... from [info]ne_ljubov, [info]udalov_m, [info]kotenok_kuzya… Expand

[info]igrick

1 year ago

  • Loading...

[info]donbidon

1 year ago

  • Loading...

[info]igrick

1 year ago

  • Loading...

[info]donbidon

1 year ago

  • Loading...

Suspended comment

[info]yoshi_62045_

1 year ago

  • Loading...

Suspended comment

[info]gde_kefir

1 year ago

  • Loading...

[info]fallen_trancer

1 year ago

  • Loading...

Suspended comment

[info]d3zum9q

1 year ago

  • Loading...
...and 7 more comments... from [info]zxzxzx2004, [info]melayina, [info]las_kardamon… Expand

[info]sanmai

March 31 2011, 07:41:56 UTC 1 year ago

Спасибо вам за работу и стойкость перед трудностями.

[info]igrick

March 31 2011, 07:51:44 UTC 1 year ago

А вам за терпение!

[info]sashalvovskiy

1 year ago

  • Loading...

[info]eline07

1 year ago

  • Loading...

[info]ko4arughka

March 31 2011, 07:49:28 UTC 1 year ago

DDOS

Ну что ж, будем продолжать...

[info]igrick

March 31 2011, 07:50:43 UTC 1 year ago

Re: DDOS

Атаковать?

[info]ko4arughka

1 year ago

  • Loading...

Deleted comment

[info]ko4arughka

1 year ago

  • Loading...

Deleted comment

[info]ko4arughka

1 year ago

  • Loading...

Deleted comment

[info]ko4arughka

1 year ago

  • Loading...

Deleted comment

[info]ko4arughka

1 year ago

  • Loading...

[info]ruveticus

1 year ago

  • Loading...
...and 24 more comments... from [info]ruveticus, [info]jeka_chatlanin, [info]abvalscheg… Expand

Anonymous

1 year ago

  • Loading...

[info]ko4arughka

1 year ago

  • Loading...

[info]w3c_user

March 31 2011, 07:49:59 UTC 1 year ago

Азия атаковала

[info]waaaagh

March 31 2011, 08:37:27 UTC 1 year ago

атакуют с зараженных компов
вы реально думаете что индусы сидели и вчера вез день пинговали жж?

[info]maxbraun

1 year ago

  • Loading...

[info]old_reader

1 year ago

  • Loading...

[info]astrola_ru

1 year ago

  • Loading...

[info]igrick

1 year ago

  • Loading...

[info]astrola_ru

1 year ago

  • Loading...
...and 2 more comments... from [info]milantezar, [info]vital_se Expand

[info]kuteev

March 31 2011, 07:50:38 UTC 1 year ago

С Японии небось зомби атаковали…

[info]igrick

March 31 2011, 07:51:26 UTC 1 year ago

А думаешь там живых не осталось? Тогда нам что-то не договаривают...

[info]kuteev

1 year ago

  • Loading...

[info]sanmai

1 year ago

  • Loading...

[info]igrick

1 year ago

  • Loading...

[info]adamantane1985

1 year ago

  • Loading...

[info]bazey

1 year ago

  • Loading...

[info]usolt

March 31 2011, 07:50:43 UTC 1 year ago

Давайте скинемся Навальному (или еще там кому) на отдельностоящий сайт, пусть перестанет сидеть в нашей уютной жежешечке =)

[info]igrick

March 31 2011, 07:52:27 UTC 1 year ago

Да что все к Навальному то пристали? Он то тут при чем?

[info]usolt

1 year ago

  • Loading...

[info]igrick

1 year ago

  • Loading...

[info]big_lazy

1 year ago

  • Loading...

[info]e_cat

1 year ago

  • Loading...

[info]igrick

1 year ago

  • Loading...

[info]stety

1 year ago

  • Loading...

[info]ruveticus

1 year ago

  • Loading...

[info]e_cat

1 year ago

  • Loading...

[info]igrick

1 year ago

  • Loading...
...and 6 more comments... from [info]ruveticus, [info]veselyi_gnom, [info]ngs_govno Expand

[info]moya_vojna

1 year ago

  • Loading...
...and 3 more comments... from [info]obi_van_ki_ro, [info]veselyi_gnom, [info]trilirium Expand

[info]go_0d

March 31 2011, 07:53:08 UTC 1 year ago

Досили через Прокси?

[info]barouh

March 31 2011, 08:01:17 UTC 1 year ago Edited:  March 31 2011, 08:01:41 UTC

скорее всего, через зараженные компьютеры

[info]igrick

1 year ago

  • Loading...
...and 5 more comments... from [info]fonudo, [info]noahid, [info]grizoriy… Expand

[info]go_0d

March 31 2011, 07:55:37 UTC 1 year ago

И ведь не одной атаки из России - какое совпадение...

[info]denisanikin

March 31 2011, 08:00:25 UTC 1 year ago

и из ливии!

[info]go_0d

1 year ago

  • Loading...

[info]ruveticus

1 year ago

  • Loading...

[info]lexx2k

1 year ago

  • Loading...

[info]ruveticus

1 year ago

  • Loading...

[info]igrick

1 year ago

  • Loading...
...and 2 more comments... from [info]ngs_govno, [info]adis_71 Expand

[info]leicozit

March 31 2011, 07:56:36 UTC 1 year ago

Молодцы! Продолжайте в том же направлении. Потом выпустите серию книг "Как закалялась ЖЖ":)

[info]delanetmne

March 31 2011, 10:41:59 UTC 1 year ago

или "Как навальный распилил жж"

[info]obi_van_ki_ro

1 year ago

  • Loading...

[info]jabervog

1 year ago

  • Loading...

[info]ruslan_andreev

1 year ago

  • Loading...

Anonymous

1 year ago

  • Loading...

[info]sichkarev

March 31 2011, 08:00:23 UTC 1 year ago

Молодцы. Удачи вам в будущем!

[info]atree

March 31 2011, 12:00:14 UTC 1 year ago

Может и нам? :)

[info]ex_svinonra

March 31 2011, 08:04:42 UTC 1 year ago

вы молодцы

[info]perepelitsyn

March 31 2011, 17:11:37 UTC 1 year ago

... что целый день ЖЖ не работал? Да, профессионалы...

[info]ex_svinonra

1 year ago

  • Loading...

[info]topbloger

March 31 2011, 08:06:25 UTC 1 year ago

Я слышал, что все это из-за того, что теперь в ЖЖ можно заходить через mail.ru - говорят тут ранетки создали сообщество и весь mail.ru ломанулся.

[info]igrick

March 31 2011, 08:14:59 UTC 1 year ago

=)

[info]udalov_m

1 year ago

  • Loading...
...and 2 more comments... from [info]bad_muthafucka, [info]goldren Expand

[info]cyxapb32

March 31 2011, 08:23:22 UTC 1 year ago

А есть ли версии о причинах атаки? Мб можно было выделить какой именно адрес или журнал бомбили?

[info]navalnyy

March 31 2011, 12:34:02 UTC 1 year ago

атака была возмездием за несправедливую замарозку ЖЖ аккаунтов. Чтобы разморозить обычный аккаунт надо месяц ползать на коленях в СУПе.
ДДОС - возмездие ЖЖ.

[info]ciboblame

1 year ago

  • Loading...

[info]navalny.blogspot.com

1 year ago

  • Loading...

[info]veselyi_gnom

1 year ago

  • Loading...

[info]ciboblame

1 year ago

  • Loading...

[info]ruslan_andreev

1 year ago

  • Loading...

[info]pandv_76

1 year ago

  • Loading...

[info]ruslan_andreev

1 year ago

  • Loading...

[info]adeliya_ra

March 31 2011, 08:28:04 UTC 1 year ago

Отличная работа! Вы молодцы! Ура команде ЖЖ!

[info]cyxymu

March 31 2011, 17:57:27 UTC 1 year ago

неплохо справились. до этого когда мои блог первый раз ДДоСили, в октябре 2008, тогда понадобилось полгода чтоб остановить ДДоС. второй раз 2-3 дня и обращение к Медведу. а тут за 7 часов. прогресс!

[info]ruslan_andreev

1 year ago

  • Loading...

[info]cyxymu

1 year ago

  • Loading...

[info]igrick

1 year ago

  • Loading...

[info]cyxymu

1 year ago

  • Loading...

[info]artemdragunov

March 31 2011, 08:29:04 UTC 1 year ago Edited:  March 31 2011, 08:34:31 UTC

Атака была на меня и я знаю откуда и почему:)))

[info]igrick

March 31 2011, 08:50:23 UTC 1 year ago

Рассказывайте скорее уже откуда и почему!

[info]artemdragunov

1 year ago

  • Loading...

[info]dimriyv

1 year ago

  • Loading...

[info]sanmai

1 year ago

  • Loading...

[info]nelson2008

1 year ago

  • Loading...

[info]ivan_kupala

1 year ago

  • Loading...

[info]senseisekai

1 year ago

  • Loading...

[info]creopolis

1 year ago

  • Loading...

[info]navalny.blogspot.com

1 year ago

  • Loading...

[info]creopolis

1 year ago

  • Loading...

[info]navalny.blogspot.com

1 year ago

  • Loading...

[info]creopolis

1 year ago

  • Loading...

[info]gr_ussr

1 year ago

  • Loading...

[info]creopolis

1 year ago

  • Loading...

[info]vaskodagala

1 year ago

  • Loading...

[info]is_numberfive

1 year ago

  • Loading...

[info]max_s1

1 year ago

  • Loading...
...and 5 more comments... from [info]jabervog, [info]ne_kit_kat, [info]navalny.blogspot.com… Expand

[info]frmake

1 year ago

  • Loading...
...and 2 more comments... from [info]alienpuzzle, [info]r_y_b_a_k_o_v Expand

[info]oksana_slk

March 31 2011, 08:36:31 UTC 1 year ago

Оживает похоже

[info]irocez

March 31 2011, 18:08:47 UTC 1 year ago

Скорее реанимируеться.

[info]lissa337

March 31 2011, 08:46:03 UTC 1 year ago

Слава доблестным реаниматорам!

[info]muammar_qaddafi

March 31 2011, 08:46:44 UTC 1 year ago

أعتذر. وأعتقد أن يتم توجيه هذا العمل ضدي.

[info]g_aleksei

March 31 2011, 08:50:33 UTC 1 year ago

Не чего, не понял???? Переводчик есть?

[info]muammar_qaddafi

1 year ago

  • Loading...

[info]g_aleksei

1 year ago

  • Loading...

[info]sanmai

1 year ago

  • Loading...

[info]muammar_qaddafi

1 year ago

  • Loading...

[info]eugraf

1 year ago

  • Loading...

[info]muammar_qaddafi

1 year ago

  • Loading...

[info]nalomenko

1 year ago

  • Loading...

[info]liya_ryzhik

1 year ago

  • Loading...

[info]veselyi_gnom

1 year ago

  • Loading...

[info]nalomenko

1 year ago

  • Loading...

[info]sanmai

1 year ago

  • Loading...

[info]heibert

1 year ago

  • Loading...

[info]asne

1 year ago

  • Loading...

[info]heibert

1 year ago

  • Loading...

[info]asne

1 year ago

  • Loading...

[info]heibert

1 year ago

  • Loading...

[info]asne

1 year ago

  • Loading...

[info]heibert

1 year ago

  • Loading...

[info]irdis

1 year ago

  • Loading...
...and 8 more comments... from [info]ctaryxa, [info]ruveticus, [info]dom3d… Expand

[info]finnskij

March 31 2011, 08:47:02 UTC 1 year ago

В свое время, одна знакомая контора, резко ограничила доступ на свои ресурсы с IP из некоторых стран - Китай, Корея, Пакистан, Индия, Таиланд и так далее, знающим людям весь список известен. Наших там мало, но 80% странного доступа со странными целями от туда было. И пусть живут своей жизнью, нагрузка со спамом, стуком, попытками влезть сразу упала раз в 10. Это, конечно, нехорошо. Но ясно и понятно...

[info]sanmai

March 31 2011, 09:05:33 UTC 1 year ago

Посылаю лучи ненависти таким конторам.

[info]dil

1 year ago

  • Loading...

[info]sanmai

1 year ago

  • Loading...

[info]dil

1 year ago

  • Loading...

[info]kolyuchii

1 year ago

  • Loading...

[info]dil

1 year ago

  • Loading...

[info]bert_msk

1 year ago

  • Loading...

[info]maxbraun

1 year ago

  • Loading...

Anonymous

1 year ago

  • Loading...

[info]irdis

March 31 2011, 08:50:39 UTC 1 year ago

Карта показывает через прокси-сервера каких стран производилась атака.

[info]is_numberfive

March 31 2011, 10:14:28 UTC 1 year ago

ну тока на самом деле проксей не было.

[info]mr_sharikoff

March 31 2011, 08:54:43 UTC 1 year ago

хм, может туда по парочке ядерных ракает пульнуть...так сказать для дезинфекции и профилактики.

[info]eugraf

March 31 2011, 09:26:14 UTC 1 year ago

Точно. Кремль давно надо бы разнести.

[info]artemdragunov

March 31 2011, 08:56:54 UTC 1 year ago

Ну а сейчас, вот в этот самый момент, почему тормозит жж? Продолжаются наезды?

[info]igrick

March 31 2011, 08:58:08 UTC 1 year ago

Идет процесс восстановления и реконфигурации.

[info]g_aleksei

1 year ago

  • Loading...

[info]ruveticus

1 year ago

  • Loading...

[info]igrick

1 year ago

  • Loading...

[info]ruveticus

1 year ago

  • Loading...

[info]igrick

1 year ago

  • Loading...

[info]ruveticus

1 year ago

  • Loading...

[info]igrick

1 year ago

  • Loading...

[info]ruveticus

1 year ago

  • Loading...

Anonymous

1 year ago

  • Loading...

[info]tovarishneo

March 31 2011, 09:06:25 UTC 1 year ago

интересно почему с Ливии никто не атаковал?

[info]imperialcommiss

March 31 2011, 09:06:42 UTC 1 year ago

Вот ссцуки! Кого Ддосили?! Щас мы его назло "хакирами" распиарим! =)

[info]milantezar

March 31 2011, 16:58:24 UTC 1 year ago

imperialcommiss

доносили Навального - много ботов кашеварят ЖЖ

[info]superambo

March 31 2011, 09:09:59 UTC 1 year ago

главный вопрос - повторится ли это и есть ли способы чтобы жто не повторилось?

[info]igrick

March 31 2011, 09:20:56 UTC 1 year ago

Повторится. Есть способы минимизировать потери (в нашем случае время blackout'а) и мы сейчас получили очень ценный опыт и понимание как нам это сделать. С другой стороны и атакующие дремать не будут.

[info]superambo

1 year ago

  • Loading...

[info]igrick

1 year ago

  • Loading...

[info]superambo

1 year ago

  • Loading...

[info]ruveticus

1 year ago

  • Loading...

[info]igrick

1 year ago

  • Loading...

[info]ruveticus

1 year ago

  • Loading...

[info]yalexey

1 year ago

  • Loading...

[info]igrick

1 year ago

  • Loading...

[info]ruveticus

1 year ago

  • Loading...

[info]navalnyy

1 year ago

  • Loading...

[info]igrick

1 year ago

  • Loading...

[info]navalny.blogspot.com

1 year ago

  • Loading...

[info]navalny.blogspot.com

1 year ago

  • Loading...

[info]rw_700

1 year ago

  • Loading...

[info]justplumber

1 year ago

  • Loading...

[info]rw_700

1 year ago

  • Loading...

[info]justplumber

1 year ago

  • Loading...

[info]rw_700

1 year ago

  • Loading...

[info]justplumber

1 year ago

  • Loading...

[info]justplumber

1 year ago

  • Loading...

[info]rw_700

1 year ago

  • Loading...

[info]justplumber

1 year ago

  • Loading...

[info]rw_700

1 year ago

  • Loading...

[info]justplumber

1 year ago

  • Loading...

[info]rw_700

1 year ago

  • Loading...

[info]heibert

1 year ago

  • Loading...

[info]justplumber

1 year ago

  • Loading...

[info]rw_700

1 year ago

  • Loading...

[info]justplumber

1 year ago

  • Loading...

[info]rw_700

1 year ago

  • Loading...

[info]igrick

1 year ago

  • Loading...

[info]igrick

1 year ago

  • Loading...

[info]rw_700

1 year ago

  • Loading...

[info]justplumber

1 year ago

  • Loading...
Previous
← Ctrl← Alt
Next
Ctrl →Alt →
Create an Account
Forgot your login or password?
Facebook Twitter More login options
English • Español • Deutsch • Русский…