> Это какой-то нереальный поток данных. По-моему даже больше, чем от
> телематики при запуске ракетоносителей (там по моему всего порядка 16
> Мб/с). Как мне объясняли, они сохраняют весь трафик - полет
> относительно недолгий, а для вывода статистики делают оперативную
> предобработку. Я не думаю, что какая-то база выдержить такой поток в
> чистом виде. SSD stripe еле-еле дотягивает до таких значений записей.
Если предположить, что одна запись порядка 128 байт, около 8 тыс
серверов (например, человек из РЖД или из Мосэнерго, или из
какого-нибудь датацентра), то выходит что порядка 2000 событий в
секунду дают трафик в 2 гигабайта в секунду.
Правда, всё так же непонятно, что же это за задача такая.
Совершенно точно на один сервер это не записать: нет даже смысла с
этим возиться.
Когда я предыдущий раз сталкивался с аналитикой на больших объёмах, то
удивительно неплохо себя показала база данных Caché,
при заливке в неё пачки турпредложений (а у туроператоров чудовищные
объёмы информации), вышло что она сходу,
при отсутствии специалистов и при наличии оракловых специалистов,
показала в несколько раз лучшие характеристики по записи и чтению.
Впрочем, я бы не стал в этой ситуации советовать какое-то конкретное
решение, а попробовал бы потеребить кого-нибудь из Яндекса
(их гораздо проще спросит, чем кого-то ещё с таким же опытом), как они
хранят и обрабатывают свои логи.
Но у них скорее всего самописное решение
--
--
Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы "RubyOnRails to russian" на группах Google.
FAQ группы находится по адресу: http://ru.wikibooks.org/wiki/RubyFAQ
Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
ror2ru@googlegroups.com
Чтобы отменить подписку на эту группу, отправьте сообщение по адресу: ror2ru-unsubscribe@googlegroups.com
Дополнительные варианты находятся на странице группы http://groups.google.com/group/ror2ru?hl=ru
Комментариев нет:
Отправить комментарий