Re: про БД

> Если предположить, что одна запись порядка 128 байт, около 8 тыс
> серверов (например, человек из РЖД или из Мосэнерго, или из
> какого-нибудь датацентра), то выходит что порядка 2000 событий в
> секунду дают трафик в 2 гигабайта в секунду.
>
Описался - 3 МБ/сек. Это сейчас и не весь поток. До ГБ, надеюсь, не
дотянет, но... Всё возможно.

> Правда, всё так же непонятно, что же это за задача такая.
>
Задача масштабна - есть тысячи серверов, молотящих данные. Самые
разные, разными объёмами и т.п. Надо уметь понимать есть ли
(потенциальные) проблемы у каждой молотилки и если есть, то примерно
какие. Например - во время этой задачи 50% времени уходит на ожидание
ввода-вывода, у этой - на своппинг, и т.п.
Задача номер раз - снимать всё это так, чтобы не помешать (это
работает), номер два - определять общую картину и очевидные проблемы
на лету (тоже в каком-то виде дышит), номер три - сохранить для
посмертного анализа и четыре - собственно анализировать.
100% в одном месте это хранить нереально. Гораздо меньшие объёмы
данных уже просаживают всё, что можно (но может я не тем пользуюсь).
Т.е. нужна оптимизированная база (быстрые вставки, удаления пачками
раз в сутки) и выборки, о которых я писал выше. А дальше - буду сам
распределять потоки в разные базы и потом делать распределённые
запросы к ним...

> Совершенно точно на один сервер это не записать: нет даже смысла с
> этим возиться.
>
Об этом даже речи нет.

> Когда я предыдущий раз сталкивался с аналитикой на больших объёмах, то
> удивительно неплохо себя показала база данных Caché,
> при заливке в неё пачки турпредложений (а у туроператоров чудовищные
> объёмы информации), вышло что она сходу,
> при отсутствии специалистов и при наличии оракловых специалистов,
> показала в несколько раз лучшие характеристики по записи и чтению.
>
Она свободная? Увы, тут есть условия по лицензиям. Не бесплатное -
именно свободное.

> Впрочем, я бы не стал в этой ситуации советовать какое-то конкретное
> решение, а попробовал бы потеребить кого-нибудь из Яндекса

У них всё самопиленное :)

--
--
Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы "RubyOnRails to russian" на группах Google.
FAQ группы находится по адресу: http://ru.wikibooks.org/wiki/RubyFAQ

Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
ror2ru@googlegroups.com
Чтобы отменить подписку на эту группу, отправьте сообщение по адресу: ror2ru-unsubscribe@googlegroups.com
Дополнительные варианты находятся на странице группы http://groups.google.com/group/ror2ru?hl=ru