обойтись без БД. Пишите входяший поток как логи в HDFS (например
сначала в буфер оперативной памяти, и как наберется например 100мб
сохранять на HDFS). А потом просто по всему массиву запустить map-
reduce (ну или не по всему а по последним логам, если добавить дату в
название файла). А для анализа Hive / Pig
Но руби тут как таковой особо не нужен.
On Jun 23, 3:08 pm, Сергей Жуматий <sergz...@gmail.com> wrote:
> > наверное что то типа map reduce
>
> Это само собой. Hadoop уже прикрутили к прототипу. НО. Тут может
> быть 3-4 "уровня" map-reduce. Например, надо выбрать статистику сбоев
> памяти за месяц, потом по тем серверам, где сбои были выше заданного
> порога собрать данные по загрузке и там где она выше выдать список
> задачек, которые на них считались.
> Пример утрирован, но реальные запросы примерно такие. Боюсь, что map-
> reduce надо будет изобретать самому, т.к. Hadoop уж очень медлителен и
> всё пишет на диск сначала... Пока самое узкое и непонятное место - БД.
--
--
Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы "RubyOnRails to russian" на группах Google.
FAQ группы находится по адресу: http://ru.wikibooks.org/wiki/RubyFAQ
Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
ror2ru@googlegroups.com
Чтобы отменить подписку на эту группу, отправьте сообщение по адресу: ror2ru-unsubscribe@googlegroups.com
Дополнительные варианты находятся на странице группы http://groups.google.com/group/ror2ru?hl=ru
Комментариев нет:
Отправить комментарий