пятница, 24 июня 2011 г.

Re: про БД

Хе-хе, только наверно все это займет раз в 10 больше времени чем
обычные "легкие" решения :)

On Jun 24, 9:29 pm, "alexey.petrushin" <alexey.petrus...@gmail.com>
wrote:
> Если уже и так прийдется использовать map-reduce -  то моожно вообще
> обойтись без БД. Пишите входяший поток как логи в HDFS (например
> сначала в буфер оперативной памяти, и как наберется например 100мб
> сохранять на HDFS). А потом просто по всему массиву запустить map-
> reduce (ну или не по всему а по последним логам, если добавить дату в
> название файла). А для анализа Hive / Pig
>
> Но руби тут как таковой особо не нужен.
>
> On Jun 23, 3:08 pm, Сергей Жуматий <sergz...@gmail.com> wrote:
>
>
>
>
>
>
>
> > > наверное что то типа map reduce
>
> >   Это само собой. Hadoop уже прикрутили к прототипу. НО. Тут может
> > быть 3-4 "уровня" map-reduce. Например, надо выбрать статистику сбоев
> > памяти за месяц, потом по тем серверам, где сбои были выше заданного
> > порога собрать данные по загрузке и там где она выше выдать список
> > задачек, которые на них считались.
> >   Пример утрирован, но реальные запросы примерно такие. Боюсь, что map-
> > reduce надо будет изобретать самому, т.к. Hadoop уж очень медлителен и
> > всё пишет на диск сначала... Пока самое узкое и непонятное место - БД.

--
--
Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы "RubyOnRails to russian" на группах Google.
FAQ группы находится по адресу: http://ru.wikibooks.org/wiki/RubyFAQ

Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
ror2ru@googlegroups.com
Чтобы отменить подписку на эту группу, отправьте сообщение по адресу: ror2ru-unsubscribe@googlegroups.com
Дополнительные варианты находятся на странице группы http://groups.google.com/group/ror2ru?hl=ru

Комментариев нет:

Отправить комментарий