Re: про БД

Вот и мне показалось, что не факт, что стоит пихать сырые данные в
базу. Как вариант, можно лить их в scribe или flume, оттуда заливать в
hive/pig, обрабатывать периодически и обновлять summary tables,
специфичные для ваших запросов. Эти таблицы можно складывать в
мускули, постгресы, hbase или еще куда-нить. Нагрузка там будет сильно
меньше.

2011/6/24 alexey.petrushin <alexey.petrushin@gmail.com>:
> Если уже и так прийдется использовать map-reduce -  то моожно вообще
> обойтись без БД. Пишите входяший поток как логи в HDFS (например
> сначала в буфер оперативной памяти, и как наберется например 100мб
> сохранять на HDFS). А потом просто по всему массиву запустить map-
> reduce (ну или не по всему а по последним логам, если добавить дату в
> название файла). А для анализа Hive / Pig
>
> Но руби тут как таковой особо не нужен.
>
> On Jun 23, 3:08 pm, Сергей Жуматий <sergz...@gmail.com> wrote:
>> > наверное что то типа map reduce
>>
>>   Это само собой. Hadoop уже прикрутили к прототипу. НО. Тут может
>> быть 3-4 "уровня" map-reduce. Например, надо выбрать статистику сбоев
>> памяти за месяц, потом по тем серверам, где сбои были выше заданного
>> порога собрать данные по загрузке и там где она выше выдать список
>> задачек, которые на них считались.
>>   Пример утрирован, но реальные запросы примерно такие. Боюсь, что map-
>> reduce надо будет изобретать самому, т.к. Hadoop уж очень медлителен и
>> всё пишет на диск сначала... Пока самое узкое и непонятное место - БД.
>
> --
> --
> Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы "RubyOnRails to russian" на группах Google.
> FAQ группы находится по адресу: http://ru.wikibooks.org/wiki/RubyFAQ
>
>  Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
> ror2ru@googlegroups.com
>  Чтобы отменить подписку на эту группу, отправьте сообщение по адресу: ror2ru-unsubscribe@googlegroups.com
>  Дополнительные варианты находятся на странице группы http://groups.google.com/group/ror2ru?hl=ru

--
Oleksiy Kovyrin
http://kovyrin.net/

--
--
Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы "RubyOnRails to russian" на группах Google.
FAQ группы находится по адресу: http://ru.wikibooks.org/wiki/RubyFAQ

Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
ror2ru@googlegroups.com
Чтобы отменить подписку на эту группу, отправьте сообщение по адресу: ror2ru-unsubscribe@googlegroups.com
Дополнительные варианты находятся на странице группы http://groups.google.com/group/ror2ru?hl=ru