Re: про БД

> Вот и мне показалось, что не факт, что стоит пихать сырые данные в
> базу. Как вариант, можно лить их в scribe или flume, оттуда заливать в
> hive/pig, обрабатывать периодически и обновлять summary tables,
> специфичные для ваших запросов. Эти таблицы можно складывать в

Таких запросов есть и для них будут summary tables. Но 100% будут
запросы, которые нужны раз в месяц-год и предугадать их невозможно.
Собственно суть это всего барахла в том, чтобы увидеть то, чего ещё
никто не видел и раскопать то, что никто не раскапывал... Его точно
есть и много. Т.е. сырые данные всё равно потребуются. Возможно с
всякими фокусами, типа хранения не всех данных, только тех, что
выходят за "дельту" и т.п.
Но 100% - придётся делать распределённое хранение. Благо характер
данных позволяет. Без этого никак.

> мускули, постгресы, hbase или еще куда-нить. Нагрузка там будет сильно
> меньше.
>
Т.е. в стороны всяких redis, couchdb и прочего смотреть смысла всё
равно нет, т.к. придумать нормальных ключей не получится? или есть
варианты?
Может бывают базы с простыми таблицами, супершустрыми индексами, но
не умеющими, к примеру, вложенных запросов. Как утрированный пример -
RRD (но RRD дохнет, если нужно в 100 файлов писать). Или Cache, как
подсказывали выше, но у Cache нет opensource-версии...
Практически все запросы в данной системе сводятся к таким: "выбрать
диапазон данных за такой-то интервал времени, где значения поля Х
равно (больше, меньше) заданному значению). Даже подсчёт сумм, средних
и т.п. можно считать на стороне клиента.

--
--
Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы "RubyOnRails to russian" на группах Google.
FAQ группы находится по адресу: http://ru.wikibooks.org/wiki/RubyFAQ

Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
ror2ru@googlegroups.com
Чтобы отменить подписку на эту группу, отправьте сообщение по адресу: ror2ru-unsubscribe@googlegroups.com
Дополнительные варианты находятся на странице группы http://groups.google.com/group/ror2ru?hl=ru