Какого размера текстовые блобы? Примерное клиечество (10 млн/100 млн/1 миллиард)? Используется для "хранения" (только запись архивная), или для чтения и выплевывания клиенту, насколько оперативно это работает, нет ли задержек?
Просто думаю, а не запихать ли в базу картинки - а то с файловой системой как-то не особо нравится работать становится, тк картинок сейчас примерно 10 млн. Думаю использовать связку nginx + squid (который будет кешировать наиболее часто требуемые картинки - те если есть у него то выплевываем клиенту, а если нет тогда уже лезем в hbase).
Но вот начал читать , и народ в массе как-то не особо радуется запихиванию картинок в hbase, и больше напирает что если уж надо, то тогда лучше хранить просто в hdfs
2011/7/3 Oleksiy Kovyrin <alexey@kovyrin.net>
hbase, 10Tb, храним текстовые блобы (один тип данных), которые
достаются по PK и статистику разнообразную типа гуглоаналитикса
(второй тип данных), которая достается range scan'ами. M/R
используется ежедневно чтобы обновить статистику (из hive пересчитать
все и сложить в hbase). Количество серверов - 8 (master + 7
data-ящиков). Впечатления: забываю постоянно о том, что кластер этот
вообще у нас есть. Льем данные туда, читаем, когда нужно - досыпаем
железа :-)
2011/7/3 Nikolay Grebnev <nikolaygrebnev@gmail.com>:
> --> Добрый день.
> Сейчас думаю над структурой нового проекта, и напрашивается использование
> nosql решения. Но глаза разбегаются.
> Предлагаю поделиться друг с другом, кто какие вещи использует.
> Желательно с
> описанием для чего
> используются ли встроенные навороты типа map/reduce
> кол-во серверов
> объем данных
> нагрузка
> какие проблемы были
> впечатления
> Разумеется, отзыв типа "couchdb - 5 гигов, все зашибись" тоже очень
> интересен.
> Также если у кого-то есть ссылки со статьями как разрабатывать приложения с
> nosql - просьба прислать. Где-то видел шикарную статью как разрабатывать в
> nosql спускаясь от разработки к хранению данных, а не как обычно в
> реляционных моделях (от структуры данных выше к приложению)
> Николай.
> PS
> Первый отзыв - у нас пока ничего интересного в проектах нет - только
> memcachedb + memcache. Данных немного, проблем нет )))
>
> --Oleksiy Kovyrin
> Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы
> "RubyOnRails to russian" на группах Google.
> FAQ группы находится по адресу: http://ru.wikibooks.org/wiki/RubyFAQ
>
> Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
> ror2ru@googlegroups.com
> Чтобы отменить подписку на эту группу, отправьте сообщение по адресу:
> ror2ru-unsubscribe@googlegroups.com
> Дополнительные варианты находятся на странице группы
> http://groups.google.com/group/ror2ru?hl=ru
--
http://kovyrin.net/
--
--
Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы "RubyOnRails to russian" на группах Google.
FAQ группы находится по адресу: http://ru.wikibooks.org/wiki/RubyFAQ
Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
ror2ru@googlegroups.com
Чтобы отменить подписку на эту группу, отправьте сообщение по адресу: ror2ru-unsubscribe@googlegroups.com
Дополнительные варианты находятся на странице группы http://groups.google.com/group/ror2ru?hl=ru
--
--
Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы "RubyOnRails to russian" на группах Google.
FAQ группы находится по адресу: http://ru.wikibooks.org/wiki/RubyFAQ
Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
ror2ru@googlegroups.com
Чтобы отменить подписку на эту группу, отправьте сообщение по адресу: ror2ru-unsubscribe@googlegroups.com
Дополнительные варианты находятся на странице группы http://groups.google.com/group/ror2ru?hl=ru
Комментариев нет:
Отправить комментарий