четверг, 18 августа 2011 г.

Re: nosql - кто что использует

Мы сейчас для хранения превьюшех файлов используем mongodb + gridfs,
раздаем их nginx прямо из gridfs. Проблема маштабируемости решается
средствами mongodb. В связке с carrierwave впечатления в целом -
положительные.

On Aug 18, 4:56 pm, Nikolay Grebnev <nikolaygreb...@gmail.com> wrote:
> Алексей, еще вопросы по Вашему использованию, если можно  :)
>
> Какого размера текстовые блобы? Примерное клиечество (10 млн/100 млн/1
> миллиард)? Используется для "хранения" (только запись архивная), или для
> чтения и выплевывания клиенту, насколько оперативно это работает, нет ли
> задержек?
>
> Просто думаю, а не запихать ли в базу картинки - а то с файловой системой
> как-то не особо нравится работать становится, тк картинок сейчас примерно 10
> млн. Думаю использовать связку nginx + squid (который будет кешировать
> наиболее часто требуемые картинки - те если есть у него то выплевываем
> клиенту, а если нет тогда уже лезем в hbase).
> Но вот начал читать , и народ в массе как-то не особо радуется запихиванию
> картинок в hbase, и больше напирает что если уж надо, то тогда лучше хранить
> просто в hdfs
>
> 2011/7/3 Oleksiy Kovyrin <ale...@kovyrin.net>
>
>
>
>
>
>
>
> > hbase, 10Tb, храним текстовые блобы (один тип данных), которые
> > достаются по PK и статистику разнообразную типа гуглоаналитикса
> > (второй тип данных), которая достается range scan'ами. M/R
> > используется ежедневно чтобы обновить статистику (из hive пересчитать
> > все и сложить в hbase). Количество серверов - 8 (master + 7
> > data-ящиков). Впечатления: забываю постоянно о том, что кластер этот
> > вообще у нас есть. Льем данные туда, читаем, когда нужно - досыпаем
> > железа :-)
>
> > 2011/7/3 Nikolay Grebnev <nikolaygreb...@gmail.com>:
> > > Добрый день.
> > > Сейчас думаю над структурой нового проекта, и напрашивается использование
> > > nosql решения. Но глаза разбегаются.
> > > Предлагаю поделиться друг с другом, кто какие вещи использует.
> > > Желательно с
> > >     описанием для чего
> > >     используются ли встроенные навороты типа map/reduce
> > >     кол-во серверов
> > >     объем данных
> > >     нагрузка
> > >     какие проблемы были
> > >     впечатления
> > > Разумеется, отзыв типа "couchdb - 5 гигов, все зашибись" тоже очень
> > > интересен.
> > > Также если у кого-то есть ссылки со статьями как разрабатывать приложения
> > с
> > > nosql - просьба прислать. Где-то видел шикарную статью как разрабатывать
> > в
> > > nosql спускаясь от разработки к хранению данных, а не как обычно в
> > > реляционных моделях (от структуры данных выше к приложению)
> > > Николай.
> > > PS
> > > Первый отзыв - у нас пока ничего интересного в проектах нет - только
> > > memcachedb + memcache. Данных немного, проблем нет )))
>
> > > --
> > > --
> > > Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы
> > > "RubyOnRails to russian" на группах Google.
> > > FAQ группы находится по адресу:http://ru.wikibooks.org/wiki/RubyFAQ
>
> > > Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
> > > ror2ru@googlegroups.com
> > > Чтобы отменить подписку на эту группу, отправьте сообщение по адресу:
> > > ror2ru-unsubscribe@googlegroups.com
> > > Дополнительные варианты находятся на странице группы
> > >http://groups.google.com/group/ror2ru?hl=ru
>
> > --
> > Oleksiy Kovyrin
> >http://kovyrin.net/
>
> > --
> > --
> > Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы
> > "RubyOnRails to russian" на группах Google.
> > FAQ группы находится по адресу:http://ru.wikibooks.org/wiki/RubyFAQ
>
> >  Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
> > ror2ru@googlegroups.com
> >  Чтобы отменить подписку на эту группу, отправьте сообщение по адресу:
> > ror2ru-unsubscribe@googlegroups.com
> >  Дополнительные варианты находятся на странице группы
> >http://groups.google.com/group/ror2ru?hl=ru

--
--
Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы "RubyOnRails to russian" на группах Google.
FAQ группы находится по адресу: http://ru.wikibooks.org/wiki/RubyFAQ

Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
ror2ru@googlegroups.com
Чтобы отменить подписку на эту группу, отправьте сообщение по адресу: ror2ru-unsubscribe@googlegroups.com
Дополнительные варианты находятся на странице группы http://groups.google.com/group/ror2ru?hl=ru

Комментариев нет:

Отправить комментарий