Re: nosql - кто что использует

Дублирование включено - 3x. Cеть у нас везде гигабитная. Сеть на одном
из ящиков: https://img.skitch.com/20110704-bhqikh9r7k2qbhhdqcb477s863.jpg
Насчет "чувствуется" тут все просто: от скорости сети (именно скорости
передачи данных) зависит скорость отдачи клиенту холодных данных. Если
данных относительно немного и они помещаются в кеш hbase-кластера
(размер его = сумма кешей всех ящиков), то все упирается в сам hbase,
если данных много и они холодные (их нужно достать с диска), то все
упирается в чтение с hdfs, которое происходит по сети.

2011/7/4 Nikolay Grebnev <nikolaygrebnev@gmail.com>:
> Дублирование содержимого включено? И  сколько раз - 2 или больше?
> Как я помню, hadoop требуется гигабитная сеть. Это реально чуствуется?
> Какая нагрузка на сеть идет?
>
> 2011/7/3 Oleksiy Kovyrin <alexey@kovyrin.net>:
>> hbase, 10Tb, храним текстовые блобы (один тип данных), которые
>> достаются по PK и статистику разнообразную типа гуглоаналитикса
>> (второй тип данных), которая достается range scan'ами. M/R
>> используется ежедневно чтобы обновить статистику (из hive пересчитать
>> все и сложить в hbase). Количество серверов - 8 (master + 7
>> data-ящиков). Впечатления: забываю постоянно о том, что кластер этот
>> вообще у нас есть. Льем данные туда, читаем, когда нужно - досыпаем
>> железа :-)
>>
>> 2011/7/3 Nikolay Grebnev <nikolaygrebnev@gmail.com>:
>>> Добрый день.
>>> Сейчас думаю над структурой нового проекта, и напрашивается использование
>>> nosql решения. Но глаза разбегаются.
>>> Предлагаю поделиться друг с другом, кто какие вещи использует.
>>> Желательно с
>>>     описанием для чего
>>>     используются ли встроенные навороты типа map/reduce
>>>     кол-во серверов
>>>     объем данных
>>>     нагрузка
>>>     какие проблемы были
>>>     впечатления
>>> Разумеется, отзыв типа "couchdb - 5 гигов, все зашибись" тоже очень
>>> интересен.
>>> Также если у кого-то есть ссылки со статьями как разрабатывать приложения с
>>> nosql - просьба прислать. Где-то видел шикарную статью как разрабатывать в
>>> nosql спускаясь от разработки к хранению данных, а не как обычно в
>>> реляционных моделях (от структуры данных выше к приложению)
>>> Николай.
>>> PS
>>> Первый отзыв - у нас пока ничего интересного в проектах нет - только
>>> memcachedb + memcache. Данных немного, проблем нет )))
>>>
>>> --
>>> --
>>> Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы
>>> "RubyOnRails to russian" на группах Google.
>>> FAQ группы находится по адресу: http://ru.wikibooks.org/wiki/RubyFAQ
>>>
>>> Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
>>> ror2ru@googlegroups.com
>>> Чтобы отменить подписку на эту группу, отправьте сообщение по адресу:
>>> ror2ru-unsubscribe@googlegroups.com
>>> Дополнительные варианты находятся на странице группы
>>> http://groups.google.com/group/ror2ru?hl=ru
>>
>>
>>
>> --
>> Oleksiy Kovyrin
>> http://kovyrin.net/
>>
>> --
>> --
>> Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы "RubyOnRails to russian" на группах Google.
>> FAQ группы находится по адресу: http://ru.wikibooks.org/wiki/RubyFAQ
>>
>>  Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
>> ror2ru@googlegroups.com
>>  Чтобы отменить подписку на эту группу, отправьте сообщение по адресу: ror2ru-unsubscribe@googlegroups.com
>>  Дополнительные варианты находятся на странице группы http://groups.google.com/group/ror2ru?hl=ru
>
> --
> --
> Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы "RubyOnRails to russian" на группах Google.
> FAQ группы находится по адресу: http://ru.wikibooks.org/wiki/RubyFAQ
>
>  Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
> ror2ru@googlegroups.com
>  Чтобы отменить подписку на эту группу, отправьте сообщение по адресу: ror2ru-unsubscribe@googlegroups.com
>  Дополнительные варианты находятся на странице группы http://groups.google.com/group/ror2ru?hl=ru

--
Oleksiy Kovyrin
http://kovyrin.net/

--
--
Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы "RubyOnRails to russian" на группах Google.
FAQ группы находится по адресу: http://ru.wikibooks.org/wiki/RubyFAQ

Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
ror2ru@googlegroups.com
Чтобы отменить подписку на эту группу, отправьте сообщение по адресу: ror2ru-unsubscribe@googlegroups.com
Дополнительные варианты находятся на странице группы http://groups.google.com/group/ror2ru?hl=ru