Re: nosql - кто что использует

Алексей, добрый день.

У нас не работает scan через thrift :(
Выдает ошибки - и через руби, и через php (попробовал примеры поковырять)
Можете дать какой-нибудь пример с работающим scan?
А то совсем ум за разум заходит :(

2011/8/21 Oleksiy Kovyrin <alexey@kovyrin.net>

2011/8/21 Nikolay Grebnev <nikolaygrebnev@gmail.com>:

> Так, те ставим датаноду, но hbase-региона не ставим.... При этом все данные
> лежат в hbase???
> Есть ли смысл делать датаноду без регионсервера? Ведь тогда hbase сможет его
> дергать только по сети (те лучше бы вообще не дергал).
> Ну или есть смысл только из расчета что туда также будет идти бекап данных.

Пока хбейс не начнет назначать регионы на сервера в соответствии с
data locality, оно фиолетово, так как данные всегда будут читаться по
сети. Да, сейчас есть кое-какая локальность (где-то была статья об
этом), и в данном случае она будет работать хорошо и с одним
дополнительным датанодом.

>> Ни разу не видал, чтобы этот ящик упирался в CPU, а вот с памятью
>> всегда напряги были.
>
> А сколько сейчас стоит?

У нас было 12Gb при 9к регионов и 400к блоков в hdfs и оно было тесно
(мастер и неймнода ели память), щас сделали 24 и стало отлично просто
:-)

> Какие операции делаются через rest а какие через thrift?

Мне показалось, что кому-то может быть очень удобно ходить туда через
rest, так как простой как дрова интерфейс + можно прямо перед ним
влепить сквид-кластер какой-нить и будет ваще крутота. А thrift -
быстро и мега-гибко, для тех, кому нужно больше, чем прочесть значение
из какой-то ячейки таблицы.

> Почему нужно минимизировать кол-во регионов? (сорри если вопрос глупый)

Память, которую едят регионсерверы, прямо-пропорциональна количеству
регионов, которые на них навесили (так как они держат в голове block
map для регионов). Соответственно, чем больше регионов (любого
размера), тем больше памяти требуется вам на регион-серверах. Это моя
главная причина для минимизации кол-ва регионов, но есть еще одна -
если вам нужно положить регионсервер (или он сам упал), то чем больше
регионов у вас есть, тем дольше будет период частичной недоступности
ваших данных (когда регионы будет переназначаться на другие ящики).

--
Oleksiy Kovyrin
http://kovyrin.net/

--
--
Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы "RubyOnRails to russian" на группах Google.
FAQ группы находится по адресу: http://ru.wikibooks.org/wiki/RubyFAQ

 Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
ror2ru@googlegroups.com
 Чтобы отменить подписку на эту группу, отправьте сообщение по адресу: ror2ru-unsubscribe@googlegroups.com
 Дополнительные варианты находятся на странице группы http://groups.google.com/group/ror2ru?hl=ru

--
--
Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы "RubyOnRails to russian" на группах Google.
FAQ группы находится по адресу: http://ru.wikibooks.org/wiki/RubyFAQ
 
Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
ror2ru@googlegroups.com
Чтобы отменить подписку на эту группу, отправьте сообщение по адресу: ror2ru-unsubscribe@googlegroups.com
Дополнительные варианты находятся на странице группы http://groups.google.com/group/ror2ru?hl=ru