Re: nosql - кто что использует

Спасибо!

2011/8/20 Oleksiy Kovyrin <alexey@kovyrin.net>

2011/8/20 Nikolay Grebnev <nikolaygrebnev@gmail.com>:

> 1 К чему прожорлив мастер hbase? К памяти? А к CPU?  Как я понимаю, он
> основной сервак, которые трудно туда-сюда таскать. Поэтому имеет смысл его
> сразу делать максимально-разумным... И он у вас висит на одном сервере с
> NameNode dfs-а? Или на другом? Если на разных, то что ему требуется? CPU/RAM

У нас на мастере есть следующее:
- namenode
- hbase master
- tasktracker
- zookeeper node

- jobtracker (а че, процессора лишнего навалом)
- datanode (а че, диски одинаковые на всем кластере, значит везде
ставим датаноды)

Так, те ставим датаноду, но hbase-региона не ставим.... При этом все данные лежат в hbase???
Есть ли смысл делать датаноду без регионсервера? Ведь тогда hbase сможет его дергать только по сети (те лучше бы вообще не дергал).
Ну или есть смысл только из расчета что туда также будет идти бекап данных.

 

Ни разу не видал, чтобы этот ящик упирался в CPU, а вот с памятью
всегда напряги были.

А сколько сейчас стоит?
 

> 2 Сколько у вас thrift серверов? Я тут развлекался с загрузкой данных в
> hbase и у меня получилось, что 12 клиентов нагружают thrift процесс на 100%,
> а дальше ничего не меняется. И оно без проблем у меня выдержало 48
> одновременных клиентов, которые за 10 часов залили 50 млн записей (суммарно
> 70 - там было 5 теблиц).
> Т.е. возникла мысль что thrift серверов должно быть несколько чтобы не
> упираться в один.

У нас один, но это чисто из-за ленивости админа этого кластера (меня) :-)
По уму, я бы сделал на каждом ящике rest и thrift gw и с главной
машины через haproxy их юзал бы.

Какие операции делаются через rest а какие через thrift?

 

> 5 К чему чуствительны регионы? Что больше требуется - RAM или CPU. Например
> - можно например за те же деньги взять 3 сервера с 8GB RAM или 1 с 24GB

> (проц одинаковый) - что предпочтительнее??? Мне кажется что 3 сервака лучше
> :)

Тут два одвета:
1) 3 сервера в случае с кластерами disposable-машин - это всегда
лучше, чем один.
2) Оно очень память любит :-)

Вывод - нужно пробовать и смотреть сколько будет сьедать регионсервер
на ваших данных + стараться держать количество регионов
минимально-возможным (сразу делать maxfilesize большим, юзать lzo и
тд)

Почему нужно минимизировать кол-во регионов? (сорри если вопрос глупый)
 

--
--
Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы "RubyOnRails to russian" на группах Google.
FAQ группы находится по адресу: http://ru.wikibooks.org/wiki/RubyFAQ
 
Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
ror2ru@googlegroups.com
Чтобы отменить подписку на эту группу, отправьте сообщение по адресу: ror2ru-unsubscribe@googlegroups.com
Дополнительные варианты находятся на странице группы http://groups.google.com/group/ror2ru?hl=ru