Re: nosql - кто что использует

2011/8/20 Nikolay Grebnev <nikolaygrebnev@gmail.com>:
> 1 К чему прожорлив мастер hbase? К памяти? А к CPU?  Как я понимаю, он
> основной сервак, которые трудно туда-сюда таскать. Поэтому имеет смысл его
> сразу делать максимально-разумным... И он у вас висит на одном сервере с
> NameNode dfs-а? Или на другом? Если на разных, то что ему требуется? CPU/RAM

У нас на мастере есть следующее:
- namenode
- hbase master
- tasktracker
- zookeeper node

- jobtracker (а че, процессора лишнего навалом)
- datanode (а че, диски одинаковые на всем кластере, значит везде
ставим датаноды)

Ни разу не видал, чтобы этот ящик упирался в CPU, а вот с памятью
всегда напряги были.

> 2 Сколько у вас thrift серверов? Я тут развлекался с загрузкой данных в
> hbase и у меня получилось, что 12 клиентов нагружают thrift процесс на 100%,
> а дальше ничего не меняется. И оно без проблем у меня выдержало 48
> одновременных клиентов, которые за 10 часов залили 50 млн записей (суммарно
> 70 - там было 5 теблиц).
> Т.е. возникла мысль что thrift серверов должно быть несколько чтобы не
> упираться в один.

У нас один, но это чисто из-за ленивости админа этого кластера (меня) :-)
По уму, я бы сделал на каждом ящике rest и thrift gw и с главной
машины через haproxy их юзал бы.

> 3 Есть ли данные, насколько доступ через thrift работает медленнее, чем
> напрямую через жабу?

100 пудоф медленнее, но ничего не поделать - у них там такой дебильный
протокол в хадупе, что клиентов на других языках к нему никто писать
не будет. Очень ждем когда они туда avro вставят в качестве основного
протокола.

> 4 Используете ли LZO?

Да, всегда и везде. Очень полезная штука.

> 5 К чему чуствительны регионы? Что больше требуется - RAM или CPU. Например
> - можно например за те же деньги взять 3 сервера с 8GB RAM или 1 с 24GB
> (проц одинаковый) - что предпочтительнее??? Мне кажется что 3 сервака лучше
> :)

Тут два одвета:
1) 3 сервера в случае с кластерами disposable-машин - это всегда
лучше, чем один.
2) Оно очень память любит :-)

Вывод - нужно пробовать и смотреть сколько будет сьедать регионсервер
на ваших данных + стараться держать количество регионов
минимально-возможным (сразу делать maxfilesize большим, юзать lzo и
тд)

--
Oleksiy Kovyrin
http://kovyrin.net/

--
--
Данное сообщение отправлено Вам, так как Вы являетесь подписчиком группы "RubyOnRails to russian" на группах Google.
FAQ группы находится по адресу: http://ru.wikibooks.org/wiki/RubyFAQ

Для того, чтобы отправить сообщение в эту группу, пошлите его по адресу
ror2ru@googlegroups.com
Чтобы отменить подписку на эту группу, отправьте сообщение по адресу: ror2ru-unsubscribe@googlegroups.com
Дополнительные варианты находятся на странице группы http://groups.google.com/group/ror2ru?hl=ru