Кеширование с помощью ssd - продолжение

[mkolomiets]

Привет!
Прогнал систему с помощью iozone, можно познакомится с результатами.

ЗЫ, Поступало предложение положить статью на zabbix.org, как это сделать?

[zalex_ua]

Зарегатся там и запостить, типа просто

добавлено: надеюсь будет на английском ?

[zalex_ua]

Было бы еще интересно увидеть как отреагировла на "writethrough, а затем обратно - в режим writeback" занятость внутренних процессов заббикс.
Хистори синкеров и хаускипера например.

[mkolomiets]

Зарегатся там и запостить, типа просто

добавлено: надеюсь будет на английском ?

ОК, попробую.
С аглицким будет сложнее - у меня разговорный скорее малоразговорный чем разговорный, а что бы писать...

Вот график процессов на то же время - похоже никак, там железо с солидным запасом прочности под ту нагрузку. А хаускипера нет вообще, я все собираюсь с партиционированием разобраться, но пока места достаточно то работает так, без очистки.

Можно кстати ради эксперимента включить, посмотреть что получится - включил, постоит завтра можно будет глянуть что изменилось.

[mkolomiets]

Было бы еще интересно увидеть как отреагировла на "writethrough, а затем обратно - в режим writeback" занятость внутренних процессов заббикс.
Хистори синкеров и хаускипера например.

Если интересно, во вложении графики после включения хаускипера (настройка изменена примерно в 02:10).
Чуть позже попробую отключить врайтбек, можно будет сравнить что изменится.

[mkolomiets]

А вот что происходит в системе с включенным хаузкипингом при переключении кеша в режим writetrough и обратно во writeback. Разница ИМХО очень даже заметна.
Наверное стоит еще попробовать вообще отключить кеш, не только на запись но и на чтение...

Графики. Переключение на writetrough в 11:50, обратно - в 13:50.

[OKyHb]

После появления kernel 3.9 с dm-cache тоже заинтересовались кешированием. Но dm-cache пока какой-то не шибко популярный (я увидел не так уж и много статей про его реальное внедрение). Поэтому тоже смотрим в сторону bcache.

Но смущают пару вопросов:
1. поддержка ядра - я так понимаю, надо ставить из linux-bcache.git? У них просто отдельного патча для ванильного ядра нет?
2. разделы на HDD, которые надо кешировать - их прийдётся пересоздавать? То есть, форматировать и SSD, и HDD?

Как вы собирали ядро и создавали разделы?

[mkolomiets]

После появления kernel 3.9 с dm-cache тоже заинтересовались кешированием. Но dm-cache пока какой-то не шибко популярный (я увидел не так уж и много статей про его реальное внедрение). Поэтому тоже смотрим в сторону bcache.

Но смущают пару вопросов:
1. поддержка ядра - я так понимаю, надо ставить из linux-bcache.git? У них просто отдельного патча для ванильного ядра нет?
2. разделы на HDD, которые надо кешировать - их прийдётся пересоздавать? То есть, форматировать и SSD, и HDD?

Как вы собирали ядро и создавали разделы?

Привет!
Кажись в 3.9 флешкеш добавляли...
Да не только по dm-cache, инфы маловато по всем вариантам, хотя странно ведь оно реально работает. Наверное дают надышаться последний раз всяким нетапам и прочим
А до чего вы дошли с dm-cache? Поднимали, тесты делали, есть отзывы?

Ответы:
1. Да, только деревом. Я получал патч дифом сорцов - ванильного нужной версии и с гита bcache. Есть патч для 3.8 и 3.9, могу поделися.
Ядро на 3.9 работало нестабильно, дважды словил кернел паник, третьего раза ждать не стал, откатился назад на 3.8.
2. Пересоздавать не надо, только форматить, если есть данные то надо их сбакапить до того

Собирал под убунту сервер 12.04.2 из http://kernel.ubuntu.com/git, т.к. мне надо было получить деб-пакеты. Только брал исходники из ветки raring там как раз 3.8.
О сборке полно статей, кратко - патчил, в амд64 делал свой флавор из генерик и включал в нем поддержку bcache.
Про разделы писал в топике на блоггере, софтверный рейд 1-го уровня, а там все как в доке bcache - создали, зарегали, приатачили кеш. Над кешевыми устройствами тома LVM2. Единственный бок вылез - пришлось скриптам юдев немного вправить мозг, тот что взят с гита не хотел регать устройства как положено при буте системы. Ну и в конфиге LVM2 в фильтр добавить bcache, иначе он не видит gjkextyyst устройства как физические тома.

[OKyHb]

Нет, ничего на практике ещё не пробовали, пока присматриваемся.

У нас сейчас mysql база на SSD, используем партицирование. Так как тренды удалять нельзя, а они довольно много занимают - переодически останавливаем zabbix и mysql, переносим старые тренды с SSD на обычный 2TB винчестер, используем симлинки.

Хоть всё работает, но костыльно и рагульно. Поэтому по-любому будем пробовать кеширование.

Приятно видеть, что эти технологии действительно работают на реальных задачах. Спасибо, что поделились опытом. Теперь тоже будем пробовать

[OKyHb]

Таки дошли руки, тоже попробовали перейти на bcache.

Правда у нас немного другая история. Есть довольно нагруженный сервер с zabbix 2.2 и mysql 5.6. Требуемое быстродействие - 2.04K nvps. mysql работал прямо с SSD (без SSD уже вообще не работало).

Так как SSD на 256GB, раз в месяц приходилось останавливать zabbix/mysql и переносить тренды с SSD на обычный диск. И использовать симлинки для mysql. Вот чтобы не заморачиваться с трендами и не беспокоиться про свободное место, решили пробовать bcache.

Чисто на SSD:



На bcache стало как-то так:


Веб интерфейс стал слегка притормаживать, но в целом - всё продолжает работать, очередь не растёт. На удивление.
Единственное, что смущает - начал заметно быстрее уменьшаться "SSD Life Left" по SMART'у.

Поэтому интересно - вы что-либо крутили в настройках bcache у себя? discard/sequential_cutoff/writeback_delay.. ?