RAID

Author: socketpair

main.rst

@@ -211,9 +211,42 @@ Bluestore
 Диски
 -----
 
-* запрещено использовать аппаратные рейды. имеется в виду в режиме рейда. Опасность обмана
-  фсинков (например, включенный врайтбек на рейде без BBU). В рейдах цеф не нуждается в принципе.
-  в апп. рейде пока диск не просинкается рейд дегрейдед. Уж лучше цеф сам позаботится о репликах.
+* Не имеет никакого смысла использовать рэйды как хранилище для Ceph. Здесь
+  имеется в виду какой-либо способ программного или аппаратного объединения
+  дисков в один виртуальный. Потенциальные проблемы:
+
+  * Опасность обмана команд по сбросу кеша. Например, включенный Writeback на
+    аппартаном RAID без BBU.
+
+  * Программный RAID (mdadm, зеркало) ПОВРЕЖДАЕТ данные при записи в режиме
+    O_DIRECT если в процессе записи страница меняется в параллельном потоке.
+    В этом случае ПОДТВЕРЖДЁННЫЕ данные будут различаться в половинках
+    зеркального рэйда. При следующем (scrub?) рэйда будут проблемы.
+    TODO: Нужен proof.
+
+  * Программные рэйды не защищают от сбоя питания -- да, разумеется вышестоящие
+    FS/БД должны быть готовы к повреждению неподтверждённых данных, но при
+    проверке (scrub?) различие данных на репликах приведёт к проблемам.
+
+  * Во время смерти диска RAID находится в состоянии degraded пока не добавят
+    новый диск. Либо нужен spare-диск который в случае с Ceph глупо не
+    использовать. Degraded RAID внезапно для Ceph будет давать худшие
+    характеристики пока не восстановится. RAID не знает какие данные нужны а
+    какие -- нет, поэтому процесс восстановления реплик -- долгий --
+    синхронизирует мусор либо нули.
+
+  * Для RAID нужны диски одинакового размера. Для Ceph это не требуется.
+
+  * Аппаратные рэйды нужно отдельно мониторить и администрировать.
+
+  * Зеркало не нужно потому что Ceph сам сделает столько реплик сколько
+    требуется. Страйпинг не нужен потому что повышение производительности
+    делается другими способами (с помощью SSD). Raid 5,6 в случае дегрейда
+    причиняет боль.
+
+  * В общем и целом, Ceph можно рассматривать как огромный распределённый RAID.
+    Зачем делать RAID состоящий из RAID не понятно.
+
 * Акустик, хпа, паверсейвинг, настроить автотесты по смарту.
 * отдискардить ссд перед использованием.
 * fstrim -v -a (filestore on ssd), blkdiscard on LVM/Partition.