CEPH -> Ceph, alttext, qemu-img async copying

Author: socketpair

_static/qemu-img-bandwith.jpg

@@ -3,24 +3,24 @@ CloudMouse
 ==========
 
 .. image:: _static/cloudmouse.png
-   :alt: alternate text
+   :alt: Логотип
    :align: left
 
-VPS-хостинг. Год основания -- 2013. Отличились тем, что использовали CEPH крайне неумело,
+VPS-хостинг. Год основания -- 2013. Отличились тем, что использовали Ceph крайне неумело,
 что привело 10.02.2015 к резкой гибели их бизнеса в связи с полной потерей данных (бекапы
 они не делали).
-Потом везде на форумах кричали, что CEPH -- глючное поделие и именно он привёл к проблеме.
-Эта ситуация нанеслa огромный урон репутации CEPH как надёжного хранилища данных.
+Потом везде на форумах кричали, что Ceph -- глючное поделие и именно он привёл к проблеме.
+Эта ситуация нанеслa огромный урон репутации Ceph как надёжного хранилища данных.
 
 Между тем, в Сети крайне трудно найти информацию о том что же именно произошло. Эта ситуация
 сейчас используется при каждом удобном и неудобном случае когда кто-то хочет сказать что у
-CEPH есть проблемы.
+Ceph есть проблемы.
 
 
-    Недавно, на выставке РИТ++, мне довелось поговорить со специалистом из компании, которая работает на рынке облачного хостинга под брендом flops.ru. Эта компания известна тем, что использует как раз ceph и построила на нем платформу публичного облачного хостинга. Интересные ребята, кстати, энтузиасты и большие молодцы, серьезно. Я воспользовался случаем узнать «из первых рук» их компетентное мнение о том, насколько реально «скачать ceph и сделать все то же самое на нем». Ответ был однозначен: «Это утопия».
+    Недавно, на выставке РИТ++, мне довелось поговорить со специалистом из компании, которая работает на рынке облачного хостинга под брендом flops.ru. Эта компания известна тем, что использует как раз Ceph и построила на нем платформу публичного облачного хостинга. Интересные ребята, кстати, энтузиасты и большие молодцы, серьезно. Я воспользовался случаем узнать «из первых рук» их компетентное мнение о том, насколько реально «скачать Ceph и сделать все то же самое на нем». Ответ был однозначен: «Это утопия».
     Так, в частности, он рассказал, что они в flops потратили на доводку, допиливание и вычищение багов примерно полтора года труда их команды разработчиков. Они взяли довольно старую версию (v 0.67 «Dumpling») и «пилили» ее. И в итоге действительно допилили ее до продакшна. Текущая же версия, в том виде, в котором она выложена в паблик, несмотря на major и stable в названии, в продакшн непригодна.
-    «Помните историю cloudmouse, который, в результате слова бага и сбоя в марте этого года потерял данные 22 тысяч виртуальных машин (включая их бэкапы, а перед этим они теряли данные в феврале) и, в результате, ушел из бизнеса? Ребята взяли текущую версию ceph, и сделали свою систему на ней. Результат — вот такой.»
-    Собственно мне больше нечего добавить к этому ответу на вопрос, «можно ли скачать ceph и сделать бесплатно то же самое, что у вас за деньги?».
+    «Помните историю cloudmouse, который, в результате слова бага и сбоя в марте этого года потерял данные 22 тысяч виртуальных машин (включая их бэкапы, а перед этим они теряли данные в феврале) и, в результате, ушел из бизнеса? Ребята взяли текущую версию Ceph, и сделали свою систему на ней. Результат — вот такой.»
+    Собственно мне больше нечего добавить к этому ответу на вопрос, «можно ли скачать Ceph и сделать бесплатно то же самое, что у вас за деньги?».
     Можно. Но не сразу, не быстро, и, по факту, не бесплатно.
 
     -- http://blog.in-a-nutshell.ru/nutanix-vs-ceph/
@@ -33,12 +33,12 @@ CEPH есть проблемы.
 
 
     Честно вам сказать из-за чего развалился? Ибо сам даже смотрел их кластер и пытался
-    помочь... Помнится мне, что тогда еще актуальная версия ceph'а была Firefly.
+    помочь... Помнится мне, что тогда еще актуальная версия Ceph'а была Firefly.
     Но им жутко не нравилась его производительность. Ну они и обновились, на в то время,
     не стабильный hammer. А когда пошли ошибки, то потом ещё и обновились аж на master ветку.
     А у мастер ветки была проблема связанная с утечкой памяти, ну и при нехватке памяти на
     сервере (еще один баг) убились данные. И количество репликаций у них было 2. Хотя и
-    количество репликации бы тут не помогли. Так что CEPH там был не при чём. Банально админы
+    количество репликации бы тут не помогли. Так что Ceph там был не при чём. Банально админы
     накосячили, ну или их руководство.
 
     -- Аноним.
@@ -54,7 +54,7 @@ CEPH есть проблемы.
     По поводу СХД, мы используем как минимум 8, с 3х кратной репликацией данных.
     Те "кусочек данных размером 1мб" хранится на 3х разных дисках на 3х СХД. А все данные хранятся
     примерно на 300+х дисках. Как мы ранее сообщали, проблема потери данных была связана с
-    аппаратно-програмным сбоем в связки: ceph+rbd+osd+pg. Другими словами, все связи между блоками
+    аппаратно-програмным сбоем в связки: Ceph+rbd+osd+pg. Другими словами, все связи между блоками
     данных в кластере были утеряны.
 
     Еще раз, приносим свои извинения.
@@ -67,7 +67,7 @@ CEPH есть проблемы.
     -- https://searchengines.guru/showpost.php?p=13490140
 
     Судя по тому, что никаких технических подробностей этого падения они не привели,
-    косяк на сто процентов их, а не ceph'a. Очевидно, что был бы это глюк ceph'a они
+    косяк на сто процентов их, а не Ceph'a. Очевидно, что был бы это глюк Ceph'a они
     бы молчать не стали, защитили бы свою репутацию.
 
     -- https://www.linux.org.ru/news/opensource/11500740/page1#comment-11503052

cloudmouse.rst

@@ -22,6 +22,13 @@ RBD
 * Ядерный драйвер RBD не умеет во много опций. в частности, фастдифф. Варианты -- FUSEmount -- каждый файл это образ. либо NBD.
 * iscsi
 * qemu-nbd vs rbd-nbd
+* Перенос образов между пулами и копирование образов: рекомендуется qemu-img версии более 2.9.
+
+  .. image:: _static/qemu-img-bandwith.jpg
+     :alt: График пропускной способности
+
+  https://github.com/qemu/qemu/commit/2d9187bc65727d9dd63e2c410b5500add3db0b0d и описание опций.
+
 * Сделав снапшот хотябы одного образа, сделать снапшот пула уже не получится. Узнать бы почему.
 
 
@@ -74,7 +81,7 @@ CephFS
 
 Как работает
 ------------
-* почему дедупликация крайне затруднена в архитектуре CEPH
+* почему дедупликация крайне затруднена в архитектуре Ceph
 * в файлсторе всё полностью пишется в журнал. один врайт превращается в два сисколла врайт
   - один в журнал (с синком) и один в основное хранилище. Но основное хранилище фсинкается
   время от времени. Запись в журнал линейная, а в основное хранилище рандомная. При записи