Qemu + RBD + discard

Author: socketpair

main.rst

@@ -4,7 +4,74 @@ FAQ
 
 RBD
 ---
-* настройки для дискарда в квм. про партиал дискарт, виртио-скайзи, дискард блок сайз. макс-дискард? важно в квм что-то про домейн добавить дефолт опцию
+
+qemu-kvm и discard
+++++++++++++++++++
+
+И Ceph (RBD) и Qemu умеют в discard/trim/unmap. Это означает, что гостевая ОС
+может отправить соответствующий запрос к хранилищу чтобы сообщить что данные не
+нужны. Исходно это было предназначено для SSD-дисков с целью оптимизации
+wear-leveling (выравнивание износа). В RBD это позволяет удалить ненужные данные
+из кластера и тем самым уменьшить бекфиллинг, размеры снапшотов и др.
+
+Мы знаем, что RBD виртуально делит диски на куски по 4 МБ (по-умолчанию). Каждый
+кусок -- это один объект Rados. Соответственно, дискард может либо удалить целиком
+один объект (если он не нужен), либо сократить размер (вплоть до нуля). Что он не может
+-- так это продискардить середину объекта или начало. В API RBD нет функции для
+выяснения этого чанка. Поэтому Qemu не может догадаться какие дискарды можно отправлять
+в librbd а какие закончатся ошибкой. В документации про это ничего не сказано.
+
+Есть костыль для ceph.conf -- параметр ``rbd_skip_partial_discard``. Однако:
+
+http://tracker.ceph.com/issues/16386
+http://tracker.ceph.com/issues/16869
+
+В связи с чем, лучше проинструктировать Qemu чтобы она сообщила в гостевую о
+имеющемся выравнивании в 4 МБ. Тогда ядро гостевой ОС не будет отправлять дискарды
+которые невозможно выполнить в RBD.
+
+К сожалению, libvirt напрямую не может указать это для каждого диска персонально.
+Но есть костыль:
+
+.. code-block:: xml
+
+   <domain type='kvm' xmlns:qemu='http://libvirt.org/schemas/domain/qemu/1.0'>
+     <qemu:commandline>
+       <qemu:arg value='-global'/>
+       <qemu:arg value='scsi-hd.discard_granularity=4194304'/>
+     </qemu:commandline>
+   </domain>
+
+.. important::
+
+   ``xmlns:qemu='http://libvirt.org/schemas/domain/qemu/1.0'`` крайне важен.
+   без этой строки ``<qemu:commandline>`` будет проигнорирован. Проверить
+   можно повторно отредактировав описание ВЫКЛЮЧЕНОЙ виртуальной машины
+   ``virsh edit some-domain``
+
+(Пример по ссылке http://docs.ceph.com/docs/master/rbd/qemu-rbd похоже что
+устарел и не работает)
+
+Для справки есть ещё такие параметры:
+
+* ``logical_block_size``
+* ``physical_block_size``
+* ``min_io_size``
+* ``opt_io_size``
+
+Их всех можно посмотреть командой ``lsblk`` в гостевой ОС (чтобы удостовериться,
+что виртуальная машина настроена правильно).
+
+.. important::
+
+   Discard будет работать только для виртуальных дисковых интерфейсов IDE и
+   virtio-scsi. Не путайте virtio и virtio-scsi -- это два совершенно разных
+   интерфейса. virtio устарел и более не развивается. В гостевой ОС
+   virtio-scsi выклядит как /dev/sd*, а virtio как /dev/vd*
+
+Недорасписанное
++++++++++++++++
+
 * опции для рбд образов типа фастдифф
 * бага с удалением снапшотов созданных ранними версиями
 * откат к снапшоту крайне медленный (как он работает) и что без дедупликации по сравнению со старыми
@@ -13,6 +80,7 @@ RBD
 * Виды кеширования в квм - дока от сусе где демелиоратор сказал что он не прав.
   И описание что есть потеря данных при вырубания питания.
   https://www.spinics.net/lists/ceph-users/msg15983.html
+  http://docs.ceph.com/docs/master/rbd/qemu-rbd/#qemu-cache-options
 
 * скруб еррор -- как понять хотябы какой это образ.
 * как бекапить :)