Деревья поиска (#12)

Co-authored-by: Anton Gorinenko <[email protected]>

Author: agorinenko

README.md

@@ -4,10 +4,11 @@
 
 ![Алгоритмы и структуры данных](img/main.jpeg)
 
-Данный репозиторий содержит краткое описание алгоритмов и структур данных для практикующих разработчиков. Все примеры
-кода представлены с использованием Python.
+Данный репозиторий содержит краткое описание алгоритмов и структур данных для практикующих разработчиков. Может быть
+использован как справочное руководство или для подготовки к техническому собеседованию. Все примеры кода представлены с
+использованием Python.
 
-Если вам понравилось содержимое, ставьте звездочку репозиторию на github. 
+Если вам понравилось содержимое, ставьте звездочку репозиторию на github.
 [https://github.com/agorinenko/data-structures-and-algorithms/](https://github.com/agorinenko/data-structures-and-algorithms/)
 
 Об авторе: [https://gorinenko.ru/](https://gorinenko.ru/)
@@ -34,6 +35,10 @@
 
 [Куча](tutorial/heap.md) (в работе)
 
+[Очередь с приоритетом](tutorial/heap.md) (в работе)
+
+[Двухсторонняя очередь](tutorial/heap.md) (в работе)
+
 ### Алгоритмы
 
 [Бинарный поиск](tutorial/binary_search.md)
@@ -60,4 +65,5 @@
 
 1. [Платформа для подготовки к техническим собеседованиям](https://leetcode.com/explore/)
 2. [Тренировки по алгоритмам от Яндекса](https://yandex.ru/yaintern/algorithm-training_1)
-3. [Добрые, добрые структуры данных - курс от Сергея Балакирева](https://stepik.org/course/134212/syllabus)
+3. [Добрые, добрые структуры данных - курс от Сергея Балакирева](https://stepik.org/course/134212/syllabus)
+4. [Алгоритмы: теория и практика. Структуры данных](https://stepik.org/course/1547/syllabus)

img/graph_16.png

@@ -266,7 +266,8 @@ def postorder_stack_dfs(node_function: Callable, node: Optional[TreeNode] = None
 
 Для всех ``pre-order``,``in-order`` и ``post-order`` обходов:
 
-Временная сложность - **O(n), где n - общее количество узлов в дереве
+Временная сложность - **O(n)**, где n - общее количество узлов в дереве. В случае сбалансированного дерева, временная
+сложность составит **O(logN)**.
 
-Пространственная сложность - **O(n). Пространственная сложность зависит от высоты дерева и в худшем случае равна
+Пространственная сложность - **O(n)**. Пространственная сложность зависит от высоты дерева и в худшем случае равна
 количеству узлов в нем.

img/graph_17.png

@@ -15,7 +15,7 @@
 
 Все виды графов изображены на рисунке ниже.
 
-![img.png](../img/graph.png)
+![Графы](../img/graph.png)
 
 Помимо вершин и ребер граф определяется следующей терминологией:
 
@@ -32,7 +32,8 @@ V1-V3-V4-V5.
 **Отрицательный вес цикла** характерен только для взвешенного графа. Вес цикла — это сумма всех весов ребер цикла. Если
 это значение отрицательно, то можем говорить об отрицательном весе всего цикла.
 
-**Связанность вершин.** Если для вершины графа имеют между собой хотя бы один путь, то мы можем называть их связанными.
+**Связность вершин.** Если все вершины графа имеют между собой хотя бы один путь, то мы можем называть его связным.
+Напротив, вершины несвязного графа могут быть разделены по группам, которые называются компонентами связности.
 
 **Инцидентность** – это когда вершина V является началом или концом ребра E.
 
@@ -48,4 +49,19 @@ in-degree валентность вершины V3 составляет 1, out-d
 **Кратчайший путь** - это один из всевозможных путей от одной вершины до другой с минимальным количеством ребер, т.е. с
 минимальной длиной.
 
+## Представление графов в памяти
 
+**Матрица смежности** — один из способов представить граф в памяти компьютера. Номера строк и столбцов обозначают номера
+вершин, если вершина i связна с вершиной j, то в ячейке матрицы (i, j) записывается значение 1, в противном случае 0.
+
+![Матрица смежности](../img/graph_16.png)
+
+**Список смежности** содержит в себе информацию только о связанных вершинах. Как видим, он более экономный по памяти,
+чем матрица смежности.
+
+![Список смежности](../img/graph_17.png)
+
+**Список ребер** - граф также можно представить в виде списка значений вида [(1,2), (1,3), (3,4)]. Элементы массива
+представляют собой ребра графа. В ненаправленном графе порядок вершин не важен, в направленном важен.
+
+Матрицу и список смежности, а также список ребер можно реализовать на основе простого массива. 

img/tree_1.png

@@ -1,2 +1,6 @@
 # Сложность алгоритмов
-In-Place Array Operations
+In-Place Array Operations
+
+Amortized Analysis
+https://en.wikipedia.org/wiki/Amortized_analysis
+https://leetcode.com/problems/implement-queue-using-stacks/editorial/

tutorial/dfs.md

@@ -1,2 +1,134 @@
 # Деревья
-https://leetcode.com/explore/learn/card/introduction-to-data-structure-binary-search-tree/
+
+**Дерево** — это направленный граф без циклов между узлами. Каждый узел может иметь потомков и родителя. Узел без
+родителя называется корнем дерева и является начальным. Вершины, у которых нет потомков, называются листьями.
+
+Бинарное или двоичное дерево — это разновидность дерева, в котором у каждого узла может быть не более двух потомков. При
+этом в левом поддереве значения меньше, чем само значение родителя, а в правом поддереве значения должны быть больше. В
+случае если дерево сбалансировано, его высота ``К`` будет равна **O(logN)**.
+
+Важно заметить, что если при построении дерева ключи ее узлов идут в случайном порядке, то такие деревья называют
+**сбалансированными**. Такие рандомизированные деревья поиска обеспечивают сбалансированность только в вероятностном
+смысле. Они обладают следующими свойствами:
+
+1) имеют небольшую высоту
+1) имеют хорошую заполненность уровней
+
+На рисунке ниже слева приведен пример сбалансированного дерева, которое получается для
+ключей ``[ 9, 2, 13, 7, 1, 11, 14]``. Справа изображено **несбалансированное дерево** для упорядоченных
+значений ``[ 1, 2, 7, 9, 11, 13, 14]``, вырожденное в односвязный список.
+
+![Сбалансированное и несбалансированное деревья](../img/tree_1.png)
+
+Существует несколько методов балансировки деревьев. Рассмотрим их чуть позже, а сейчас перейдем к основным операциям,
+связанных с деревьями.
+
+## Основные операции с деревьями
+
+### Поиск в дереве
+
+В общем случае, двоичное дерево является графом, поэтому к нему применимы операции обхода в ширину и глубину о котором
+можно почитать по ссылкам ниже.
+
+[Обход графа в ширину](bfs.md)
+
+[Обход графа глубину](dfs.md)
+
+Однако для поиска значений узлов наиболее эффективнее было бы использовать свойство двоичных деревьев, что для любого
+ключа его левое поддерево содержит только меньшие ключи, а правое — только большие. Ниже представлена функция для поиска
+ключа в бинарном дереве.
+
+```python
+from typing import Optional
+
+
+class TreeNode:
+    def __init__(self, val=0, left=None, right=None):
+        self.val = val
+        self.left = left
+        self.right = right
+
+    def __repr__(self):
+        return str(self.val)
+
+
+def search_bst(node: Optional[TreeNode], val: int) -> Optional[TreeNode]:
+    """
+    Поиск ключа в бинарном дереве
+    :param node: узле
+    :param val: искомое значение
+    :return: найденный узел, None если не найдено
+    """
+    if not node:
+        return None
+
+    if node.val == val:
+        return node
+
+    if node.val > val:
+        return search_bst(node.left, val)
+
+    if node.val < val:
+        return search_bst(node.right, val)
+```
+
+### Добавление элемента
+
+Добавление элемента происходит по следующим правилам:
+
+1. Происходит поиск добавляемого ключа. Если добавляемое значение уже присутствует в дереве, то оно игнорируется. В
+   противном случае поиск приводит нас в конечному листу дерева с каким-то значением ``A``.
+1. Если добавляемое значение меньше значения ``A`` в текущем узле, то новая вершина становится левым потомком, иначе –
+   правым.
+
+### Удаление элемента
+
+Удаление элемента является наиболее сложной операцией с точки зрения реализации. Возможны 3 варианта действий:
+
+**Узел является листом**, т.е. не имеет потомков. Тогда мы можем просто его удалить.
+
+**Вершина имеет только одного ребенка.** В этом случае мы удаляем саму вершину, а ее дочернее поддерево подвешиваем к
+родителю.
+
+**Если у узла два дочерних узла**, то нужно найти следующий за ним элемент, т.е. минимум в правом поддереве (у этого
+элемента не будет левого потомка). Правого потомка подвесить на место найденного элемента, а удаляемый узел заменить
+найденным узлом.
+
+### Нахождение максимума и минимума
+
+Нетрудно заметить, что на рисунке выше у дерева слева максимальным элементом является значение 14. Это **самый правый
+элемент**, который не имеет правого ребенка (при этом левое поддерево может существовать). Аналогично, минимальным
+элементом дерева является значение 1. Это **самый левый элемент**, который не имеет левого ребенка.
+
+### Временная сложность операций
+
+Время работы всех перечисленных операций зависит от высоты дерева ``К``, т.е. равно **O(logN)** в случае
+сбалансированности.
+
+## Методы балансировки деревьев
+
+Итак, сложность всех операций с деревом зависит от его высоты. Следовательно, для эффективной работы нам нужно стараться
+минимизировать его высоту. Эта операция называется балансировкой. Кратко рассмотрим некоторые виды оптимизации деревьев.
+
+### АВЛ-деревья
+
+АВЛ-дерево — сбалансированное двоичное дерево поиска, в котором поддерживается следующее свойство: для каждой его
+вершины высота её двух поддеревьев различается не более чем на 1. В процессе добавления и удаления узлов высота дочерних
+поддеревьев некоторых узлов может стать больше 2 или -2. Тогда следует провести ребалансировку дерева путем левого или
+правого поворота.
+
+Подробнее [здесь](https://neerc.ifmo.ru/wiki/index.php?title=%D0%90%D0%92%D0%9B-%D0%B4%D0%B5%D1%80%D0%B5%D0%B2%D0%BE)
+и [здесь](https://habr.com/ru/articles/150732/)
+
+### Красно-черное дерево
+
+Красно-чёрным называется бинарное дерево, у которого каждому узлу сопоставлен дополнительный аттрибут – цвет, а также
+выполняются следующие свойства:
+
+1. Каждый узел промаркирован красным или чёрным цветом
+2. Корень и конечные узлы (листья) дерева – чёрные
+3. У красного узла родительский узел – чёрный
+4. Все простые пути из любого узла x до листьев содержат одинаковое количество чёрных узлов – black-height(x)
+5. Чёрный узел может иметь чёрного родителя
+
+Подробнее [здесь](https://neerc.ifmo.ru/wiki/index.php?title=%D0%9A%D1%80%D0%B0%D1%81%D0%BD%D0%BE-%D1%87%D0%B5%D1%80%D0%BD%D0%BE%D0%B5_%D0%B4%D0%B5%D1%80%D0%B5%D0%B2%D0%BE)