parallel join

Author: getChan

_posts/2024-11-27-join_algorithms.md

@@ -28,13 +28,24 @@ end
 ## Sort-Merge Join
 
 ```sudo
-while not at the end of either relation do begin
-   if r and s match on the join attribute
-      output the tuple <r, s>
-   if r < s
-      advance to the next tuple in R
-   else advance to the next tuple in S
-end
+do {
+   if (!mark) {
+      while (r < s) { advance r }
+      while (r > s) { advance s }
+      // mark start of "block" of s
+      mark = s
+   }
+   if (r == s) {
+      result = <r, s>
+      advance s
+      return result
+   }
+   else {
+      reset s to mark
+      advance r
+      mark = NULL
+   }
+}
 ```
 - 조인 컬럼으로 정렬되어 있어야 한다.
 - 정렬되어 있다면 시간 복잡도는 $O(n)$이다. 
@@ -58,8 +69,36 @@ end
   - 해시 테이블은 메모리보다 작아야 하기 때문이다.
 - 시간 복잡도는 $O(n)$이다.
 
-# Apache Spark의 조인 알고리즘
+# 병렬 조인 알고리즘
+
+## Parallel Hash Join
+
+단일 머신 해시 조인을 병렬로 수행.
+- 1. hash partitioning
+  - S, R 이 여러 파티션으로 나뉘어지고 해시하여 동일한 키를 가진 레코드는 한 노드로 모인다.
+  - shuffle 발생
+- 2. build - local hash table build
+  - 로컬에서 해시테이블 build 한다. - 병렬처리 가능.
+- 3. probe 
+  - probe가 수행되려면 build 단계가 완료되어야 한다. (즉 pipeline-break.)
+  - 로컬에서 수행된다. - 병렬처리 가능.
+![](https://dt5vp8kor0orz.cloudfront.net/deb3b1023aa97d164a291e64032fa3f05d566a58/5-Figure4-1.png)
+
+## Parallel Sort-Merge Join
+- 1. range partitioning - sort
+  - S, R을 조인 키의 범위로 파티셔닝한다. 동일한 키를 가진 레코드는 한 노드로 모인다.
+    - data skew가 발생할 수 있다. 이는 샘플링을 통해 해결할 수 있다.
+  - shuffle 발생
+- 2. merge
+  - 로컬에서 수행된다. - 병렬처리 가능.
+- spark 나 MapReduce에서는 input이 정렬되어있는(1번 단계가 완료된) 경우가 많아서 주로 사용한다.
+
+## Broadcast Join
+- 작은 테이블을 모든 노드로 복제(broadcast)하여 조인을 수행.
+- 각 노드에서 로컬 조인을 수행. - 병렬처리 가능.
+- 작은 테이블이 노드 메모리에 올라갈 수 있을 때 사용.
+- 어떤 조인 알고리즘이든 사용 가능하다.
 
 # 참고 
 - Database System Concepts, 7th Edition. *Abraham Silberschatz, Henry F. Korth, S. Sudarshan. McGraw-Hill Education. 2019.*
-- 
+- [CS186 berkely lecture](https://www.youtube.com/@CS186Berkeley/videos)