feat: use Unicode Standard Annex #11 rules for line width calculation (#456)

Author: dsherret

Cargo.lock

@@ -27,7 +27,7 @@ tracing = ["dprint-core/tracing"]
 [dependencies]
 anyhow = "1.0.64"
 deno_ast = { version = "0.21.0", features = ["view"] }
-dprint-core = { version = "0.59.0", features = ["formatting"] }
+dprint-core = { version = "0.60.0", features = ["formatting"] }
 rustc-hash = "1.1.0"
 serde = { version = "1.0.144", features = ["derive"] }
 serde_json = { version = "1.0", optional = true }

Cargo.toml

@@ -11,10 +11,10 @@
     "**/target"
   ],
   "plugins": [
-    "https://plugins.dprint.dev/typescript-0.71.2.wasm",
-    "https://plugins.dprint.dev/json-0.15.5.wasm",
-    "https://plugins.dprint.dev/markdown-0.14.0.wasm",
+    "https://plugins.dprint.dev/typescript-0.78.0.wasm",
+    "https://plugins.dprint.dev/json-0.16.0.wasm",
+    "https://plugins.dprint.dev/markdown-0.14.3.wasm",
     "https://plugins.dprint.dev/toml-0.5.4.wasm",
-    "https://plugins.dprint.dev/exec-0.3.1.json@9351b67ec7a6b58a69201c2834cba38cb3d191080aefc6422fb1320f03c8fc4d"
+    "https://plugins.dprint.dev/exec-0.3.2.json@8efbbb3fcfbdf84142c3c438fbdeaf1637152a020032127c837b2b14e23261c3"
   ]
 }

dprint.json

@@ -3902,7 +3902,10 @@ fn gen_string_literal<'a>(node: &'a Str, context: &mut Context<'a>) -> PrintItem
 
   fn get_string_value(node: &Str, context: &mut Context) -> String {
     let raw_string_text = node.text_fast(context.program);
-    let string_value = raw_string_text.chars().skip(1).take(raw_string_text.chars().count() - 2).collect::<String>();
+    if raw_string_text.len() <= 2 {
+      return String::new();
+    }
+    let string_value = &raw_string_text[1..raw_string_text.len() - 1];
     let is_double_quote = raw_string_text.starts_with('"');
 
     return match is_double_quote {

src/generation/generate.rs

@@ -0,0 +1,28 @@
+~~ deno: true ~~
+== should calculate line width according to unicode standard annex #11 rules ==
+const a = () => (
+  <div>
+    대충 한국어로 아무 말이나 적고 있습니다. '아무말'은 표준국어대사전에 등재되지 않은 단어이므로 '아무 말'로 띄어 씁니다. 아무
+    말일까요? 누군가에게는 적절한 더미 텍스트일 수도 있고 누군가에게는 그냥 지루한 문단일 수 있습니다. 문장이 긴데 보여질 폭은 좁을 때
+    어디에서 줄바꿈을 해야 할지는 중요한 이슈가 되어 왔습니다. 한국어는 띄어쓰기가 자주 등장하는 만큼 단어 사이를 끊는 것을 싫어하지만
+    끊는 부분에 타우마타와카탕이항아코아우아우오타마테아투리푸카카피키마웅아호로누쿠포카이웨누아키타나타후 같은 단어가 존재하면 엄청난 공백이
+    등장하게 됩니다. 직접 줄바꿈을 삽입하자는 의견도 나오지만 다양한 스크린 폭에 대응되지 못하는 것을 탐탁치 않아 하는 사람도 있습니다.
+    대충 한국어로 아무 말이나 적었습니다.
+  </div>
+);
+
+[expect]
+const a = () => (
+  <div>
+    대충 한국어로 아무 말이나 적고 있습니다. '아무말'은 표준국어대사전에
+    등재되지 않은 단어이므로 '아무 말'로 띄어 씁니다. 아무 말일까요?
+    누군가에게는 적절한 더미 텍스트일 수도 있고 누군가에게는 그냥 지루한 문단일
+    수 있습니다. 문장이 긴데 보여질 폭은 좁을 때 어디에서 줄바꿈을 해야 할지는
+    중요한 이슈가 되어 왔습니다. 한국어는 띄어쓰기가 자주 등장하는 만큼 단어
+    사이를 끊는 것을 싫어하지만 끊는 부분에
+    타우마타와카탕이항아코아우아우오타마테아투리푸카카피키마웅아호로누쿠포카이웨누아키타나타후
+    같은 단어가 존재하면 엄청난 공백이 등장하게 됩니다. 직접 줄바꿈을 삽입하자는
+    의견도 나오지만 다양한 스크린 폭에 대응되지 못하는 것을 탐탁치 않아 하는
+    사람도 있습니다. 대충 한국어로 아무 말이나 적었습니다.
+  </div>
+);

tests/specs/issues/issue0452.txt

@@ -1,8 +1,12 @@
 == should not replace escaped character with actual character ==
 const t = "\t"  ;
+const u = "";
+const v = "1";
 
 [expect]
 const t = "\t";
+const u = "";
+const v = "1";
 
 == should not replace actual character with escaped character ==
 const t = "	";