한국어 맞춤법 전처리를 위한 Hanspell 시도 및 오류 사항

[LHANTAEK]

hanspell을 이용해서 전처리를 시도하려고 했으나 오류가 났네요.

해결방법 아시는 분들은 댓글 남겨주시면 감사하겠습니다.

from hanspell import spell_checker

# 테스트용 문장
sentence = "이 문장에 오타가 있나요?"

# 맞춤법 교정
result = spell_checker.check(sentence)
print(result.checked)

---

KeyError Traceback (most recent call last)
Cell In[18], line 11
8 result = spell_checker.check(sentence)
9 return result.checked
---> 11 df['sentence_1_corrected'] = df['sentence_1'].apply(correct_grammar)
12 df['sentence_2_corrected'] = df['sentence_2'].apply(correct_grammar)
14 # Step 2: Text Cleaning

File c:\Users\USER.pyenv\pyenv-win\versions\3.11.2\Lib\site-packages\pandas\core\series.py:4924, in Series.apply(self, func, convert_dtype, args, by_row, **kwargs)
4789 def apply(
4790 self,
4791 func: AggFuncType,
(...)
4796 **kwargs,
4797 ) -> DataFrame | Series:
4798 """
4799 Invoke function on values of Series.
4800
(...)
4915 dtype: float64
4916 """
4917 return SeriesApply(
4918 self,
4919 func,
4920 convert_dtype=convert_dtype,
4921 by_row=by_row,
4922 args=args,
4923 kwargs=kwargs,
-> 4924 ).apply()

File c:\Users\USER.pyenv\pyenv-win\versions\3.11.2\Lib\site-packages\pandas\core\apply.py:1427, in SeriesApply.apply(self)
1424 return self.apply_compat()
1426 # self.func is Callable
-> 1427 return self.apply_standard()

File c:\Users\USER.pyenv\pyenv-win\versions\3.11.2\Lib\site-packages\pandas\core\apply.py:1507, in SeriesApply.apply_standard(self)
1501 # row-wise access
1502 # apply doesn't have a na_action keyword and for backward compat reasons
1503 # we need to give na_action="ignore" for categorical data.
1504 # TODO: remove the na_action="ignore" when that default has been changed in
1505 # Categorical (GH51645).
1506 action = "ignore" if isinstance(obj.dtype, CategoricalDtype) else None
-> 1507 mapped = obj._map_values(
1508 mapper=curried, na_action=action, convert=self.convert_dtype
1509 )
1511 if len(mapped) and isinstance(mapped[0], ABCSeries):
1512 # GH#43986 Need to do list(mapped) in order to get treated as nested
1513 # See also GH#25959 regarding EA support
1514 return obj._constructor_expanddim(list(mapped), index=obj.index)

File c:\Users\USER.pyenv\pyenv-win\versions\3.11.2\Lib\site-packages\pandas\core\base.py:921, in IndexOpsMixin._map_values(self, mapper, na_action, convert)
918 if isinstance(arr, ExtensionArray):
919 return arr.map(mapper, na_action=na_action)
--> 921 return algorithms.map_array(arr, mapper, na_action=na_action, convert=convert)

File c:\Users\USER.pyenv\pyenv-win\versions\3.11.2\Lib\site-packages\pandas\core\algorithms.py:1743, in map_array(arr, mapper, na_action, convert)
1741 values = arr.astype(object, copy=False)
1742 if na_action is None:
-> 1743 return lib.map_infer(values, mapper, convert=convert)
1744 else:
1745 return lib.map_infer_mask(
1746 values, mapper, mask=isna(values).view(np.uint8), convert=convert
1747 )

File lib.pyx:2972, in pandas._libs.lib.map_infer()

Cell In[18], line 8
7 def correct_grammar(sentence):
----> 8 result = spell_checker.check(sentence)
9 return result.checked

File c:\Users\USER.pyenv\pyenv-win\versions\3.11.2\Lib\site-packages\hanspell\spell_checker.py:62, in check(text)
59 passed_time = time.time() - start_time
61 data = json.loads(r.text)
---> 62 html = data['message']['result']['html']
63 result = {
64 'result': True,
65 'original': text,
(...)
69 'words': OrderedDict(),
70 }
72 # 띄어쓰기로 구분하기 위해 태그는 일단 보기 쉽게 바꿔둠.
73 # ElementTree의 iter()를 써서 더 좋게 할 수 있는 방법이 있지만
74 # 이 짧은 코드에 굳이 그렇게 할 필요성이 없으므로 일단 문자열을 치환하는 방법으로 작성.

KeyError: 'result'

[jin-jae]

ssut/py-hanspell#47 (comment)

해당 이슈를 참고하여, spell_checker.py 파일에 있는

payload = { 'color_blindness': '0', 'q': text }

이 dictionary에 passportKey 키를 추가하여 해결하였습니다.
'passportKey': PASSPORT_KEY

다만 코드상 네이버 맞춤법 검색 온라인 기능을 활용하는 것 같아서, 이 기능을 전처리로 사용하는 것에는 어려움이 있을 것 같습니다!