Photo by rawkkim on Unsplash

“한꾹인”만 알아볼 수 있는 글 해석하기

우리가 외국인일 때 이와 같은 리뷰를 받는다면!!?

코로나 이전, 해외여행을 많이 다니던 시기에 위와 같은 리뷰가 각종 유머 페이지에 자주 등장하곤 했습니다.

만약 외국인의 입장에서 저 글을 구글 번역기로 번역하면 어떻게 될까요?

구글 번역기 결과

네, 그냥 무관한 내용이 나오죠 😅

파파고로 한번 돌려볼까요?

파파고 결과

번역은 다르지만, 역시 무관한 내용이 나옵니다.

이번 포스팅에서는 Naver에 있는 AI 서비스들을 사용해서 한번 위의 글을 최대한 번역할 수 있게 해 보겠습니다!

0. 실험 계획

우선 기대하는 바는, 원본 (한국인만 알아볼 수 있는) 글에서 위와 같이 OCR, TTS, STT 과정을 거치면서 문법에 맞는 한글로 변환되는 과정을 기대하고 있습니다. 특히 TTS나 STT에는 언어 모델이 들어 있을 것이기 때문에, 잘 되지 않을까 하는 막연한 생각을 했습니다.

결국에는 희가 왼쪽글을 이해할 수 있는 이유도 머릿속으로 소리내어 읽어보니 익숙한 소리기 때문에 알아 들을 수 있는 것 처럼 STT, TTS가 그 과정을 대체 할 수 있을 거라고 생각 했습니다.

1. 이미지를 텍스트로

이 부분은 위의 텍스트가 있다면 크게 상관은 없지만, Naver OCR을 테스트해보고 싶어서 추가했습니다.

'한국인뜰만알아뽈쑤있께짝썽하껬씁니따. 히까씨이케부쿠로역에썬 30초또안껄릴만끔가깝찌만쑥쏘까많이낙후뙤어있꼬 엘베없꼬4층이라짐많으면깨꼬쌩합니따. 빠뀌뻘레나왔꼬 화짱씰 많이낡았씁니따. 끄래써 똥 역화짱씰까써 쌌씁니따 쩔때 여끼로오찌마쎄요! 뜨럽꼬 낡꼬 꼐딴을 좋아하씨는 뿐만 까쎄요!'

네 일단 OCR결과는 원본 그대로 잘 나온 것 같습니다.

2. 텍스트를 오디오로

이번엔 Clova TTS API를 활용하여 위에서 추출 한 텍스트를 오디오 파일로 만들겠습니다.

TTS 결과

음성만들으면, 이미 자연스럽게 나오는 부분이 있네요!

3. 오디오를 다시 텍스트로

이제, 위에서 변환된 음성을 Clova의 STT서비스가 어떻게 변환하는지 한번 보도록 하겠습니다.

한국인들만 알아들을 수 있게 작성하겠습니다 히가시 이케부쿠로 역에서 30초도 안 걸릴 만큼 가깝지만 이 쑥쑥 가 많이 납부 되어 있고 엘베 없고 사진이라지만 으면 끝 고생 합니다 맛이 빨리 나와 입고 화장실 많이 낡았습니다 그래서 동혁 화장실 깔섞샷 있습니다 절대 연필의 웃지 마세요 뜨렸고 낚고 예단을 좋아하시는분만

한 절반 정도만 제대로 된 것 같네요!

4. 마지막으로 번역기

파파고
구글 번역기

마찬가지로, 초반 부분에만 제대로 번역이 되고, 나머지 부분은 한글이 잘못 나왔으니 번역도 잘못 생성되는 것을 볼 수 있습니다.

5. 최종결과비교

생각보다 의도한대로 잘 안돼서 아쉽네요 😢

'한국인뜰만알아뽈쑤있께짝썽하껬씁니따. 히까씨이케부쿠로역에썬 30초또안껄릴만끔가깝찌만쑥쏘까많이낙후뙤어있꼬 엘베없꼬4층이라짐많으면깨꼬쌩합니따. 빠뀌뻘레나왔꼬 화짱씰 많이낡았씁니따. 끄래써 똥 역화짱씰까써 쌌씁니따 쩔때 여끼로오찌마쎄요! 뜨럽꼬 낡꼬 꼐딴을 좋아하씨는 뿐만 까쎄요!'한국인들만 알아들을 수 있게 작성하겠습니다 히가시 이케부쿠로 역에서 30초도 안 걸릴 만큼 가깝지만 이 쑥쑥 가 많이 납부 되어 있고 엘베 없고 사진이라지만 으면 끝 고생 합니다 맛이 빨리 나와 입고 화장실 많이 낡았습니다 그래서 동혁 화장실 깔섞샷 있습니다 절대 연필의 웃지 마세요 뜨렸고 낚고 예단을 좋아하시는분만

6. 더 시도해 볼 것들

몇 가지 생각을 해봤지만, API를 테스트해보는 게 주목적이었기 때문에 추가적인 작업은 해보지 않았습니다.

  • 이미지를 약간 흐리게 해서, OCR 과정에 영향을 준다
  • 쌍자음 등을 없애서 TTS에 영향을 준다.
  • 음성파일의 속도나 피치(pitch)와 같은 것들을 조절해서 STT에 영향을 준다.
  • 문장단위로 STT, TTS를 한다.
  • 중간중간 맞춤법 검사기를 돌린다.

예전에도 이 과정을 한번 돌려봤었는데, Clova API가 계속 개선됨에 따라 결과도 달라지네요!

1년 전 결과

관련자료

Lecturer at Yonsei University

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store