수어 번역 프로그램(sign language translator in hospital)

대다수의 수어 번역 프로그램은 위와 같은 정지된 이미지(지화)에 대한 번역을 제공하고 있다.
또한 rnn을 이용하여 동적인 이미지를 번역하는 프로그램은 속도 저하로 인해 실시간 번역을 제공하기 어렵다는 문제가 있다.

이에 따라 동적인 이미지를 번역하면서도 실시간으로, 빠르게 수어를 번역할 수 있는 방법을 생각해보았다.
이 방법을 고민하는 데만 몇 달이 소요됐다.

방법은 수어 동작 별로 핵심 이미지를 검출하는 것.

예를 들면 '아파트'라는 단어의 경우,
sldict.korean.go.kr/front/sign/signContentsView.do?origin_no=11964&top_category=CTE&category=&searchKeyword=%EC%95%84%ED%8C%8C%ED%8A%B8&searchCondition=&search_gubun=&museum_type=00&current_pos_index=0

국립국어원 한국수어사전

영상을 확인해보면 이 수어는 '양손을 모은 동작' 과 '양 손을 벌린 동작' 으로 구성되어있다.

첫번째 동작과 두번째 동작이다.

이렇게 단어 하나당 2개 정도의 핵심 이미지를 분류했고, 이후에는 이미지번역을 조금 응용한 것이기 때문에 간단하게 구현할 수 있었다. (이미지 번역에 관해서는 앞선 포스팅 참고)
짧은 시간내로 두개의 동작이 순차적으로 검출되면 한국어 단어를 출력하도록 했다.

이건 다른얘긴데.. 한국 수화의 데이터는 거의 찾을 수 없다. 팀원들이 100% 모두 제작하고 라벨링했다.


시연영상이다.
https://www.youtube.com/watch?v=vU0wX_ToSsw&feature=youtu.be

덧.
또한 빠른속도의 번역을 제공하기 위해서는 하드웨어적인 제한이 있다. GPU가 내장된 노트북이면 속도가 더 빠르다. 이로 인해 핸드폰을 이용한 실시간 번역은 제공하기 어렵다.
만약 핸드폰을 이용한 실시간 번역을 구현하려면 조금 더 많은 공부가 필요할 것이다

2022.01.27

해당 포스팅을 방문해주시는 분들이 지속적으로 늘고 있음을 보고
새롭게 문서화를 시작하고 있다.
핵심 이미지 트레이닝과 단어 출력 과정, 다중쓰레드 과정은 블로그에 기록해두었으니 확인해보시고 혹시 문의사항이 있으시면 연락 주세요.
https://go-ming.tistory.com/24

YOLO를 이용한 핵심 이미지 트레이닝 및 라벨링

https://go-ming.tistory.com/25?category=936238

핵심 이미지 검출 시 단어 출력

https://go-ming.tistory.com/26?category=936238

PYQT를 이용해 UI와 YOLO 연결 시키기

깃허브를 가면 최종 코드를 볼 수 있다.
https://github.com/23bulgogi/sonmari

GitHub - 23bulgogi/sonmari: 수어 번역 프로그램입니다.

#수화번역 #수어번역 #sign-language-recognition #수화 #sign language recognition