Стаття

Отримано 18.08.2023

Доопрацьовано 01.12.2023

Прийнято 27.12.2023

Взято з Том 27, № 3, 2023

Сторінки 29 -36

Bezverkhiy, O., & Luz, V. (2023). Designing a sign language recognition information system using OpenCV, TensorFlow and Keras implemented in PYTHON. The National Transport University Bulletin, 27(3), 29-36. https://doi.org/10.33744/2308-6645-2023-3-57-027-034

Проектування інформаційної системи розпізнавання мови жестів за допомогою OpenCV, TensorFlow і Keras реалізованих у PYTHON

Олександр Безверхий Владислав Луц

Жестова мова є одним із основних засобів передачі інформації та спілкування, разом із текстом і мовленням. Жестові мови складаються з окремих знаків, які поєднуються в букви, слова, фрази за допомогою послідовного переходу від одного знаку до іншого. У статті розглянуто і розроблено складові інформаційної технології перекладу української жестової мови. Об’єктом дослідження є процес розпізнавання та моделювання дактилем української дактильної мови. Предметом дослідження є методи аналізу зображень дактилем та процесу розпізнавання та моделювання дактилем. Метою даної роботи є проектування інформаційної системи розпізнавання української мови жестів за допомогою Python. У цій статті розглядається інтеграція OpenCV, TensorFlow і Keras, реалізованих у Python, для розробки надійної та точної системи розпізнавання мови жестів. Наведено детальне та покрокове пояснення програмного коду створення інформаційної системи для розпізнавання мови жестів за допомогою OpenCV, TensorFlow і Keras у Python. Створені у процесі дослідження програмні засоби опрацювання та перекладу української жестової мови можна використати під час проектування інформаційної системи перекладу з однієї мови на іншу, що полегшить спілкування осіб із вадами слуху між собою і з тими, хто не володіє жестовою мовою

жестова мова; нейронні мережі; інформаційна система; python; дактильна абетка
  1. Kulbida S.V. Ukrainian dactylology: Scientific method manual. – K.: Pedagogical thought, 2007. – 256 p.
  2. Analysis of modern dactyl sign language recognition systems for sign language translation systems / Lykhosherstov D.O., Lebedev D.Yu. // Scientific notes of TNU named after V.I. Vernadskyi. Series: Technical sciences. – Volume 32 (71), No. 6, 2021. – P. 44–48.
  3. Information technology of dactyl identification of Ukrainian sign language / Yu. V. Krak, O. V. Barmak, V. S. Kasyanyuk, D. V. Shkilnyuk // Control systems and machines. – 2015. – No. 6. – P. 23–28.
  4. Information technology for modeling Ukrainian sign language / Yu. G. Kryvonis, Yu. V. Krak, O. V. Barmak et al. // Artificial Intelligence. – 2009. – No. 3. – P. 186–197.
  5. Kondratyuk S.S., Krak Yu.V. Platform-independent software for the development of gestural communication systems: modeling of dactyl speech // Artificial Intelligence. – 2016. – Vol. 73, Art. 3. – P. 36–47.
  6. Sign language as a full-fledged means of communication. Access mode: https://www.naurok.com.ua/zhestova-mova-yak-povnocinniy-zasib-komunikaci-332294.html
  7. OpenCV is a library for recognizing objects in images and cameras. Access mode: https://blog.desdelinux.net/uk/opencv-library-for-object-recognition-in-images-and-cameras/
  8. TensorFlow Core. Documentation. Access mode: https://www.tensorflow.org/api_docs/python/tf
  9. TensorFlow Core. Keras. Access mode: https://www.tensorflow.org/guide/keras/sequential_model
  10. OpenCV-Python Tutorial. Access mode: https://docs.opencv.org/3.4/d6/d00/tutorial_py_root.html
  11. TensorFlow for Beginners With Examples and Python Implementation. Access mode: https://www.analyticsvidhya.com/blog/2021/11/tensorflow-for-beginners-with-examples-and-pythonimplementation/

https://doi.org/10.33744/2308-6645-2023-3-57-027-034