ПОБУДОВА ТА НАЛАШТУВАННЯ МОДЕЛЕЙ ГЛИБОКОГО НАВЧАННЯ ДЛЯ РОЗПІЗНАВАННЯ РУКОПИСНИХ І ДРУКОВАНИХ ЦИФР НА ЗОБРАЖЕННЯХ ЧАВУНВОВОЗНИХ КОВШЕЙ
DOI:
https://doi.org/10.31498/2522-9990222020211366Ключові слова:
Keras, TensorFlow, MNIST, python, глибоке навчання, нейронні мережи, розпізнавання цифр.Анотація
В роботі представлені результати побудови та випробування нейронної мережі глибокого навчання для розпізнавання рукописних цифр. Проаналізовані останні публікації з вирішення задач розпізнання та розбору текстів за їх зображенням, обраний ряд прикладних бібліотек для створення програми для проведення експериментів: Keras, TensorFlow, Pandas, Matpoltlib та інші. Побудована інформаційна технологія розпізнавання рукописних номерів чавуновозних ківшів за їхніми фотографіями. Для побудови і навчання моделі була обрана добре відома і досить повна база рукописних цифр MNIST. Модель для розпізнавання цифр включала вхідний і вихідний шари, а також один або кілька прихованих шарів. Навчання моделі проводилося з використанням змінного кількості кроків (епох). Зображення для розпізнавання масштабувати до розміру 28х28 (784 осередки в одновимірному поданні), тому кількість нейронів у вхідному і прихованих шарах приймалося рівним 800. Обробка зображень (фільтрація, масштабування і тощо) проводилася з використанням бібліотеки OpenCV. Для розпізнання кожне зображення цифри перетворювалось до розміру 28х28 і подавалося на вхід попередньо навченої нейронної мережі. Для більш точної і обґрунтованої настройки моделі розпізнавання було випробувано пакет Keras-tuner. Відпрацювання роботи з пакетом Keras-tuner виконувалось на простіших моделях регресійного типу з декількома входами і 1-3 виходами. Встановлено можливість суттєвої оптимізації поведінки моделі. Після оптимізації моделі точність розпізнавання тестових зображень (декількох зображень ківшів) складала близько 100 % Відпрацьована інформаційна технологія виділення області інтересу на фотографіях, що містять рукописні цифри, для подальшого розпізнавання. Показана можливість оптимізації нейронних мереж глибокого навчання, побудованих за допомогою бібліотеки Keras. Встановлено, що достатню точність розпізнавання забезпечує проста модель з щільними повнозв'язними прихованими шарами і оптимізацією параметрів моделі за допомогою пакета Keras Tuner.
Посилання
Schmidhuber J. Deep Learning in Neural Networks: An Overview // Neural Networks.
Vol. 61. P. 85–117.
Mikolov T., Karafiat M., Burget L., Cernocky J., Khudanpur S. Recurrent neural network
based language model // 11th Annual Conference of the International Speech Communication
Association. Japan. 2010. P. 1045–1048.
Николенко С. Глубокое обучение /С.Николенко, А. Кадурин, Е. Архангельская //
СПб.: Питер, 2018. 480 с.
Вьюгин В.В. Математические основы теории машинного обучения и
прогнозирования. М.: 2013. 387 с.
Siddique, Md. Abu & Khan, Mohammad & Arif, Rezoana & Ashrafi, Zahidun. (2018).
Study and Observation of the Variations of Accuracies for Handwritten Digits Recognition with
Various Hidden Layers and Epochs using Neural Network Algorithm.
1109/CEEICT.2018.8628144.
Siddique, Fathma & Sakib, Shadman & Siddique, Md. (2019). Recognition of
Handwritten Digit using Convolutional Neural Network in Python with Tensorflow and
Comparison of Performance for Various Hidden Layers.
Brownlee J. Handwritten Digit Recognition using Convolutional Neural Networks in
Python with Keras / Jason Brownlee. URL: https://machinelearningmastery.com/handwritten-digitrecognition-
using-convolutional-neural-networks-python-keras/ (дата звернення: 16.12.2019)
Arif, Rezoana & Siddique, Md. Abu & Khan, Mohammad & Oishe, Mahjabin. (2018).
Study and Observation of the Variations of Accuracies for Handwritten Digits Recognition with
Various Hidden Layers and Epochs using Convolutional Neural Network. 10.1109/
CEEICT.2018.8628078.
Isogawa, Kenzo & Ida, Takashi & Shiodera, Taichiro & Takeguchi, Tomoyuki. (2017).
Deep Shrinkage Convolutional Neural Network for Adaptive Noise Reduction. IEEE Signal
Processing Letters. PP. 1-1. 10.1109/LSP.2017.2782270.
Tavanaei, Amirhossein & Maida, Anthony. (2017). Multi-Layer Unsupervised
Learning in a Spiking Convolutional Neural Network. 10.1109/IJCNN.2017.7966099.
Sable A. Building Custom Deep Learning Based OCR models / Anuj Sable URL:
https://nanonets.com/blog/attention-ocr-for-text-recogntion/ (дата звернення: 16.12.2019)
LeCun Y. The MNIST database of handwritten digits //
Grother P.J. Nist special database 19 – handprinted forms and characters database //
National Institute of Standards and Thechnology (NIST), Tech. Rep. 1995.
