vestiagИзвестия Национальной академии наук Беларуси. Серия аграрных наукProceedings of the National Academy of Sciences of Belarus. Agrarian Series1817-72041817-7239The Republican Unitary Enterprise Publishing House "Belaruskaya Navuka"10.29235/1817-7204-2021-59-4-488-500vestiag-597Research ArticleМЕХАНІЗАЦЫЯ І ЭНЕРГЕТЫКАMECHANIZATION AND POWER ENGINEERINGСистема технического зрения распознавания дефектов яблок: обоснование, разработка, испытаниеTechnical vision system for apple defects recognition: justification, development, testinghttps://orcid.org/0000-0002-9102-2816КазакевичП. П.KazakevichP. P.

Казакевич Петр Петрович – член-корреспондент НАН Беларуси, доктор технических наук, профессор, заместитель Председателя Президиума Национальной академии наук Беларуси 

пр. Независимости, 66, 220072 г. Минск

Petr P. Kazakevich - Corresponding Member, Ph.D. (Engineering), Рrofessor

66, Neza visimosti Ave., Minsk 220072

oan2011@mail.ruhttps://orcid.org/0000-0001-9348-8110ЮринА. Н.YurinA. N.

Юрин Антон Николаевич – кандидат технических наук, доцент, заведующий лабораторией

ул. Кнорина, 1, 220049 г. Минск

Anton N. Yurin - Ph.D. (Engineerig), Associate Professor

1, Knorina Str., Minsk 220049

anton-jurin@rambler.ruhttps://orcid.org/0000-0002-3412-9174ПрокоповичГ. А.ProkopovichG. А.

Прокопович Григорий Александрович – кандидат технических наук, доцент, заведующий лабораторией

ул. Сурганова, 6, 220012 г. Минск

Grigory А. Prokopovich - Ph.D. (Technical), Associate Professor

6, Surganova Str., 220012, Minsk

prokopovich@newman.bas-net.byПрезидиум Национальной академии наук БеларусиPresidium of the National Academy of Sciences of BelarusНаучно-практический центр Национальной академии наук Беларуси по механизации сельского хозяйстваScientific and Production Center of the National Academy of Sciences of Belarus for Agricultural MechanizationОбъединенный институт проблем информатики Национальной академии наук БеларусиJoint Institute for Informatics Problems of the National Academy of Sciences of Belarus202105112021594488–500Copyright © Казакевич П.П., Юрин А.Н., Прокопович Г.А., 20212021Казакевич П.П., Юрин А.Н., Прокопович Г.А.Kazakevich P.P., Yurin A.N., Prokopovich G.А.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestiagr.belnauka.by/jour/article/view/597

Наиболее рациональным методом идентификации качества плодов является оптический метод с использованием СИЗ, обладающий точностью и стабильностью измерения, а также дистанционностью и высокой производительностью. В статье представлена классификация систем распознавания качества плодов и обоснована конструктивно-технологическая схема системы технического зрения для их сортировки, состоящая из оптического модуля с установленной структурной подсветкой и видеокамерой, электронного блока управления с интерфейсом и исполнительными механизмами сортировщика и конвейера для плодов. В процессе исследования обоснованы однопоточный тип потока плодов в СИЗ с принудительным их вращением, конструктивно-технологическая схема СТЗ с питающим конвейером, оптическим модулем и блоком управления, разработано программное обеспечение СТЗ на основе алгоритма сегментации цветов плодов, алгоритма трекинга и глубокого обучения ИНС, обеспечивающее распознавание размеров и цветов плодов, а также повреждений от механического воздействия, вредителей и болезней. Разработанная СТЗ внедрена в технологическую линию сортировки и фасовки яблок, ЛСП-4 успешно прошла предварительные испытания и производственную проверку в ОАО «Остромечево». В ходе предварительных испытаний линии ЛСП-4 установлено, что она обеспечивает распознавание плодов с вероятностью не менее 95 %, при этом производительность труда составляет 2,5 т/ч

The most rational method for identifying the quality of fruits is the optical method using PPE, which has the accuracy and stability of measurement, as well as distance and high productivity. The paper presents classification of fruit quality recognition systems and substantiates the design and technological scheme of the vision system for sorting them, consisting of an optical module with installed structural illumination and a video camera, an electronic control unit with an interface and actuators for the sorter and conveyor for fruits. In the course of the study, a single-stream type of fruit flow in PPE with forced rotation was substantiated, a structural and technological scheme of an STZ with a feeding conveyor, an optical module and a control unit, an algorithm for functioning of the STZ software was developed based on algorithm for segmentation of fruit colors, tracking algorithm, etc. deep learning ANN, which provide recognition of the size and color of fruits, as well as damage from mechanical stress, pests and diseases. The developed STZ has been introduced into the processing line for sorting and packing apples, LSP-4 has successfully passed preliminary tests and production tests at OJSC Ostromechevo. In the course of preliminary tests of the LSP-4 line, it was found that it provided fruit recognition with a probability of at least 95%, while the labor productivity made 2.5 t/h.

яблокиповреждения плодовлиния сортировки яблоксистема технического зренияраспознавание плодовалгоритм сегментациитрекингискусственная нейронная сетьглубокое обучениесуперпикселыapplesfruit damageapple sorting linevision systemfruit recognitionsegmentation algorithmtrackingartificial neural networkdeep learningsuperpixelsРабота выполнена в рамках Государственной научно-технической программы «Ин- новационные агропромышленные и продоволь ст венные технологии» на 2021–2025 годы, подпрограмма «Белсельхозмеханизация-2025»The research was carried out as part of the State Research and Technical Program “Innova- tive agroindustrial and food technologies” for 2021-2025, subprogram “Belselkhozmekhanizatsiya-2025”.ReferencesГурьянов, Д. В. Распознавание качества плодов / Л. В. Гурьянов // Робототехника в сельскохозяйственных технологиях : материалы Междунар. науч.-практ. конф., 10–12 нояб. 2014 г. / Мичур. гос. аграр. ун-т. – Мичуринск, 2014. – С. 177–182.Gur’yanov D. V. Recognition of fruit quality. Robototekhnika v sel’skokhozyaistvennykh tekhnologiyakh: materialy Mezhdunarodnoi nauchno-prakticheskoi konferentsii, 10-12 noyabrya 2014 g. [Robotics in agricultural technologies: proceedings of the International scientific and practical conference, November 10-12, 2014]. Michurinsk, 2014, pp. 177-182 (in Russian).Применение методов люминесцентного анализа в системах технического зрения при сортировании плодов / М. В. Кирина [и др.] // Робототехника в сельскохозяйственных технологиях : материалы Междунар. науч.-практ. конф., 10–12 нояб. 2014 г. / Мичур. гос. аграр. ун-т. – Мичуринск, 2014. – С. 188–191.Kirina M. V., Sychev V. A., Chernega A. A., Deryabina M. A., Panoryadov V. M., Divin A. G. Application of methods of luminescence analysis in computer vision systems when sorting fruits. Robototekhnika v sel’skokhozyaistvennykh tekhnologiyakh: materialy Mezhdunarodnoi nauchno-prakticheskoi konferentsii, 10-12 noyabrya 2014 g. [Robotics in agricultural technologies: proceedings of the International scientific and practical conference, November 10-12, 2014]. Michurinsk, 2014, pp. 188-191 (in Russian).Лакомов, Д. В. Обработка изображений при распознавании образов сельскохозяйственной продукции / Д. В. Лакомов // Цифровизация агропромышленного комплекса : сб. науч. ст. I Междунар. науч.-практ. конф., Тамбов, 10–12 окт. 2018 г. : в 2 т. / Тамб. гос. техн. ун-т [и др.]. – Тамбов, 2018. – Т. 1. – С. 261–263.Lakomov D. V. Image processing for image recognition of agricultural products. Tsifrovizatsiya agropromyshlennogo kompleksa: sbornik nauchnykh statei I Mezhdunarodnoi nauchno-prakticheskoi konferentsii, Tambov, 10-12 oktyabrya 2018 g. [Digitalization of Agroindustrial Complex: collection of scientific articles I International scientific and practical conference, Tambov, October 10–12, 2018]. Tambov, 2018, vol. 1, pp. 261-263 (in Russian).Бобров, В. П. Применение систем технического зрения / В. П. Бобров // Механизация и автоматизация пр-ва. – 1989. – № 9. – С. 23–25.Bobrov V. P. Application of technical vision systems. Mekhanizatsiya i avtomatizatsiya proizvodstva [Mechanization and Automation of Production], 1989, no. 9, p. 23-25 (in Russian).Бусаров, Н. А. Сбор и товарная обработка плодов и ягод / Н. А. Бусаров. – М. : Колос, 1970. – 247 с.Busarov N. A. Collection and commodity processing of fruit and berries. Moscow, Kolos Publ., 1970. 247 p. (in Russian).Рудник, Ю. А. Робототехническая система для сортирования яблок / Ю. А. Рудник, С. В. Журавлев // Робототехника в сельскохозяйственных технологиях : материалы Междунар. науч.-практ. конф., 10–12 нояб. 2014 г. / Мичур. гос. аграр. ун-т. – Мичуринск, 2014. – С. 32–34.Rudnik Yu. A., Zhuravlev S. V. Robotic system for sorting apples. Robototekhnika v sel’skokhozyaistvennykh tekhnologiyakh: materialy Mezhdunarodnoi nauchno-prakticheskoi konferentsii, 10-12 noyabrya 2014 g. [Robotics in agricultural technologies: proceedings of the International scientific and practical conference, November 10-12, 2014]. Michurinsk, 2014, pp. 32-34 (in Russian).Разработка алгоритмов системы распознавания ягод земляники садовой при роботизированном сборе / Д. О. Хорт [и др.] // Электротехнологии и электрооборудование в АПК. – 2020. – № 1 (38). – С. 133–141. https://doi.org/10.22314/2658-4859-2020-67-1-133-141Khort D. O., Kutyrev A. I., Smirnov I. G., Filippov R. A., Vershinin R. V. Developing algorithms for a berry recognition system used in robotized harvesting of garden strawberry. Elektrotekhnologii i elektrooborudovanie v APK = Electrical Engineering and Electrical Equipment in Agriculture, 2020, no. 1 (38), pp. 133-141 (in Russian). https://doi.org/10.22314/2658-4859-2020-67-1-133-141Гурьянов, Д. В. Повышение эффективности сортирования яблок на основе цветных телевизионных датчиков : дис. ... канд. техн. наук : 05.20.02 / Д. В. Гурьянов. –Мичуринск, 2004. – 199 л.Gur’yanov D. V. Increasing the efficiency of apple sorting on the basis of color television sensors. Ph.D. Thesis. Michurinsk, 2004. 199 p. (in Russian).Ganganagowdar, N. V. An intelligent computer vision system for vegetables and fruits quality inspection using soft computing techniques / N. V. Ganganagowdar, A. V. Gundad // Agr. Engineering Intern.: CIGR J. – 2019. – Vol. 21, N 3. – P. 171–178.Ganganagowdar N. V., Gundad A. V. An intelligent computer vision system for vegetables and fruits quality inspection using soft computing techniques. Agricultural Engineering International: CIGR Journal, 2019, vol. 21, no. 3, pp. 171-178.Lu, Y. Development of a multispectral Structured Illumination Reflectance Imaging (SIRI) system and its application to bruise detection of apples / Y. Lu, R. Lu // Trans. of the ASABE. – 2017. – Vol. 60, N 4. – P. 1379–1389. https://doi.org/10.13031/trans.12158Lu Y., Lu R. Development of a multispectral Structured Illumination Reflectance Imaging (SIRI) system and its application to bruise detection of apples. Transactions of the ASABE, 2017, vol. 60, no. 4, pp. 1379-1389. https://doi.org/10.13031/trans.12158Гордеев, А. С. Автоматизированная обработка яблок : дис. ... д-ра техн. наук : 05.13.07 / А. С. Гордеев – М., 1996. – 423 л.Gordeev A. S. Automated processing of apples. Ph.D. Thesis. Moscow, 1996. 423 p. (in Russian).Новые технологии и технические средства для механизации работы в садоводстве / Рос. науч.-исслед. ин-т информ. и технико-экон. исслед. по инженер.-техн. обеспечению агропром. комплекса ; подгот.: М. И. Куликов [и др.]. – М. : Росинформагротех, 2012. – 164 с.Kulikov M. I., Vorob’ev V. F., Kosyakin A. S., Bychkov V. V., Kadykalo G. I., Upadysheva G. Yu. (comp.) (et al.). New technologies and technical means for the mechanization of work in horticulture. Moscow, Rosinformagrotekh Publ., 2012. 164 p. (in Russian).Будаговская, О. Н. Универсальная полуавтоматическая установка для сортирования фруктов и овощей по качеству / О. Н. Будаговская // Перспективы отечественного садоводства : тез. докл. II респ. конф. молодых ученых и специалистов / Укр. науч.-исслед. ин-т садоводства ; редкол.: М. В. Андриенко (отв. ред.) [и др.]. – Киев, 1991. – С. 138.Budagovskaya O. N. Universal semi-automatic plant for sorting fruits and vegetables by quality. Perspektivy otechestvennogo sadovodstva: tezisy dokladov II respublikanskoi konferentsii molodykh uchenykh i spetsialistov [Prospects for domestic gardening: abstracts of the II republican conference of young scientists and specialists]. Kiev, 1991, p. 138 (in Russian).Будаговская, О. Н. Оптико-электронный контроль качества яблок : автореф. дис. ... канд. техн. наук: 05.20.02, 05.13.07 / О. Н. Будаговская. – М., 1993. – 24 с.Budagovskaya O. N. Optical-electronic quality control of apples. Abstract of Ph.D. diss. Moscow, 1993. 24 p. (in Russian).Training deep face recognition systems with synthetic data [Electronic resource] / A. Kortylewski [et al.]. – Mode of access: https://arxiv.org/pdf/1802.05891.pdf. – Date of access: 16.04.2018.Kortylewski A., Schneider A., Gerig T., Egger B., Morel-Forster A., Vetter T. Training deep face recognition systems with synthetic data. Available at: https://arxiv.org/pdf/1802.05891.pdf (accessed 16.04.2018).Чигорин, А. Классификация автодорожных знаков на основе свёрточной нейросети, обученной на синтетических данных / А. Чигорин, Б. Моисеев // 22-я Международная конференция по компьютерной графике и зрению, ГрафиКон’2012, 1–5 октября 2012 г., Москва, Россия : тр. конф. = The 22nd International conference on computer graphics and vision: GrafiCon’2012, October 1–5, 2012, Moscow, Russia : conf. proc. / Моск. гос. ун-т. – М., 2012. – С. 284–287.Chigorin A., Moiseev B. Classification of road signs based on a convolutional neural network trained on synthetic data. 22-ya Mezhdunarodnaya konferentsiya po komp’yuternoi grafike i zreniyu, GrafiKon’2012, 1-5 oktyabrya 2012 g., Moskva, Rossiya: trudy konferentsii = The 22nd International conference on computer graphics and vision: GrafiCon’2012, October 1–5, 2012, Moscow, Russia: conference proceedings. Moscow, 2012, pp. 284-287 (in Russian).Жиркова, А. А. Автоматизированная система гиперспектрального контроля дефектов яблок / А. А. Жиркова, П. В. Балабанов, А. Г. Дивин // Современная наука: теория, методология, практика : материалы III Всерос. (нац.) науч.-практ. конф., Тамбов, 13–14 апр. 2021 г. / Тамб. гос. техн. ун-т ; редкол.: П. В. Монастырев [и др.]. – Тамбов, 2021. – С. 291–296.Zhirkova A. A., Balabanov P. V., Divin A. G. Automated system for hyperspectral control of apple defects. Sovremennaya nauka: teoriya, metodologiya, praktika: materialy III Vserossiiskoi (natsional’noi) nauchno-prakticheskoi konferentsii, Tambov, 13-14 aprelya 2021 g. [Modern science: theory, methodology, practice: proceedings of the 3rd All-Russian (national) scientific-practical conference, Tambov, April 13-14, 2021]. Tambov, 2021, pp. 291-296 (in Russian).Роботизированный комплекс для сортировки яблок / П. В. Балабанов [и др.] // Цифровизация агропромышленного комплекса : сб. науч. ст. II Междунар. науч.-практ. конф., Тамбов, 21–23 окт. 2020 г. : в 2 т. / Тамб. гос. техн. ун-т [и др.]. – Тамбов, 2020. – Т. 2. – С. 44–47.Balabanov P. V., Divin A.G., Mishchenko S.V., Makarova V. S., Markov A. V., Sadomov Yа. O. Robotic complex for sorting apples. Tsifrovizatsiya agropromyshlennogo kompleksa: sbornik nauchnykh statei II mezhdunarodnoi nauchnoprakticheskoi konferentsii, Tambov, 21-23 oktyabrya 2020 g. = Digitalization of the agro-industrial complex: рroceedings of the II International Scientific and Practical Conference, Tambov, Оctober 21-23, 2020. Tambov, 2020, vol. 2, pp. 44-48 (in Russian).Detection of defects on selected apple cultivars using hyperspectral and multispectral image analysis / P. M. Mehl [et al.] // Appl. Engineering in Agriculture. – 2002. – Vol. 18, N 2. – P. 219–226. https://doi.org/10.13031/2013.7790Mehl P. M., Chao K., Kim M., Chen Y. R. Detection of defects on selected apple cultivars using hyperspectral and multispectral image analysis. Applied Engineering in Agriculture, 2002, vol. 18, no. 2, pp. 219-226. https://doi.org/10.13031/2013.7790Li, C. Genetic algorithms (GAs) and evolutionary strategy to optimize electronic nose sensor selection / C. Li, P. H. Heinemann, P. M. Reed // Trans. of the ASABE. – 2008. – Vol. 51, N 1. – P. 321–330. https://doi.org/10.13031/2013.24208Li C., Heinemann P. H., Reed P. M. Genetic algorithms (GAs) and evolutionary strategy to optimize electronic nose sensor selection. Transactions of the ASABE, 2008, vol. 51, no. 1, pp. 321-330. https://doi.org/10.13031/2013.24208Bennedsen, B. S. Identifying apple surface defects using principal components analysis and artificial neural networks / B. S. Bennedsen, D. L. Peterson, A. Tabb // Trans. of the ASABE. – 2007. – Vol. 50, N 6. – P. 2257–2265. https://doi.org/10.13031/2013.24078Bennedsen B. S., Peterson D. L., Tabb A. Identifying apple surface defects using principal components analysis and artificial neural networks. Transactions of the ASABE, 2007, vol. 50, no. 6, pp. 2257-2265. https://doi.org/10.13031/2013.24078Selective search for object recognition [Electronic resource] / J. R. R. Uijlings [et al.]. – Mode of access: http://www.huppelen.nl/publications/selectiveSearchDraft.pdf. – Date of access: 28.04.2018.Uijlings J. R. R., Van de Sande K. E. A., Gevers T., Smeulders A. W. M. Selective search for object recognition. Available at: http://www.huppelen.nl/publications/selectiveSearchDraft.pdf (accessed 28.04.2018).Faster R-CNN: towards real-time object detection with region proposal networks [Electronic resource] / S. Ren [et al.]. – Mode of access: https://arxiv.org/pdf/1506.01497.pdf. – Date of access: 15.05.2018.Ren S., He K., Girshick R., Sun J. Faster R-CNN: towards real-time object detection with region proposal networks. Available at: https://arxiv.org/pdf/1506.01497.pdf (accessed 15.05.2018).Rethinking the inception architecture for computer vision [Electronic resource] / C. Szegedy [et al.]. – Date of access: https://arxiv.org/pdf/1512.00567.pdf. – Mode of access: 15.05.2018.Szegedy C., Vanhoucke V., Ioffe S., Shlens J. Rethinking the inception architecture for computer vision. Available at: https://arxiv.org/pdf/1512.00567.pdf (accessed 15.05.2018).ImageNet [Electronic resource]. – Mode of access: http://www.image-net.org. – Date of access: 05.04.2018.ImageNet. Available at: http://www.image-net.org (accessed 05.04.2018).LeCun, Y. The MNIST database of handwritten digits [Electronic resource] / Y. LeCun, C. Cortes, C. J. C. Burges. – Mode of access: http://yann.lecun.com/exdb/mnist/. – Date of access: 16.03.2018.LeCun Y., Cortes C., Burges C. J. C. The MNIST database of handwritten digits. Available at: http://yann.lecun.com/exdb/mnist/ (accessed 16.03.2018).Microsoft COCO: Common objects in context / T.-Y. Lin [et al.] // Computer Vision – ECCV 2014 : 13th Europ. conf., Zurich, Switzerland, Sept. 6–12, 2014 : proceedings / ed.: D. Fleet [et al.]. – Cham, 2014. – Pt. 5. – P. 740–755. https://doi.org/10.1007/978-3-319-10602-1_48Lin T.-Y., Belongie S., Maire M., Perona P., Hays J., Ramanan D., Dollár P., Zitnick C. L. Microsoft COCO: Common objects in context. Computer Vision - ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014: proceedings. Cham, 2014, pt. 5, pp. 740-755. https://doi.org/10.1007/978-3-319-10602-1_48Tzutalin/LabelImg [Electronic resource]. – Mode of access: https://github.com/tzutalin/labelImg. – Date of access: 18.06.2018.Tzutalin/LabelImg. Available at: https://github.com/tzutalin/labelImg (accessed 18.06.2018).

The authors declare that there are no conflicts of interest present.