Алгоритм реализации метода ближайшего соседа в многослойном персептроне
Ключевые слова:
архитектуры нейронных сетей, метод ближайшего соседа, многослойный персептрон, обучение нейронных сетей, линейные нейронные сети, обучающая выборкаАннотация
Известно, что технология реализации задач распознавания и принятия решений на основе классических нейронных сетей имеет ряд сложностей, среди которых необходимость наличия значительной по объему обучающей выборки; длительность и сложность алгоритмов обучения; сложности с выбором параметров структуры сети, таких как количество нейронов, слоев, связей, а также способа соединения нейронов; возможные сбои и не удачи во время обучения с необходимостью повторных изменений параметров сети и повторного обучения. В данной работе рассматривается возможность создания на основе алгоритмов метрических методов распознавания, в частности на основе алгоритма ближайшего соседа, многослойного персептрона с полной системой связей и с пороговой функцией активации. Такая возможность позволяет в итоге создать полносвязный многослойный персептрон, такие параметры которого, как количество нейронов, слоев, а также значение весов и порогов определяются аналитически. Также рассмотрена закономерность, определяющая распределение весовых и пороговых значений для второго и третьего слоя полученного многослойного персептрона, на основе которого предложен алгоритм вычисления пороговых и весовых значений многослойного персептрона, а также приведен пример, реализующий данный алгоритм. Также рассмотрены возможные применения полученных сетей для разных задач.Литература
1. Азаров И.С., Петровский А.А. Формирование персональной модели голоса диктора с универсальным фонетическим пространством признаков на основе искусственной нейронной сети // Труды СПИИРАН. 2014. Вып. 5(36). С. 128–151.
2. Голов Д.В., Красовская Л.В. Нейронные сети и распознание рукописных цифр на основе искусственных нейронных сетей // Исследования технических наук. 2014. № 4(14). С. 18–20.
3. Будко Р.Ю., Старченко И.Б. Создание классификатора мимических движений на основе анализа электромиограммы // Труды СПИИРАН. 2016. № 3(46). С. 76–89.
4. Егорова Е.Г., Мусаев А.А. Система диагностики процесса агломерации // Труды СПИИРАН. 2012. Вып. 3(22). С. 249–259.
5. Ле Т.Ч. Сравнение нейронной сети смас и многослойной нейронной сети в задаче обнаружения dos-атак // Нейрокомпьютеры: разработка, применение. 2016. № 7. С. 65–69.
6. Посягин А.И., Южаков А.А. Разработка двухслойной нейронной сети для само маршрутизирующегося аналого-цифрового преобразователя на основе нейронной сети // Электротехника. 2013. № 11. С. 10–13.
7. Синчук О.Н., Бойко С.Н. Нейронные сети и управление процессом управления электроснабжением объектов от комбинированных электрических сетей // Технiчна електродинамiка. 2014. № 5. С. 53–55.
8. Тимофеев А.В., Дерин О.А. Принципы построения иерархических нейросетей для анализа мульти - изображений // Труды СПИИРАН. 2009. № 10. С. 160–166.
9. Титов А.И. Использование нейросетевой аппроксимации при оценке трудоемкости разработки программного обеспечения // Труды СПИИРАН. 2016. Вып. 1(44). С. 20–30.
10. Уоссермэн Ф. Нейрокомпьютерная техника. Теория и практика // М.: Мир. 1992. 184 с.
11. Mehra P., Wah B.W. Artificial Neural Networks: Concepts and Theory // IEEE Computer Society Press. 1992. vol. 680.
12. Головко В.Л. Нейронные сети: обучение, организация и применение // М.: ИПРЖР. 2001. 256 c.
13. Биргер И.А. Техническая диагностика // М.: Машиностроение. 1978. 240 c.
14. Geidarov P.Sh. Neural Networks on the Basis of the Sample Method // Automatic Control and Computer Sci. New York: Alerton Press. 2009. vol. 43. no. 4. pp. 203–210.
15. Geidarov P.Sh. Multitasking application of neural networks implementing metric methods of recognition // Autom. Remote Control. 2013. vol. 74. no. 9. pp. 1474–1485.
16. Гейдаров П.Ш. Нейронные сети на основе метрических методов распознавания в применении к задачам с нечеткими выводами // Искусственный интеллект и принятие решений. Москва. 2010. №2. С. 77–88.
17. Васин Д.Ю., Аратский А.В. Распознавание символов на основе инвариантных моментов графических изображений // 25 международная конференция GraphiCon 2015. Москва. 2015. С. 259–264.
2. Голов Д.В., Красовская Л.В. Нейронные сети и распознание рукописных цифр на основе искусственных нейронных сетей // Исследования технических наук. 2014. № 4(14). С. 18–20.
3. Будко Р.Ю., Старченко И.Б. Создание классификатора мимических движений на основе анализа электромиограммы // Труды СПИИРАН. 2016. № 3(46). С. 76–89.
4. Егорова Е.Г., Мусаев А.А. Система диагностики процесса агломерации // Труды СПИИРАН. 2012. Вып. 3(22). С. 249–259.
5. Ле Т.Ч. Сравнение нейронной сети смас и многослойной нейронной сети в задаче обнаружения dos-атак // Нейрокомпьютеры: разработка, применение. 2016. № 7. С. 65–69.
6. Посягин А.И., Южаков А.А. Разработка двухслойной нейронной сети для само маршрутизирующегося аналого-цифрового преобразователя на основе нейронной сети // Электротехника. 2013. № 11. С. 10–13.
7. Синчук О.Н., Бойко С.Н. Нейронные сети и управление процессом управления электроснабжением объектов от комбинированных электрических сетей // Технiчна електродинамiка. 2014. № 5. С. 53–55.
8. Тимофеев А.В., Дерин О.А. Принципы построения иерархических нейросетей для анализа мульти - изображений // Труды СПИИРАН. 2009. № 10. С. 160–166.
9. Титов А.И. Использование нейросетевой аппроксимации при оценке трудоемкости разработки программного обеспечения // Труды СПИИРАН. 2016. Вып. 1(44). С. 20–30.
10. Уоссермэн Ф. Нейрокомпьютерная техника. Теория и практика // М.: Мир. 1992. 184 с.
11. Mehra P., Wah B.W. Artificial Neural Networks: Concepts and Theory // IEEE Computer Society Press. 1992. vol. 680.
12. Головко В.Л. Нейронные сети: обучение, организация и применение // М.: ИПРЖР. 2001. 256 c.
13. Биргер И.А. Техническая диагностика // М.: Машиностроение. 1978. 240 c.
14. Geidarov P.Sh. Neural Networks on the Basis of the Sample Method // Automatic Control and Computer Sci. New York: Alerton Press. 2009. vol. 43. no. 4. pp. 203–210.
15. Geidarov P.Sh. Multitasking application of neural networks implementing metric methods of recognition // Autom. Remote Control. 2013. vol. 74. no. 9. pp. 1474–1485.
16. Гейдаров П.Ш. Нейронные сети на основе метрических методов распознавания в применении к задачам с нечеткими выводами // Искусственный интеллект и принятие решений. Москва. 2010. №2. С. 77–88.
17. Васин Д.Ю., Аратский А.В. Распознавание символов на основе инвариантных моментов графических изображений // 25 международная конференция GraphiCon 2015. Москва. 2015. С. 259–264.
An Algorithm Implementing the Method of the Nearest Neighbor in a Multi-Layer Perceptron
Abstract
It is known that the implementation technology of recognition problems, based on the classic neural network, has a number of difficulties such as the need to have a large training set; the duration and complexity of learning algorithms; difficulty with the choice of such network design parameters as the number of neurons, layers, links, as well as ways to connect neurons; there may be no successful learning, with the need to re-change the network settings and re-training. In this paper we consider the possibility of creating a multi-layer perceptron with a full system of connections and with a threshold activation function on the basis of algorithms metric methods of recognition and in particular the nearest neighbor algorithm. It is shown that this method allows you to create a fully connected multilayer perceptron, such parameters of which as the number of neurons, layers, as well as the value of the weights and thresholds, are determined analytically. The distribution of weight and threshold values for the second and third layer is also discussed. On this basis, we have proposed an algorithm for calculating the thresholds and weights of a multilayer perceptron and showed an example of its implementation. The possible applications of the network for different tasks are considered.
Опубликован
2017-03-31
Как цитировать
Гейдаров, П. Ш. (2017). Алгоритм реализации метода ближайшего соседа в многослойном персептроне. Труды СПИИРАН, 2(51), 123-151. https://doi.org/10.15622/sp.51.6
Раздел
Алгоритмы и программные средства
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями:
Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале.
Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале.
Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).
