Синтез нейронной сети для решения логико-арифметических задач
Ключевые слова:
нейронные сети, машинное обучение, логико-арифметические задачи, синтез нейронной сетиАннотация
Одна из основных проблем, стоящих перед разработчиком системы с нейронной сетью — выбор структуры нейронной сети, которая могла бы решать поставленные задачи. В настоящее время нет однозначных рекомендаций по выбору такой структуры и таких параметров, как: количество слоев, количество нейронов в слое, тип нелинейности нейрона, метод обучения, параметры метода обучения и другие. В статье рассматривается подход к синтезу нейронной сети для класса логико-арифметических задач, основанный на формировании сети из предпостроенных элементарных функций. Новизна предлагаемого подхода заключается в формировании нейронной сети по известному алгоритму с использованием предварительно построенных функций. Таким образом, в статье изначально построены элементарные логико-арифметические функции, такие как «и», «или», «исключающее или», «и-не», «или-не», «», «», «>», «<», которые можно использовать для решения более сложных задач. Также приведен пример решения задачи построения функции по выбору максимального числа из четырех чисел, представленных в бинарном виде тремя разрядами. Синтез нейронной сети вышеприведенным способом выполняется с дальнейшей целью получения обобщенной структуры нейронной сети.Литература
1. Krizhevsky A., Sutskever I., Hinton G. E. ImageNet Classification with Deep Convolutional Neural Networks // Proceedings of Neural Information Processing Systems (NIPS). 2012.
2. Graves A., Mohamed A., Hinton G. Speech recognition with deep recurrent neural networks // Proceedings of International Conference on Acoustics, Speech and Signal Processing (ICASSP). 2013.
3. Deng L., Hinton G. E., Kingsbury B. New types of deep neural network learning for speech recognition and related applications: An overview // Proceedings of IEEE International Conference on Acoustic Speech and Signal (ICASSP 2013), 2013.
4. Haykin S. Neural networks and learning machines, 3rd Edition // Pearson Education. 2009. 938 p.
5. Bishop C. Pattern Recognition and Machine Learning (Information Science and Statistics) // Springer. 2007. 738 p.
6. Goodfellow I., Bengio Y., Courville A. Deep Learning // MIT Press. 2016.
7. Haykin S., Deng C. Classification of radar clutter using neural networks // IEEE Transactions on Neural Networks, vol. 2. 1991. pp. 589–600.
8. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction // Springer. 2001.
9. Hagan M., Demuth H., Jesús O. A neural network predictive control system for paper mill wastewater treatment // Engineering Applications of Artificial Intelligence 16(2). 2003. pp. 121-129.
10. Touretzky D.S., Pomerleau D.A. What is hidden in the hidden layers? // Byte, vol. 14, 1989. pp. 227–233.
11. LeCun Y., Bengio Y., Hinton G. Deep learning // Nature, vol. 521, no. 7553. 2015. pp. 436–444.
12. Srivastava N., Hinton G., Krizhevsky A., Sutskever I., Salakhutdinov R. Dropout: A Simple Way to Prevent Neural Networks from Overfitting // Journal of Machine Learning Research 15. 2014. pp. 1929-1958.
13. Mahsereci M., Balles L., Lassner C., Hennig P. Early Stopping without a Validation Set // ArXiv e-prints, May. 2017.
14. Prechelt L. Early Stopping — But When? // Springer Berlin Heidelberg. 2012. pp 53–67.
15. Воевода А.А., Романников Д.О. Асинхронный алгоритм сортировки массива чисел с использованием ингибиторных сетей Петри // Труды СПИИРАН. 2016. Вып. 48. C. 198-213.
16. Воевода А.А., Полубинский В. Л., Романников Д.О. Сортировка массива целых чисел с использованием нейронной сети // Научный Вестник НГТУ. №2(63). 2016. С. 151-157.
17. Voevoda A.A., Romannikov D.O. A Binary Array Asynchronous Sorting Algorithm with Using Petri Nets // Journal of Physics: Conference Series, Volume 803, Number 1, 2017.
2. Graves A., Mohamed A., Hinton G. Speech recognition with deep recurrent neural networks // Proceedings of International Conference on Acoustics, Speech and Signal Processing (ICASSP). 2013.
3. Deng L., Hinton G. E., Kingsbury B. New types of deep neural network learning for speech recognition and related applications: An overview // Proceedings of IEEE International Conference on Acoustic Speech and Signal (ICASSP 2013), 2013.
4. Haykin S. Neural networks and learning machines, 3rd Edition // Pearson Education. 2009. 938 p.
5. Bishop C. Pattern Recognition and Machine Learning (Information Science and Statistics) // Springer. 2007. 738 p.
6. Goodfellow I., Bengio Y., Courville A. Deep Learning // MIT Press. 2016.
7. Haykin S., Deng C. Classification of radar clutter using neural networks // IEEE Transactions on Neural Networks, vol. 2. 1991. pp. 589–600.
8. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction // Springer. 2001.
9. Hagan M., Demuth H., Jesús O. A neural network predictive control system for paper mill wastewater treatment // Engineering Applications of Artificial Intelligence 16(2). 2003. pp. 121-129.
10. Touretzky D.S., Pomerleau D.A. What is hidden in the hidden layers? // Byte, vol. 14, 1989. pp. 227–233.
11. LeCun Y., Bengio Y., Hinton G. Deep learning // Nature, vol. 521, no. 7553. 2015. pp. 436–444.
12. Srivastava N., Hinton G., Krizhevsky A., Sutskever I., Salakhutdinov R. Dropout: A Simple Way to Prevent Neural Networks from Overfitting // Journal of Machine Learning Research 15. 2014. pp. 1929-1958.
13. Mahsereci M., Balles L., Lassner C., Hennig P. Early Stopping without a Validation Set // ArXiv e-prints, May. 2017.
14. Prechelt L. Early Stopping — But When? // Springer Berlin Heidelberg. 2012. pp 53–67.
15. Воевода А.А., Романников Д.О. Асинхронный алгоритм сортировки массива чисел с использованием ингибиторных сетей Петри // Труды СПИИРАН. 2016. Вып. 48. C. 198-213.
16. Воевода А.А., Полубинский В. Л., Романников Д.О. Сортировка массива целых чисел с использованием нейронной сети // Научный Вестник НГТУ. №2(63). 2016. С. 151-157.
17. Voevoda A.A., Romannikov D.O. A Binary Array Asynchronous Sorting Algorithm with Using Petri Nets // Journal of Physics: Conference Series, Volume 803, Number 1, 2017.
Опубликован
2017-10-12
Как цитировать
Воевода, А. А., & Романников, Д. О. (2017). Синтез нейронной сети для решения логико-арифметических задач. Труды СПИИРАН, 5(54), 205-223. https://doi.org/10.15622/sp.54.9
Раздел
Алгоритмы и программные средства
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями:
Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале.
Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале.
Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).
