Полиномиальные аппроксимации некоторых функций активации нейронных сетей

Аннотация

Активное внедрение систем машинного обучения ставит актуальную задачу обеспечения их защиты от различных типов атак, направленных на нарушение свойств конфиденциальности, целостности и доступности как обрабатываемых данных, так и обучаемых моделей. Одним из перспективных направлений защиты является разработка конфиденциальных систем машинного обучения, использующих гомоморфные схемы шифрования для защиты моделей и данных. Однако такие схемы могут обрабатывать только полиномиальные функции, что в свою очередь ставит задачу построения полиномиальных аппроксимаций используемых в нейросетевых моделях нелинейных функций. Целью настоящей работы является построение наиболее точных аппроксимаций некоторых широко используемых функций активаций нейронных сетей, а именно ReLU, логистического сигмоида и гиперблолического тангенса, при ограничениях на степень аппроксимирующего полинома, а также оценка влияния точности такой аппроксимации на результат работы нейронной сети в целом. В отличие от опубликованных ранее работ рассматриваются и сравниваются различные способы построения аппроксимирующих полиномов, вводятся метрики точности приближения, приводится конкретный вид аппроксимирующих полиномов, а также соответствующие значения точности приближения. Проводится сравнение с аппроксимациями, приведенными в опубликованных ранее работах. В заключение для простейшей нейронной сети экспериментально оценено влияние точности приближения аппроксимирующего полинома на величину отклонения значений выходных нейронов такой сети от соответствующих значений выходных нейронов исходной сети. Результаты показывают, что для функции ReLU наилучшее приближение может быть получено с помощью численного метода, а для логистического сигмоида и гиперболического тангенса – с помощью полиномов Чебышева. При этом наилучшее приближение из трех рассмотренных функций получено для функции ReLU. Полученные результаты в дальнейшем могут быть использованы при построении аппроксимаций функций активации в конфиденциальных системах машинного обучения.