NEVOPT: desenvolvimento de um otimizador de hiperparâmetros baseado em algoritmos evolucionários para modelos de redes neurais artificiais

Abstract

O ajuste de hiperparâmetros é uma etapa fundamental durante o desenvolvimento de uma rede neural artificial (RNA). Um pesquisador que queira utilizar uma RNA em sua pesquisa, durante a criação de um modelo, geralmente passa considerável parte do tempo experimentando e buscando os melhores hiperparâmetros (quantidade de camadas, quantidade de neurônios por camada, função de ativação, taxa de aprendizado etc) para sua rede neural, o que pode implicar em um consumo de tempo considerável dedicado apenas a esta otimização durante a pesquisa. Algoritmos de busca como o Random Search ou Grid Search podem auxiliar esta tarefa, porém, ao passo que o Random Search depende do acaso para apresentar resultados ideais, o Grid Search torna-se, para muitos casos, inviável devido ao tempo de processamento gasto, dependendo do espaço de busca delimitado pelo pesquisador, o que consequentemente limita esta técnica, uma vez que é um algoritmo de força bruta. Alguns otimizadores de hiperparâmetros como o KerasTuner realizam a tarefa de buscar hiperparâmetros de maneira mais inteligente, porém ainda dependem que a arquitetura de redes neurais seja definida previamente pelo especialista. Assim posto, o presente trabalho tem como objetivo apresentar uma abordagem para um otimizador de hiperparâmetros para RNAs, especificamente Multi-layer Perceptron (MLP), Long-Short Term Memory (LSTM), Gated Recurrent Unit (GRU) e Convolutional Neural Networks (CNN), composto por um sistema integrado comparativo que contém os algoritmos evolucionários Artificial Immune Systems (AIS), Particle Swarm Optimization (PSO) e Genetic Algorithm (GA). O otimizador desenvolvido foi aplicado a conjuntos de dados de casos previamente publicados e a problemas amplamente conhecidos, visando avaliar sua capacidade de encontrar um conjunto otimizado de hiperparâmetros de forma automática. Para problemas de regressão, foram selecionados dois benchmarks. O primeiro consiste de um problema de previsão de velocidade do vento e o segundo se refere a um problema de previsão de níveis de ozônio troposférico. O otimizador também foi avaliado e aplicado ao problema amplamente conhecido de classificação de dígitos escritos a mão do Modified National Institute of Standards and Technology (MNIST) e ao problema de classificação de peças de roupa do fashionMNIST. Para esses problemas de regressão e classificação, foram encontrados melhores resultados quando comparados ao Random Search e melhores, ou equiparáveis, ao KerasTuner e aos encontrados na literatura.

Hyperparameter tuning is a fundamental step during the development of an artificial neural network (ANN). A researcher who wants to use an ANN in your research, during the creation of a model, usually spends considerable part of the time experimenting and looking for the best hyperparameters (number of layers, number of neurons per layer, activation function, learning rate, etc.) your neural network, which can imply a considerable time consumption dedicated just to this optimization during the search. Search algorithms like Random Search or Grid Search can help with this task, however, while Random Search depends on chance to deliver optimal results, Grid Search becomes, for many cases, unfeasible due to the processing time spent, depending on the search space delimited by the researcher, which consequently limits this technique, since it is a brute force algorithm. Some hyperparameter optimizers like KerasTuner perform the task of fetching hyperparameters more intelligently, but still depend that the architecture of neural networks is previously defined by the specialist. Thus, the present work aims to present an approach to a hyperparameter optimizer for ANNs, specifically Multi-layer Perceptron (MLP), Long-Short Term Memory (LSTM), Gated Recurrent Unit (GRU) and Convolutional Neural Networks (CNN), composed of an integrated comparative system that contains the evolutionary algorithms Artificial Immune Systems (AIS), Particle Swarm Optimization (PSO) and Genetic Algorithm (GA). The developed optimizer was applied to sets of data from previously published cases and widely known problems, with a view to evaluate its ability to find an optimized set of hyperparameters in a automatic. For regression problems, two benchmarks were selected. The first consists of a wind speed prediction problem and the second refers to a tropospheric ozone level prediction problem. The optimizer was also evaluated and applied to the well-known problem of sorting handwritten digits of the Modified National Institute of Standards and Technology (MNIST) and the problem of fashionMNIST clothing rating. For these regression problems and classification, better results were found when compared to Random Search and better, or comparable, to KerasTuner and those found in the literature.