Математики РУДН и Свободного университета Берлина предложили новый способ использования нейронных сетей для работы с зашумленными данными больших размерностей

Восстановление распределения вероятностей наблюдаемых данных искусственными нейронными сетями — это наиболее важная часть машинного обучения. Распределение вероятностей не только позволяет прогнозировать поведение исследуемой системы, но и количественно оценить неопределенность, с которой делаются прогнозы. Главная трудность заключается в том, что, как правило, наблюдаются лишь сами данные, но их вероятностные распределения в точном виде не доступны. Для решения этой проблемы используют байесовские и близкие к ним приближенные методы. Но их использование увеличивает сложность нейронной сети и соответственно ее обучения.

Математики РУДН и Свободного университета г. Берлина использовали детерминированные веса для нейронных сетей, а выходами сетей закодировали распределения латентных переменных для искомого маргинального (частного) распределения. Анализ динамики обучения таких сетей позволил им получить формулу, которая корректно оценивает дисперсию распределения наблюдаемых данных, несмотря на наличие в данных выбросов. Предложенную модель проверили на разных данных: синтетических и реальных. Новый метод позволяет восстанавливать распределения вероятностей с более высокой точностью по сравнению с другими современными методами. Точность оценивалась по методу AUC (area under the curve — это площадь под графиком, который позволяет оценить среднеквадратичную ошибку предсказаний в зависимости от размера выборки, оцененной сетью как «надежная»; чем выше оценка AUC, тем качественнее предсказания).

Статья опубликована в журнале Artificial Intelligence.