Дискуссионный математический форумМатематический форум
Математический форум Math Help Planet

Обсуждение и решение задач по математике, физике, химии, экономике

Теоретический раздел
Часовой пояс: UTC + 3 часа [ Летнее время ]
новый онлайн-сервис
число, сумма и дата прописью

Часовой пояс: UTC + 3 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 9 ] 
Автор Сообщение
 Заголовок сообщения: Рост кол-ва локальных минимумов
СообщениеДобавлено: 12 фев 2019, 18:23 
Не в сети
Одарённый
Зарегистрирован:
20 дек 2016, 11:08
Сообщений: 153
Cпасибо сказано: 2
Спасибо получено:
6 раз в 5 сообщениях
Очков репутации: -3

Добавить очки репутацииУменьшить очки репутации
Приветствую

Объясните мне пожалуйста интересно поведение в такой задаче:

У меня есть [math]N[/math] экспериментальных точек [math]\left\{ x_i, y_i \right\}[/math], которые я аппроксимирую методом наименьших квадратов (МНК) некоторой функцией [math]f(x, p_1, p_2, ..., p_M)[/math]. Параметры [math]p_i[/math] функции [math]f[/math] нахожу методом градиентного спуска, который чувствителен к локальными минимумам.

Меня заинтересовал вопрос, а сколько вообще существует локальных минимумов для МНК моего случая, т.е. для функции
[math]S_{ols}(p) = \sum (y_i - f(x_i, p))^2[/math]
для некоторого диапазона значений параметра [math]p_{min}...p_{max}[/math].

Оказалось, что чем больше точек я беру, т.е. чем точнее я строю функцию [math]S_{ols}[/math], тем больше локальных минимумов на ней находится.
При этом отношение общего числа точек (по сути точности кривой) к кол-ву минимумов стремится к константе (см. график).

У меня вопрос - с чем это может быть связано?

Изображение

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Рост кол-ва локальных минимумов
СообщениеДобавлено: 12 фев 2019, 20:59 
Не в сети
Beautiful Mind
Аватара пользователя
Зарегистрирован:
09 авг 2018, 23:20
Сообщений: 1011
Cпасибо сказано: 32
Спасибо получено:
121 раз в 116 сообщениях
Очков репутации: 8

Добавить очки репутацииУменьшить очки репутации
Вид "некоторой функции" коммерческая тайна?
Вообще, число [math]LocMin \sim[/math] числу [math]p[/math] при функциях типа [math]abs(p_i-p_j)[/math]. МНК здесь полезен. как кошке пиво. А градиент тем более.
Я бы перешёл к целым числам и аккуратно, методом ММК - с гнездованием-уточнением на последнем этапе - перебирал бы лок. мин. - один из них будет глобальным. хотя, тут вылазит факториал от числа точек. Ну да компы сейчас мощные.

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Рост кол-ва локальных минимумов
СообщениеДобавлено: 12 фев 2019, 22:25 
Не в сети
Одарённый
Зарегистрирован:
20 дек 2016, 11:08
Сообщений: 153
Cпасибо сказано: 2
Спасибо получено:
6 раз в 5 сообщениях
Очков репутации: -3

Добавить очки репутацииУменьшить очки репутации
atlakatl писал(а):
Вид "некоторой функции" коммерческая тайна?


да, что то я сплоховал
нет, не тайна

[math]f = \frac{ a }{ \sqrt{2 \pi } \sigma x } e^{\frac{ (ln(x) - \mu)^2 }{ 2 \sigma^2 } }[/math]

[math]a, \sigma, \mu[/math] - это параметры

Сначала я методом градиентного спуска нашел оптимальные параметры, а потом взял параметр [math]\mu[/math] и прогнал его по довольно широкому диапазону и смотрел сколько локальных минимумов будет у функции [math]S_{ols}( \mu )[/math].

Если бы [math]S_{ols}[/math] выглядел бы как пила (1 точка выше 2 точка ниже), то полученное отношение было бы равно [math]2[/math] (очень быстро стремилось бы к [math]2[/math]).

А здесь тоже есть стремление к некоторой величине и я не могу понять откуда оно вылезло.
Возможно это связано с потерей (гулянием) точности при математических рассчетах, но ведь не случайно же все гуляет, а стремится к определённому значению

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Рост кол-ва локальных минимумов
СообщениеДобавлено: 12 фев 2019, 22:34 
Не в сети
Одарённый
Зарегистрирован:
20 дек 2016, 11:08
Сообщений: 153
Cпасибо сказано: 2
Спасибо получено:
6 раз в 5 сообщениях
Очков репутации: -3

Добавить очки репутацииУменьшить очки репутации
atlakatl,

А чем же плох МНК как критерий аппроксимации экспериментальных данных теоретической кривой?
Вроде все нормально.
Т.е. надо найти такие параметры [math]p_j[/math], при которых
[math]\sum\limits_{i}\left( y_i - f(x_i, p_1, p_2, ...) \right) ^2 = min[/math]

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Рост кол-ва локальных минимумов
СообщениеДобавлено: 13 фев 2019, 01:26 
Не в сети
Beautiful Mind
Аватара пользователя
Зарегистрирован:
09 авг 2018, 23:20
Сообщений: 1011
Cпасибо сказано: 32
Спасибо получено:
121 раз в 116 сообщениях
Очков репутации: 8

Добавить очки репутацииУменьшить очки репутации
Вы путаете локальные минимумы - иХ, судя по аналитическому выражению, не более одного, - с ошибками ЧМ, который вы реализовали.
Правда, не представляю, как такое можно реализовать.
Я на форуме недавно, но теперь буду знать, что к вашим сообщениям не стоит относиться всерьёз.

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Рост кол-ва локальных минимумов
СообщениеДобавлено: 13 фев 2019, 18:04 
Не в сети
Одарённый
Зарегистрирован:
20 дек 2016, 11:08
Сообщений: 153
Cпасибо сказано: 2
Спасибо получено:
6 раз в 5 сообщениях
Очков репутации: -3

Добавить очки репутацииУменьшить очки репутации
atlakatl писал(а):
Я на форуме недавно, но теперь буду знать, что к вашим сообщениям не стоит относиться всерьёз.


И чем же я вас так задел?
Меня не надо слушать, я же вопрос задаю, значит в этой теме разбираюсь слабо или форум нужен что-ты величиной письки мериться? Я этого в правилах как-то не прочитал

atlakatl писал(а):
Вы путаете локальные минимумы - иХ, судя по аналитическому выражению, не более одного

т.е. вас не смущает, что в выражении формулы МНК присутствуют случайные величины, поэтому я не очень понимаю как минимум может быть один, если кол-во точек много и они описывают случайные данные.

Поясните пожалуйста

atlakatl писал(а):
Правда, не представляю, как такое можно реализовать.


Поясните, что вы имели в виду?


atlakatl писал(а):
с ошибками ЧМ, который вы реализовали


в чем именно эти ошибки заключались, поясните PLZ

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Рост кол-ва локальных минимумов
СообщениеДобавлено: 13 фев 2019, 19:46 
Не в сети
Beautiful Mind
Аватара пользователя
Зарегистрирован:
09 авг 2018, 23:20
Сообщений: 1011
Cпасибо сказано: 32
Спасибо получено:
121 раз в 116 сообщениях
Очков репутации: 8

Добавить очки репутацииУменьшить очки репутации
Fireman
Вы внятно объяснили свои тезисы непониманием. Снимаю своё обвинение в троллизме.
Как можно реализовать? Например, так измельчить шаг аргумента, что ошибка округления будет влиять на результат самым неожиданным образом.
Впрочем, сейчас сам посчитаю.

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Рост кол-ва локальных минимумов
СообщениеДобавлено: 13 фев 2019, 20:03 
Не в сети
Одарённый
Зарегистрирован:
20 дек 2016, 11:08
Сообщений: 153
Cпасибо сказано: 2
Спасибо получено:
6 раз в 5 сообщениях
Очков репутации: -3

Добавить очки репутацииУменьшить очки репутации
atlakatl писал(а):
Например, так измельчить шаг аргумента, что ошибка округления будет влиять на результат самым неожиданным образом.

Если предположить, что возникает погрешность, при вычислении точек некоторой кривой, то
1) если ошибки точности носят случайных характер, то на выходе у нам должна получиться пила и коэффициент должен стремиться к 2 при стремлении расстояния между соседними точками к 0
2) [более важно!] точность вычислений должна быть скажем на уровне двойной точности 1e-15, и коэффициент будет стремиться к некоторой величине на первых порах относительно плавно, на графике же видно, что на шаге в [math]\frac{ 1 }{ 1000 }[/math] изменение коэффициента устаканивается или вы считается что двойная точность - это 0,001? поэтому очень вероятно, что не в проседании точности дело

В итоге приходим к первоначальной постановке вопроса, сколько локальных минимумов у некоторой функции

[math]S(p) = \sum\limits_{i} ( \xi_i - f(x_i, p))^2[/math]
где
[math]f(x, p)[/math] - гладкая функция
[math]\xi_i[/math] - случайные величины ([math]i=1..N[/math])

И почему отношения кол-ва локальных минимумов к кол-ву точек (или что тоже самое к расстоянию между соседними точками) ведет себя так - стремится к некоторой величине, не равной 2

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Рост кол-ва локальных минимумов
СообщениеДобавлено: 14 фев 2019, 10:28 
Не в сети
Одарённый
Зарегистрирован:
20 дек 2016, 11:08
Сообщений: 153
Cпасибо сказано: 2
Спасибо получено:
6 раз в 5 сообщениях
Очков репутации: -3

Добавить очки репутацииУменьшить очки репутации
atlakatl
Разобрался с поведением графика - это мой косяк
Я неправильно реализовал формулу подсчета локальных минимумов, в результате у меня считалось отношение длин траектории возрастания функции к общей длине, и коэффициент стремящийся к 2.7 - очень точно функцию описывает :)

А влияние точности на кол-во локальных минимумов будет наблюдаться только на пределе точности (6 знак для одинарной, 15 - для двойной)

Тогда остается один вопрос:
влияет ли случайная величина [math]\xi[/math] на кол-во минимумов

Вернуться к началу
 Профиль  
Cпасибо сказано 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему      Страница 1 из 1 [ Сообщений: 9 ]

 Похожие темы   Автор   Ответы   Просмотры   Последнее сообщение 
Количество минимумов (Матрица Гессе)

в форуме Исследование операций и Задачи оптимизации

K1b0rg

1

266

22 фев 2020, 22:35

Рост студентов

в форуме Теория вероятностей

TeorVer

0

288

06 окт 2015, 19:34

Рост человека

в форуме Алгебра

RAMSEY

2

449

01 мар 2016, 13:22

Функция замедляющая рост

в форуме Начала анализа и Другие разделы школьной математики

ZaharovRD

1

421

22 май 2017, 10:20

Рост логарифмической функции

в форуме Теория чисел

Viktors

6

237

06 авг 2022, 20:03

Определить рост человека

в форуме Алгебра

Yuliayulia

10

1830

28 апр 2014, 15:50

Кооперация как рост производительности труда

в форуме Интересные задачи участников форума MHP

ALEXIN

14

990

02 мар 2015, 15:31

Рост погрешности с уменьшением шага

в форуме Численные методы

armez

0

188

30 сен 2018, 19:59

Рост цен на товары в России (опрос)

в форуме Размышления по поводу и без

Hoper

4

315

17 окт 2021, 14:14


Часовой пояс: UTC + 3 часа [ Летнее время ]



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 9


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  

Яндекс.Метрика

Copyright © 2010-2023 MathHelpPlanet.com. All rights reserved