Математический форум Math Help Planet
Обсуждение и решение задач по математике, физике, химии, экономике Теоретический раздел |
Часовой пояс: UTC + 3 часа [ Летнее время ] |
новый онлайн-сервис число, сумма и дата прописью |
|
Часовой пояс: UTC + 3 часа [ Летнее время ] |
Страница 1 из 1 |
[ Сообщений: 9 ] |
|
Автор | Сообщение | |
---|---|---|
Fireman |
|
|
Объясните мне пожалуйста интересно поведение в такой задаче: У меня есть [math]N[/math] экспериментальных точек [math]\left\{ x_i, y_i \right\}[/math], которые я аппроксимирую методом наименьших квадратов (МНК) некоторой функцией [math]f(x, p_1, p_2, ..., p_M)[/math]. Параметры [math]p_i[/math] функции [math]f[/math] нахожу методом градиентного спуска, который чувствителен к локальными минимумам. Меня заинтересовал вопрос, а сколько вообще существует локальных минимумов для МНК моего случая, т.е. для функции [math]S_{ols}(p) = \sum (y_i - f(x_i, p))^2[/math] для некоторого диапазона значений параметра [math]p_{min}...p_{max}[/math]. Оказалось, что чем больше точек я беру, т.е. чем точнее я строю функцию [math]S_{ols}[/math], тем больше локальных минимумов на ней находится. При этом отношение общего числа точек (по сути точности кривой) к кол-ву минимумов стремится к константе (см. график). У меня вопрос - с чем это может быть связано? |
||
Вернуться к началу | ||
atlakatl |
|
|
Вид "некоторой функции" коммерческая тайна?
Вообще, число [math]LocMin \sim[/math] числу [math]p[/math] при функциях типа [math]abs(p_i-p_j)[/math]. МНК здесь полезен. как кошке пиво. А градиент тем более. Я бы перешёл к целым числам и аккуратно, методом ММК - с гнездованием-уточнением на последнем этапе - перебирал бы лок. мин. - один из них будет глобальным. хотя, тут вылазит факториал от числа точек. Ну да компы сейчас мощные. |
||
Вернуться к началу | ||
Fireman |
|
|
atlakatl писал(а): Вид "некоторой функции" коммерческая тайна? да, что то я сплоховал нет, не тайна [math]f = \frac{ a }{ \sqrt{2 \pi } \sigma x } e^{\frac{ (ln(x) - \mu)^2 }{ 2 \sigma^2 } }[/math] [math]a, \sigma, \mu[/math] - это параметры Сначала я методом градиентного спуска нашел оптимальные параметры, а потом взял параметр [math]\mu[/math] и прогнал его по довольно широкому диапазону и смотрел сколько локальных минимумов будет у функции [math]S_{ols}( \mu )[/math]. Если бы [math]S_{ols}[/math] выглядел бы как пила (1 точка выше 2 точка ниже), то полученное отношение было бы равно [math]2[/math] (очень быстро стремилось бы к [math]2[/math]). А здесь тоже есть стремление к некоторой величине и я не могу понять откуда оно вылезло. Возможно это связано с потерей (гулянием) точности при математических рассчетах, но ведь не случайно же все гуляет, а стремится к определённому значению |
||
Вернуться к началу | ||
Fireman |
|
|
atlakatl,
А чем же плох МНК как критерий аппроксимации экспериментальных данных теоретической кривой? Вроде все нормально. Т.е. надо найти такие параметры [math]p_j[/math], при которых [math]\sum\limits_{i}\left( y_i - f(x_i, p_1, p_2, ...) \right) ^2 = min[/math] |
||
Вернуться к началу | ||
atlakatl |
|
|
Вы путаете локальные минимумы - иХ, судя по аналитическому выражению, не более одного, - с ошибками ЧМ, который вы реализовали.
Правда, не представляю, как такое можно реализовать. Я на форуме недавно, но теперь буду знать, что к вашим сообщениям не стоит относиться всерьёз. |
||
Вернуться к началу | ||
Fireman |
|
|
atlakatl писал(а): Я на форуме недавно, но теперь буду знать, что к вашим сообщениям не стоит относиться всерьёз. И чем же я вас так задел? Меня не надо слушать, я же вопрос задаю, значит в этой теме разбираюсь слабо или форум нужен что-ты величиной письки мериться? Я этого в правилах как-то не прочитал atlakatl писал(а): Вы путаете локальные минимумы - иХ, судя по аналитическому выражению, не более одного т.е. вас не смущает, что в выражении формулы МНК присутствуют случайные величины, поэтому я не очень понимаю как минимум может быть один, если кол-во точек много и они описывают случайные данные. Поясните пожалуйста atlakatl писал(а): Правда, не представляю, как такое можно реализовать. Поясните, что вы имели в виду? atlakatl писал(а): с ошибками ЧМ, который вы реализовали в чем именно эти ошибки заключались, поясните PLZ |
||
Вернуться к началу | ||
atlakatl |
|
|
Fireman
Вы внятно объяснили свои тезисы непониманием. Снимаю своё обвинение в троллизме. Как можно реализовать? Например, так измельчить шаг аргумента, что ошибка округления будет влиять на результат самым неожиданным образом. Впрочем, сейчас сам посчитаю. |
||
Вернуться к началу | ||
Fireman |
|
|
atlakatl писал(а): Например, так измельчить шаг аргумента, что ошибка округления будет влиять на результат самым неожиданным образом. Если предположить, что возникает погрешность, при вычислении точек некоторой кривой, то 1) если ошибки точности носят случайных характер, то на выходе у нам должна получиться пила и коэффициент должен стремиться к 2 при стремлении расстояния между соседними точками к 0 2) [более важно!] точность вычислений должна быть скажем на уровне двойной точности 1e-15, и коэффициент будет стремиться к некоторой величине на первых порах относительно плавно, на графике же видно, что на шаге в [math]\frac{ 1 }{ 1000 }[/math] изменение коэффициента устаканивается или вы считается что двойная точность - это 0,001? поэтому очень вероятно, что не в проседании точности дело В итоге приходим к первоначальной постановке вопроса, сколько локальных минимумов у некоторой функции [math]S(p) = \sum\limits_{i} ( \xi_i - f(x_i, p))^2[/math] где [math]f(x, p)[/math] - гладкая функция [math]\xi_i[/math] - случайные величины ([math]i=1..N[/math]) И почему отношения кол-ва локальных минимумов к кол-ву точек (или что тоже самое к расстоянию между соседними точками) ведет себя так - стремится к некоторой величине, не равной 2 |
||
Вернуться к началу | ||
Fireman |
|
|
atlakatl
Разобрался с поведением графика - это мой косяк Я неправильно реализовал формулу подсчета локальных минимумов, в результате у меня считалось отношение длин траектории возрастания функции к общей длине, и коэффициент стремящийся к 2.7 - очень точно функцию описывает А влияние точности на кол-во локальных минимумов будет наблюдаться только на пределе точности (6 знак для одинарной, 15 - для двойной) Тогда остается один вопрос: влияет ли случайная величина [math]\xi[/math] на кол-во минимумов |
||
Вернуться к началу | ||
[ Сообщений: 9 ] |
Похожие темы | Автор | Ответы | Просмотры | Последнее сообщение |
---|---|---|---|---|
Количество минимумов (Матрица Гессе) | 1 |
266 |
22 фев 2020, 22:35 |
|
Рост студентов
в форуме Теория вероятностей |
0 |
288 |
06 окт 2015, 19:34 |
|
Рост человека
в форуме Алгебра |
2 |
449 |
01 мар 2016, 13:22 |
|
Функция замедляющая рост
в форуме Начала анализа и Другие разделы школьной математики |
1 |
421 |
22 май 2017, 10:20 |
|
Рост логарифмической функции
в форуме Теория чисел |
6 |
237 |
06 авг 2022, 20:03 |
|
Определить рост человека
в форуме Алгебра |
10 |
1830 |
28 апр 2014, 15:50 |
|
Кооперация как рост производительности труда | 14 |
990 |
02 мар 2015, 15:31 |
|
Рост погрешности с уменьшением шага
в форуме Численные методы |
0 |
188 |
30 сен 2018, 19:59 |
|
Рост цен на товары в России (опрос)
в форуме Размышления по поводу и без |
4 |
315 |
17 окт 2021, 14:14 |
Часовой пояс: UTC + 3 часа [ Летнее время ] |
Кто сейчас на конференции |
Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 9 |
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете добавлять вложения |