Метод наименьших квадратов - одно из важнейших приложений в приближении функций. Идея состоит в том, чтобы найти такую кривую, чтобы при заданном наборе упорядоченных пар эта функция наилучшим образом приближала данные. Функция может быть прямой, квадратичной, кубической и т. Д.
Идея метода состоит в минимизации суммы квадратов разностей ординат (компонента Y) между точками, созданными выбранной функцией, и точками, принадлежащими набору данных.
Метод наименьших квадратов
Прежде чем описывать метод, мы должны сначала понять, что означает «лучший подход». Предположим, что мы ищем прямую y = b + mx, которая наилучшим образом представляет набор из n точек, а именно {(x1, y1), (x2, y2)…, (xn, yn)}.
Как показано на предыдущем рисунке, если бы переменные x и y были связаны линией y = b + mx, то для x = x1 соответствующее значение y было бы b + mx1. Однако это значение отличается от истинного значения y, которое равно y = y1.
Помните, что на плоскости расстояние между двумя точками задается следующей формулой:
Имея это в виду, чтобы определить способ выбора прямой y = b + mx, которая наилучшим образом аппроксимирует заданные данные, кажется логичным использовать в качестве критерия выбор линии, которая минимизирует сумму квадратов расстояний между точками. и прямо.
Поскольку расстояние между точками (x1, y1) и (x1, b + mx1) равно y1- (b + mx1), наша задача сводится к нахождению чисел m и b, таких, что следующая сумма минимальна:
Линия, удовлетворяющая этому условию, известна как «приближение линии наименьших квадратов к точкам (x1, y1), (x2, y2),…, (xn, yn)».
Как только проблема решена, остается только выбрать метод для нахождения приближения наименьших квадратов. Если точки (x1, y1), (x2, y2),…, (xn, yn) все находятся на прямой y = mx + b, мы будем иметь, что они коллинеарны y:
В этом выражении:
Наконец, если точки не коллинеарны, то y-Au = 0, и проблема может быть переведена в поиск вектора u, для которого евклидова норма минимальна.
Найти минимизирующий вектор u не так сложно, как вы думаете. Поскольку A - это матрица размера nx2, а u - матрица 2 × 1, мы имеем, что вектор Au является вектором в R n и принадлежит образу A, который является подпространством R n с размерностью не больше двух.
Предположим, что n = 3, чтобы показать, какой процедуре следовать. Если n = 3, изображение A будет плоскостью или линией, проходящей через начало координат.
Пусть v - минимизирующий вектор. На рисунке мы видим, что y-Au минимизируется, когда он ортогонален изображению A. То есть, если v - минимизирующий вектор, то случается, что:
Тогда мы можем выразить вышесказанное так:
Это может произойти, только если:
Наконец, решая для v, мы имеем:
Это возможно, поскольку A t A обратим, пока n точек, заданных как данные, не коллинеарны.
Теперь, если бы вместо поиска линии мы хотели найти параболу (выражение которой имело бы форму y = a + bx + cx 2 ), которая была бы лучшим приближением к n точкам данных, процедура была бы такой, как описано ниже.
Если бы n точек данных были в этой параболе, у нас было бы:
Затем:
Точно так же мы можем написать y = Au. Если все точки не находятся в параболе, у нас есть, что y-Au отличен от нуля для любого вектора u, и наша проблема снова заключается в том, чтобы найти вектор u в R3 такой, что его норма --y-Au-- как можно меньше ,
Повторяя предыдущую процедуру, мы можем прийти к выводу, что искомый вектор:
Решенные упражнения
Упражнение 1
Найдите линию, которая лучше всего соответствует точкам (1,4), (-2,5), (3, -1) и (4,1).
Решение
Мы должны:
Затем:
Таким образом, мы заключаем, что линия, которая лучше всего соответствует точкам, определяется следующим образом:
Упражнение 2.
Предположим, что объект упал с высоты 200 м. По мере его падения предпринимаются следующие шаги:
Мы знаем, что высота указанного объекта по истечении времени t определяется как:
Если мы хотим получить значение g, мы можем найти параболу, которая является лучшим приближением к пяти точкам, указанным в таблице, и, таким образом, у нас будет, что коэффициент, сопровождающий t 2, будет разумным приближением к (-1/2) g, если измерения точны.
Мы должны:
И позже:
Таким образом, точки данных соответствуют следующему квадратичному выражению:
Итак, вам необходимо:
Это значение достаточно близко к правильному, то есть g = 9,81 м / с 2 . Чтобы получить более точное приближение к g, необходимо было бы начать с более точных наблюдений.
Для чего это?
В задачах, возникающих в естественных или социальных науках, удобно записывать отношения, существующие между различными переменными, с помощью некоторого математического выражения.
Например, в экономике мы можем связать затраты (C), доход (I) и прибыль (U) с помощью простой формулы:
В физике мы можем связать ускорение, вызванное силой тяжести, время падения объекта и его высоту по закону:
В предыдущем выражении s o - начальная высота указанного объекта, а v o - его начальная скорость.
Однако найти подобные формулы - непростая задача; Обычно дежурный специалист должен работать с большим количеством данных и многократно проводить несколько экспериментов (чтобы убедиться, что полученные результаты постоянны), чтобы найти взаимосвязь между различными данными.
Распространенный способ добиться этого - представить данные, полученные на плоскости, в виде точек и найти непрерывную функцию, которая оптимально аппроксимирует эти точки.
Один из способов найти функцию, которая «наилучшим образом аппроксимирует» заданные данные, - это метод наименьших квадратов.
Кроме того, как мы также видели в упражнении, благодаря этому методу мы можем получить довольно близкие приближения к физическим константам.
Ссылки
- Чарльз В. Кертис Линейная алгебра. Springer-Velarg
- Кай Лай Чунг. Элементарная теория вероятностей со случайными процессами. Springer-Verlag New York Inc
- Ричар Л. Берден и Дж. Дуглас Фейрес. Численный анализ (7ed). Обучение Томпсона.
- Стэнли И. Гроссман. Приложения линейной алгебры. МАКГРОУ-ХИЛЛ / ИНТЕРАМЕРИКАНА-ДЕ-МЕКСИКА
- Стэнли И. Гроссман. Линейная алгебра. МАКГРОУ-ХИЛЛ / ИНТЕРАМЕРИКАНА-ДЕ-МЕКСИКА