Методът на най-малките квадрати се основава на минимизиране. Най-малки квадрати в Excel

Има много приложения, тъй като позволява приблизително представяне на дадена функция от други по-прости. LSM може да бъде изключително полезен при обработката на наблюдения и се използва активно за оценка на някои количества от резултатите от измервания на други, съдържащи случайни грешки. В тази статия ще научите как да прилагате изчисления с помощта на метода най-малки квадратив Excel.

Постановка на проблема на конкретен пример

Да предположим, че има два индикатора X и Y. Освен това Y зависи от X. Тъй като OLS представлява интерес за нас от гледна точка на регресионния анализ (в Excel неговите методи се изпълняват с помощта на вградени функции), трябва незабавно да продължим за разглеждане на конкретен проблем.

И така, нека X е търговската площ на магазин за хранителни стоки, измерена в квадратни метра, а Y е годишният оборот, определен в милиони рубли.

Изисква се да се направи прогноза какъв оборот (Y) ще има магазинът, ако има една или друга търговска площ. Очевидно функцията Y = f (X) нараства, тъй като хипермаркетът продава повече стоки от щанда.

Няколко думи за коректността на първоначалните данни, използвани за прогнозиране

Да кажем, че имаме изградена таблица с данни за n магазина.

Според математическата статистика резултатите ще бъдат повече или по-малко верни, ако се изследват данните за поне 5-6 обекта. Освен това не могат да се използват "аномални" резултати. По-специално, елитен малък бутик може да има оборот многократно по-голям от оборота на големите магазини от класа „masmarket“.

Същността на метода

Данните от таблицата могат да бъдат показани в декартовата равнина като точки M 1 (x 1, y 1), ... M n (x n, y n). Сега решението на задачата ще се сведе до избора на апроксимираща функция y = f (x), която има графика, минаваща възможно най-близо до точките M 1, M 2, .. M n .

Разбира се, можете да използвате полином с висока степен, но тази опция е не само трудна за изпълнение, но и просто неправилна, тъй като няма да отразява основната тенденция, която трябва да бъде открита. Най-разумното решение е да се търси права линия y = ax + b, която най-добре приближава експерименталните данни и по-точно коефициентите - a и b.

Резултат за точност

За всяка апроксимация оценката на нейната точност е от особено значение. Означаваме с e i разликата (отклонението) между функционалните и експерименталните стойности за точката x i, т.е. e i = y i - f (x i).

Очевидно, за да оцените точността на приближението, можете да използвате сумата от отклоненията, т.е. когато избирате права линия за приблизително представяне на зависимостта на X от Y, трябва да се даде предпочитание на тази, която има най-малката стойност на сумата e i във всички разглеждани точки. Не всичко обаче е толкова просто, тъй като наред с положителните отклонения на практика ще има отрицателни.

Можете да решите проблема, като използвате модулите за отклонение или техните квадрати. Последният метод е най-широко използван. Използва се в много области, включително регресионен анализ (в Excel внедряването му се извършва с помощта на две вградени функции) и отдавна е доказано, че е ефективен.

Метод на най-малките квадрати

В Excel, както знаете, има вградена функция за автоматично събиране, която ви позволява да изчислявате стойностите на всички стойности, разположени в избрания диапазон. Така нищо няма да ни попречи да изчислим стойността на израза (e 1 2 + e 2 2 + e 3 2 + ... e n 2).

В математическа нотация това изглежда така:

Тъй като първоначално беше взето решение за приблизително използване на права линия, имаме:

По този начин задачата за намиране на права линия, която най-добре описва специфична връзка между X и Y, се свежда до изчисляване на минимума на функция от две променливи:

Това изисква приравняване на нула частни производни по отношение на нови променливи a и b и решаване на примитивна система, състояща се от две уравнения с 2 неизвестни от вида:

След прости трансформации, включително деление на 2 и манипулиране на сумите, получаваме:

Решавайки го, например, по метода на Крамер, получаваме стационарна точка с определени коефициенти a * и b * . Това е минимумът, т.е., за да се предвиди какъв оборот ще има магазинът за определен район, е подходяща правата линия y = a * x + b *, която е регресионен модел за въпросния пример. Разбира се, това няма да ви позволи да намерите точния резултат, но ще ви помогне да получите представа дали закупуването на магазин на кредит за определен район ще се изплати.

Как да приложим метода на най-малките квадрати в Excel

Excel има функция за изчисляване на стойността на най-малките квадрати. Има следната форма: ТЕНДЕНЦИЯ (известни Y стойности; известни X стойности; нови X стойности; константа). Нека приложим формулата за изчисляване на OLS в Excel към нашата таблица.

За да направите това, в клетката, в която трябва да се покаже резултатът от изчислението по метода на най-малките квадрати в Excel, въведете знака "=" и изберете функцията "TREND". В прозореца, който се отваря, попълнете съответните полета, като маркирате:

диапазон от известни стойности за Y (в този случай данни за оборот);
диапазон x 1 , …x n , т.е. размерът на търговската площ;
и известни и неизвестни стойности на x, за които трябва да разберете размера на оборота (за информация относно тяхното местоположение в работния лист вижте по-долу).

Освен това във формулата има логическа променлива "Const". Ако въведете 1 в полето, съответстващо на него, това ще означава, че трябва да се извършат изчисления, като се приеме, че b \u003d 0.

Ако трябва да знаете прогнозата за повече от една стойност x, тогава след въвеждане на формулата не трябва да натискате "Enter", а трябва да въведете комбинацията "Shift" + "Control" + "Enter" ("Enter" ) на клавиатурата.

Някои функции

Регресионният анализ може да бъде достъпен дори за манекени. Формулата на Excel за прогнозиране на стойността на масив от неизвестни променливи - "TREND" - може да се използва дори от тези, които никога не са чували за метода на най-малките квадрати. Достатъчно е само да знаете някои характеристики на работата му. По-специално:

Ако подредите диапазона от известни стойности на променливата y в един ред или колона, тогава всеки ред (колона) с известни стойности на x ще се възприема от програмата като отделна променлива.
Ако диапазонът с известен x не е посочен в прозореца TREND, тогава в случай на използване на функцията в Excel, програмата ще го разглежда като масив, състоящ се от цели числа, чийто брой съответства на диапазона с дадените стойности на променливата y.
За да изведете масив от „предсказани“ стойности, изразът на тренда трябва да бъде въведен като формула за масив.
Ако не са посочени нови x стойности, тогава функцията TREND ги счита за равни на известните. Ако те не са посочени, тогава масив 1 се приема като аргумент; 2; 3; 4;…, което е съизмеримо с диапазона с вече зададени параметри y.
Диапазонът, съдържащ новите x стойности, трябва да има същите или повече редове или колони като диапазона с дадените y стойности. С други думи, трябва да е пропорционален на независимите променливи.
Масив с известни x стойности може да съдържа множество променливи. Ако обаче говорим само за един, тогава се изисква диапазоните с дадените стойности на x и y да са съизмерими. В случай на няколко променливи е необходимо диапазонът с дадените стойности на y да се побере в една колона или един ред.

Функция ПРОГНОЗА

Реализира се с помощта на няколко функции. Една от тях се нарича „ПРЕДСКАЗАНЕ“. Той е подобен на TREND, т.е. дава резултат от изчисления, използвайки метода на най-малките квадрати. Но само за един X, за който стойността на Y е неизвестна.

Вече знаете формулите на Excel за манекени, които ви позволяват да предскажете стойността на бъдещата стойност на индикатор според линейна тенденция.

3. Апроксимация на функции чрез метода

най-малки квадрати

Методът на най-малките квадрати се използва при обработката на резултатите от експеримента за приближения (приблизителни) експериментални данни аналитична формула. Конкретната форма на формулата се избира, като правило, от физически съображения. Тези формули могат да бъдат:

и други.

Същността на метода на най-малките квадрати е следната. Нека резултатите от измерването бъдат представени в таблицата:

Таблица 4
				x n
				y n

(3.1)

където f е известна функция, a 0 , a 1 , …, a m - неизвестни постоянни параметри, чиито стойности трябва да бъдат намерени. При метода на най-малките квадрати апроксимацията на функция (3.1) към експерименталната зависимост се счита за най-добра, ако условието

(3.2)

това е суми а квадратичните отклонения на търсената аналитична функция от експерименталната зависимост трябва да са минимални .

Имайте предвид, че функцията Q Наречен нелепък.

Тъй като несъответствието

тогава има минимум. Необходимо условие за минимума на функция от няколко променливи е равенството на нула на всички частни производни на тази функция по отношение на параметрите. По този начин намирането на най-добрите стойности на параметрите на апроксимиращата функция (3.1), т.е. тези стойности, за които Q = Q (a 0 , a 1 , …, a m ) е минимален, свежда се до решаване на системата от уравнения:

(3.3)

Методът на най-малките квадрати може да получи следната геометрична интерпретация: сред безкрайно семейство от линии от даден тип се намира една права, за която сумата от квадратите на разликите в ординатите на експерименталните точки и съответните ординати на точките намерено от уравнението на тази права ще бъде най-малкото.

Намиране на параметрите на линейна функция

Нека експерименталните данни са представени чрез линейна функция:

Необходимо е да изберете такива стойностиа и б , за които функцията

(3.4)

ще бъде минимален. Необходимите условия за минимума на функцията (3.4) се свеждат до системата от уравнения:

След трансформации получаваме система от две линейни уравнения с две неизвестни:

(3.5)

решавайки кои , намираме желаните стойности на параметритеа и б.

Намиране на параметрите на квадратична функция

Ако апроксимиращата функция е квадратична зависимост

тогава неговите параметри a , b , c намерете от минималното условие на функцията:

(3.6)

Минималните условия за функцията (3.6) се свеждат до системата от уравнения:

След трансформациите получаваме система от три линейни уравнения с три неизвестни:

(3.7)

при решавайки което намираме желаните стойности на параметрите a, b и c.

Пример . Нека в резултат на експеримента се получи следната таблица със стойности x и y:

Таблица 5

y i	0,705	0,495	0,426	0,357	0,368	0,406	0,549	0,768

Изисква се апроксимация на експерименталните данни с линейни и квадратични функции.

Решение. Намирането на параметрите на апроксимиращите функции се свежда до решаване на системи от линейни уравнения (3.5) и (3.7). За да разрешим проблема, използваме процесор за електронни таблиципревъзходен.

1. Първо свързваме листове 1 и 2. Въведете експерименталните стойности x i и y iв колони A и B, започвайки от втория ред (в първия ред поставяме заглавията на колоните). След това изчисляваме сумите за тези колони и ги поставяме в десетия ред.

В колони C–G поставете съответно изчислението и сумирането

2. Разкачете листовете По-нататъшните изчисления ще бъдат извършени по подобен начин за линейната зависимост от лист 1 и за квадратичната зависимост от лист 2.

3. Под получената таблица формираме матрица от коефициенти и колонен вектор от свободни членове. Нека решим системата от линейни уравнения по следния алгоритъм:

За да изчислим обратната матрица и матриците за умножение, използваме майстор функциии функции MOBRи МУМНОЖ.

4. В клетъчния блок H2:з 9 въз основа на получените коефициенти изчисляваме стойности на приближаванетополиномy i калк., в блок I 2: I 9 - отклонения D y i = y i експ. - y i калк., в колона J - несъответствието:

Таблици, получени и построени с помощта на Съветници за диаграмиграфиките са показани на фигури 6, 7, 8.

Ориз. 6. Таблица за изчисляване на коефициентите на линейна функция,

приближаващекспериментални данни.

Ориз. 7. Таблица за изчисляване на коефициентите на квадратична функция,

приближаващекспериментални данни.

Ориз. 8. Графично представяне на резултатите от апроксимацията

експериментални данни линейни и квадратични функции.

Отговор. Приблизителни експериментални данни линейна зависимост г = 0,07881 х + 0,442262 с остатъчен Q = 0,165167 и квадратична зависимост г = 3,115476 х 2 – 5,2175 х + 2,529631 с остатъчен Q = 0,002103 .

Задачи. Приближете функцията, дадена от таблични, линейни и квадратични функции.

Таблица 6

№0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

3,030

3,142

3,358

3,463

3,772

3,251

3,170

3,665

№ 1

3,314

3,278

3,262

3,292

3,332

3,397

3,487

3,563

№ 2

1,045

1,162

1,264

1,172

1,070

0,898

0,656

0,344

№ 3

6,715

6,735

6,750

6,741

6,645

6,639

6,647

6,612

№ 4

2,325

2,515

2,638

2,700

2,696

2,626

2,491

2,291

№ 5

1.752

1,762

1,777

1,797

1,821

1,850

1,884

1,944

№ 6

1,924

1,710

1,525

1,370

1,264

1,190

1,148

1,127

№ 7

1,025

1,144

1,336

1,419

1,479

1,530

1,568

1,248

№ 8

5,785

5,685

5,605

5,545

5,505

5,480

5,495

5,510

№ 9

4,052

4,092

4,152

4,234

4,338

4,468

4,599

Метод на най-малките квадрати (OLS, англ. Ordinary Least Squares, OLS) - математически метод, използвани за решаване на различни проблеми, базирани на минимизиране на сумата от квадратните отклонения на някои функции от желаните променливи. Може да се използва за "решаване" на свръхопределени системи от уравнения (когато броят на уравненията надвишава броя на неизвестните), за намиране на решение в случай на обикновени (не свръхопределени) нелинейни системи от уравнения, за приближаване на точковите стойности на някаква функция. OLS е един от основните методи за регресионен анализ за оценка на неизвестни параметри на регресионни модели от извадкови данни.

Енциклопедичен YouTube

1 / 5

✪ Метод на най-малките квадрати. Тема

✪ Най-малки квадрати, урок 1/2. Линейна функция

✪ Иконометрия. Лекция 5. Метод на най-малките квадрати

✪ Митин И. В. - Обработка на резултатите от физ. експеримент - Метод на най-малките квадрати (лекция 4)

✪ Иконометрия: Същността на метода на най-малките квадрати #2

субтитри

История

До началото на XIX век. учените не са имали определени правила за решаване на система от уравнения, в която броят на неизвестните е по-малък от броя на уравненията; Дотогава са използвани определени методи, в зависимост от вида на уравненията и от изобретателността на калкулаторите, и следователно различните калкулатори, като се започне от едни и същи данни от наблюдения, са стигнали до различни заключения. На Гаус (1795) се приписва първото приложение на метода, а Лежандре (1805) независимо го открива и публикува под съвременното му име (фр. Methode des moindres quarres) . Лаплас свързва метода с теорията на вероятностите, а американският математик Адрейн (1808) разглежда неговите вероятностни приложения. Методът е широко разпространен и подобрен с по-нататъшни изследвания на Encke, Bessel, Hansen и други.

Същността на метода на най-малките квадрати

Позволявам x (\displaystyle x)- комплект n (\displaystyle n)неизвестни променливи (параметри), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- набор от функции от този набор от променливи. Проблемът е да се изберат такива ценности x (\displaystyle x)така че стойностите на тези функции да са възможно най-близо до някои стойности y i (\displaystyle y_(i)). По същество говорим за „решението“ на свръхопределената система от уравнения f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m)в посочения смисъл на максималната близост на левия и десни частисистеми. Същността на LSM е да се избере като "мярка за близост" сумата от квадратите на отклоненията на лявата и дясната част | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). По този начин същността на LSM може да се изрази по следния начин:

∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\rightarrow \min _(x)).

Ако системата от уравнения има решение, тогава минимумът на сумата от квадрати ще бъде равен на нула и точните решения на системата от уравнения могат да бъдат намерени аналитично или, например, чрез различни числени методи за оптимизация. Ако системата е свръхопределена, т.е., свободно казано, броят на независимите уравнения е по-голям от броя на неизвестните променливи, тогава системата няма точно решение и методът на най-малките квадрати ни позволява да намерим някакъв „оптимален“ вектор x (\displaystyle x)в смисъл на максимална близост на векторите y (\displaystyle y)и f (x) (\displaystyle f(x))или максималната близост на вектора на отклонение e (\displaystyle e)до нула (близостта се разбира в смисъл на евклидово разстояние).

Пример - система от линейни уравнения

По-специално, методът на най-малките квадрати може да се използва за "решаване" на системата от линейни уравнения

A x = b (\displaystyle Ax=b),

където A (\displaystyle A)матрица с правоъгълен размер m × n, m > n (\displaystyle m\times n,m>n)(т.е. броят на редовете на матрица A е по-голям от броя на необходимите променливи).

Такава система от уравнения обикновено няма решение. Следователно тази система може да бъде "решена" само в смисъл на избор на такъв вектор x (\displaystyle x)за минимизиране на "разстоянието" между векторите A x (\displaystyle Ax)и b (\displaystyle b). За да направите това, можете да приложите критерия за минимизиране на сумата от квадратите на разликите на лявата и дясната част на уравненията на системата, т.е. (A x − b) T (A x − b) → min x (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min _(x)). Лесно е да се покаже, че решението на този проблем за минимизиране води до решението на следната система от уравнения

A T A x = A T b ⇒ x = (A T A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\Rightarrow x=(A^(T)A)^(-1)A^ (T)b).

OLS в регресионен анализ (апроксимация на данни)

Нека има n (\displaystyle n)стойности на някаква променлива y (\displaystyle y)(това може да са резултатите от наблюдения, експерименти и т.н.) и съответните променливи x (\displaystyle x). Предизвикателството е да се направи връзката между y (\displaystyle y)и x (\displaystyle x)приближено чрез някаква известна функция до някои неизвестни параметри b (\displaystyle b), тоест всъщност намирам най-добри стойностипараметри b (\displaystyle b), максимално приближаващи стойностите f (x, b) (\displaystyle f(x, b))към действителните стойности y (\displaystyle y). Всъщност това се свежда до случая на "решение" на свръхопределена система от уравнения по отношение на b (\displaystyle b):

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).

В регресионния анализ и по-специално в иконометрията се използват вероятностни модели на връзката между променливите.

Y t = f (x t, b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

където ε t (\displaystyle \varepsilon _(t))- т.нар случайни грешкимодели.

Съответно и отклоненията на наблюдаваните стойности y (\displaystyle y)от модела f (x, b) (\displaystyle f(x, b))вече се приема в самия модел. Същността на LSM (обикновена, класическа) е да намери такива параметри b (\displaystyle b), при което сумата от квадратните отклонения (грешки, за регресионните модели те често се наричат регресионни остатъци) e t (\displaystyle e_(t))ще бъде минимално:

b ^ O L S = arg ⁡ min b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS(b)),

където R S S (\displaystyle RSS)- Английски. Остатъчната сума на квадратите се определя като:

R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\сума _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

В общия случай този проблем може да бъде решен чрез числени методи за оптимизация (минимизация). В този случай се говори за нелинейни най-малки квадрати(NLS или NLLS - англ. Non-Linear Least Squares). В много случаи може да се получи аналитично решение. За да се реши задачата за минимизиране, е необходимо да се намерят стационарните точки на функцията R S S (b) (\displaystyle RSS(b)), диференцирайки го по отношение на неизвестни параметри b (\displaystyle b), приравняване на производните на нула и решаване на получената система от уравнения:

∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\partial f(x_(t),b))(\partial b))=0).

LSM в случай на линейна регресия

Нека регресионната зависимост е линейна:

y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).

Позволявам ге колонният вектор на наблюденията на променливата, която се обяснява, и X (\displaystyle X)- това е (n × k) (\displaystyle ((n\пъти k)))- матрица на наблюденията на факторите (редовете на матрицата - вектори на стойностите на факторите в това наблюдение, по колони - вектор на стойностите на този фактор във всички наблюдения). Матричното представяне на линейния модел има формата:

y = Xb + ε (\displaystyle y=Xb+\varepsilon ).

Тогава векторът на оценките на обяснената променлива и векторът на регресионните остатъци ще бъдат равни на

y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).

съответно сумата от квадратите на регресионните остатъци ще бъде равна на

R S S = e T e = (y − X b) T (y − X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).

Диференциране на тази функция по отношение на вектора на параметъра b (\displaystyle b)и приравнявайки производните на нула, получаваме система от уравнения (в матрична форма):

(X T X) b = X T y (\displaystyle (X^(T)X)b=X^(T)y).

В дешифрираната матрична форма тази система от уравнения изглежда така:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 3 x t 1 ∑ x t x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x t 1 y x t ∑ 3 y t ⋮ ∑ стил на възпроизвеждане) x t (\y tdisplay) x t (\y t k (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_( tk)\\sum x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ сума x_(t2)x_(tk) \\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_( k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t )\\\vточки \\\сума x_(tk)y_(t)\\\end(pmatrix)))където всички суми се вземат върху всички допустими стойности t (\displaystyle t).

Ако в модела е включена константа (както обикновено), тогава x t 1 = 1 (\displaystyle x_(t1)=1)за всички t (\displaystyle t), следователно в горния ляв ъгъл на матрицата на системата от уравнения е броят на наблюденията n (\displaystyle n), а в останалите елементи на първия ред и първата колона - само сумата от стойностите на променливите: ∑ x t j (\displaystyle \sum x_(tj))и първият елемент от дясната страна на системата - ∑ y t (\displaystyle \sum y_(t)).

Решението на тази система от уравнения дава общата формула за оценки на най-малките квадрати за линейния модел:

b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\right)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).

За аналитични цели последното представяне на тази формула се оказва полезно (в системата от уравнения, когато се дели на n, вместо суми се появяват средни аритметични). Ако данните в регресионния модел центриран, тогава в това представяне първата матрица има значението на примерна ковариационна матрица на фактори, а втората е вектор на ковариации на фактори със зависима променлива. Ако в допълнение данните също са нормализиранв SKO (тоест в крайна сметка стандартизиран), тогава първата матрица има значението на извадковата корелационна матрица на факторите, вторият вектор - векторът на извадковите корелации на факторите със зависимата променлива.

Важно свойство на оценките на LLS за модели с константа- линията на построената регресия минава през центъра на тежестта на извадковите данни, т.е. равенството е изпълнено:

y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\hat (b))_(j)(\bar (x))_(j)).

По-специално, в краен случай, когато единственият регресор е константа, откриваме, че OLS оценката на единичен параметър (самата константа) е равна на средната стойност на обясняваната променлива. Тоест средноаритметичното, известно със своите добри свойстваот законите на големите числа, също е оценка на най-малките квадрати - тя удовлетворява критерия за минимална сума на квадратите на отклонения от него.

Най-простите специални случаи

В случай на двойна линейна регресия y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), когато се оценява линейната зависимост на една променлива от друга, формулите за изчисление се опростяват (можете да правите без матрична алгебра). Системата от уравнения има формата:

(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline(xy))\\\end(pmatrix))).

От тук е лесно да намерите оценки за коефициентите:

( b ^ = Cov ⁡ (x , y) Var ⁡ (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2 , a ^ = y ¯ − b x ¯ . (\displaystyle (\begin(cases) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(cases)))

Въпреки факта, че като цяло моделите с константа са за предпочитане, в някои случаи от теоретични съображения е известно, че константата a (\displaystyle a)трябва да е равно на нула. Например във физиката връзката между напрежение и ток има формата U = I ⋅ R (\displaystyle U=I\cdot R); измерване на напрежение и ток, е необходимо да се оцени съпротивлението. В случая говорим за модел y = b x (\displaystyle y=bx). В този случай, вместо система от уравнения, имаме едно уравнение

(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).

Следователно формулата за оценка на единичен коефициент има формата

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Случаят на полиномен модел

Ако данните са монтирани чрез полиномиална регресионна функция на една променлива f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), след това, възприемане на степени x i (\displaystyle x^(i))като независими фактори за всеки i (\displaystyle i)възможно е да се оценят параметрите на модела въз основа на общата формула за оценка на параметрите на линейния модел. За да направите това, достатъчно е да вземете предвид в общата формула, че с такова тълкуване x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j))и x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Следователно матричните уравнения в този случай ще приемат формата:

(n ∑ n x t ... ∑ n x t k ∑ n x t ∑ n x t 2 ... ∑ n x t k + 1 ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 ... ∑ n x t 2 k) [b 0 b 1 ⋮ b k] = [∑ n y t ∑ n x t y t ⋮ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(t)^(2)&\ldots &\sum \limits _(n)x_(t)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ сума \лимити _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrix)).)

Статистически свойства на оценките на OLS

На първо място, отбелязваме, че за линейните модели оценките на най-малките квадрати са линейни оценки, както следва от горната формула. За безпристрастността на оценките на най-малките квадрати е необходимо и достатъчно да се изпълни най-важното условие на регресионния анализ: математическото очакване на случайна грешка, зависима от факторите, трябва да бъде равно на нула. Това условие е изпълнено, по-специално, ако

математическото очакване на случайни грешки е нула и
факторите и случайните грешки са независими случайни стойности.

Основно е второто условие – състоянието на екзогенни фактори. Ако това свойство не е изпълнено, тогава можем да приемем, че почти всички оценки ще бъдат изключително незадоволителни: те дори няма да бъдат последователни (тоест дори много голямо количество данни не позволява получаването на качествени оценки в този случай). В класическия случай се прави по-силно предположение за детерминизма на факторите, за разлика от случайната грешка, което автоматично означава, че екзогенното условие е изпълнено. В общия случай за съгласуваността на оценките е достатъчно да се удовлетвори условието за екзогенност заедно с конвергенцията на матрицата V x (\displaystyle V_(x))към някаква неизродена матрица, тъй като размерът на извадката нараства до безкрайност.

За да могат, в допълнение към последователността и безпристрастността, (обикновените) оценки на най-малките квадрати също да бъдат ефективни (най-добрите в класа на линейните безпристрастни оценки), трябва да бъдат изпълнени допълнителни свойства на случайна грешка:

Тези допускания могат да бъдат формулирани за ковариационната матрица на вектора на случайните грешки V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).

Линеен модел, който отговаря на тези условия, се нарича класически. OLS оценителите за класическа линейна регресия са безпристрастни, последователни и най-ефективните оценители в класа на всички линейни безпристрастни оценители (в английската литература понякога се използва съкращението син (Най-добрият линеен безпристрастен оценител) е най-добрата линейна безпристрастна оценка; в местната литература по-често се цитира теоремата на Гаус - Марков). Както е лесно да се покаже, ковариационната матрица на вектора на оценките на коефициента ще бъде равна на:

V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

Ефективността означава, че тази ковариационна матрица е "минимална" (всяка линейна комбинация от коефициенти, и по-специално самите коефициенти, имат минимална дисперсия), тоест в класа на линейни безпристрастни оценки оценките на OLS са най-добрите. Диагоналните елементи на тази матрица - дисперсиите на оценките на коефициентите - са важни параметри за качеството на получените оценки. Не е възможно обаче да се изчисли ковариационната матрица, тъй като дисперсията на случайната грешка е неизвестна. Може да се докаже, че безпристрастната и последователна (за класическия линеен модел) оценка на дисперсията на случайните грешки е стойността:

S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).

Замествайки тази стойност във формулата за ковариационната матрица, получаваме оценка на ковариационната матрица. Получените оценки също са безпристрастни и последователни. Важно е също така, че оценката на дисперсията на грешката (и следователно дисперсиите на коефициентите) и оценките на параметрите на модела са независими случайни променливи, което прави възможно получаването на тестова статистика за тестване на хипотези за коефициентите на модела.

Трябва да се отбележи, че ако класическите допускания не са изпълнени, оценките на параметрите на най-малките квадрати не са най-ефективните и, където W (\displaystyle W)е някаква симетрична матрица с положително определено тегло. Обикновените най-малки квадрати са специален случай на този подход, когато матрицата на теглото е пропорционална на матрицата на идентичността. Както е известно, за симетричните матрици (или оператори) има разлагане W = P T P (\displaystyle W=P^(T)P). Следователно този функционал може да бъде представен по следния начин e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), тоест този функционал може да бъде представен като сбор от квадратите на някои трансформирани "остатъци". По този начин можем да разграничим клас от методи на най-малките квадрати - LS-методи (Least Squares).

Доказва се (теорема на Ейткен), че за обобщен линеен регресионен модел (в който не се налагат ограничения върху ковариационната матрица на случайните грешки), най-ефективни (в класа на линейните непредубедени оценки) са оценките на т.нар. обобщени OLS (OMNK, GLS - обобщени най-малки квадрати)- LS-метод с тегловна матрица, равна на обратната ковариационна матрица на случайните грешки: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).

Може да се покаже, че формулата за GLS-оценките на параметрите на линейния модел има формата

B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Ковариационната матрица на тези оценки съответно ще бъде равна на

V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- един)).

Всъщност същността на OLS се състои в определена (линейна) трансформация (P) на оригиналните данни и прилагането на обичайните най-малки квадрати към трансформираните данни. Целта на тази трансформация е, че за трансформираните данни случайните грешки вече отговарят на класическите допускания.

Претеглени най-малки квадрати

В случай на диагонална матрица на тегло (и оттам ковариационната матрица на случайните грешки) имаме така наречените претеглени най-малки квадрати (WLS - Weighted Least Squares). В този случай претеглената сума от квадрати на остатъците на модела е сведена до минимум, т.е. всяко наблюдение получава „тегло“, което е обратно пропорционално на дисперсията на случайната грешка в това наблюдение: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ сигма _(t)^(2)))). Всъщност данните се трансформират чрез претегляне на наблюденията (разделяне на количество, пропорционално на приетото стандартно отклонение на случайните грешки), а нормалните най-малки квадрати се прилагат към претеглените данни.

ISBN 978-5-7749-0473-0.

Иконометрия. Учебник / Изд. Елисеева I. I. - 2-ро изд. - М. : Финанси и статистика, 2006. - 576 с. - ISBN 5-279-02786-3.

Александрова Н.В.История на математическите термини, понятия, обозначения: речник-справочник. - 3-то изд. - М. : LKI, 2008. - 248 с. - ISBN 978-5-382-00839-4.И. В. Митин, Русаков В. С. Анализ и обработка на експериментални данни – 5-то издание – 24стр.

След подравняване получаваме функция от следния вид: g (x) = x + 1 3 + 1 .

Можем да апроксимираме тези данни с линейна зависимост y = a x + b чрез изчисляване на подходящите параметри. За да направим това, ще трябва да приложим така наречения метод на най-малките квадрати. Ще трябва също да направите чертеж, за да проверите коя линия ще подравни най-добре експерименталните данни.

Какво точно е OLS (метод на най-малките квадрати)

Основното, което трябва да направим, е да намерим такива коефициенти на линейна зависимост, при които стойността на функцията на две променливи F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 ще бъде най-малката . С други думи, за определени стойности на a и b, сумата от квадратните отклонения на представените данни от получената права линия ще има минимална стойност. Това е смисълът на метода на най-малките квадрати. Всичко, което трябва да направим, за да решим примера, е да намерим екстремума на функцията на две променливи.

Как да изведем формули за изчисляване на коефициентите

За да се изведат формули за изчисляване на коефициентите, е необходимо да се състави и реши система от уравнения с две променливи. За да направим това, ние изчисляваме частните производни на израза F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 по отношение на a и b и ги приравняваме на 0 .

δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n y i ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

За да решите система от уравнения, можете да използвате всякакви методи, като например заместване или метод на Крамер. В резултат на това трябва да получим формули, които изчисляват коефициентите по метода на най-малките квадрати.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n

Изчислихме стойностите на променливите, за които функцията
F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 ще приеме минималната стойност. В трети параграф ще докажем защо е така.

Това е приложението на метода на най-малките квадрати на практика. Неговата формула, която се използва за намиране на параметъра a, включва ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 и параметъра
n - това означава количеството експериментални данни. Съветваме ви да изчислявате всяка сума поотделно. Стойността на коефициента b се изчислява непосредствено след a .

Да се върнем към оригиналния пример.

Пример 1

Тук имаме n равно на пет. За да направим по-удобно изчисляването на необходимите суми, включени във формулите на коефициента, попълваме таблицата.

	i = 1	i = 2	i = 3	i = 4	i = 5	∑ i = 1 5
x i	0	1	2	4	5	12
y i	2 , 1	2 , 4	2 , 6	2 , 8	3	12 , 9
x i y i	0	2 , 4	5 , 2	11 , 2	15	33 , 8
x i 2	0	1	4	16	25	46

Решение

Четвъртият ред съдържа данните, получени чрез умножаване на стойностите от втория ред по стойностите на третия за всеки отделен i. Петият ред съдържа данните от втория на квадрат. Последната колона показва сумите от стойностите на отделните редове.

Нека използваме метода на най-малките квадрати, за да изчислим коефициентите a и b, от които се нуждаем. За да направите това, заменете желаните стойности от последната колона и изчислете сумите:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n ⇒ a = 5 33 , 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184

Получихме, че желаната апроксимираща права линия ще изглежда като y = 0, 165 x + 2, 184. Сега трябва да определим кой ред ще приближи най-добре данните - g (x) = x + 1 3 + 1 или 0 , 165 x + 2 , 184 . Нека направим оценка, използвайки метода на най-малките квадрати.

За да изчислим грешката, трябва да намерим сумите на квадратните отклонения на данните от линиите σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 и σ 2 = ∑ i = 1 n (y i - g (x i)) 2 , минималната стойност ще съответства на по-подходящ ред.

σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0 , 165 x i + 2 , 184)) 2 ≈ 0 , 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0 , 096

Отговор:тъй като σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0, 165 x + 2, 184.

Методът на най-малките квадрати е ясно показан на графичната илюстрация. Червената линия маркира правата линия g (x) = x + 1 3 + 1, синята линия маркира y = 0, 165 x + 2, 184. Суровите данни са маркирани с розови точки.

Нека обясним защо са необходими точно приближения от този тип.

Те могат да се използват при проблеми, които изискват изглаждане на данни, както и при такива, при които данните трябва да бъдат интерполирани или екстраполирани. Например, в проблема, обсъден по-горе, може да се намери стойността на наблюдаваното количество y при x = 3 или при x = 6. На такива примери сме посветили отделна статия.

Доказателство за метода LSM

За да може функцията да приеме минималната стойност за изчислените a и b, е необходимо в дадена точка матрицата на квадратичната форма на диференциала на функцията на формата F (a, b) = ∑ i = 1 n ( y i - (a x i + b)) 2 е положително определено. Нека ви покажем как трябва да изглежда.

Пример 2

Имаме диференциал от втори ред от следната форма:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2б

Решение

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a ; b) δ a δ b = δ δ F (a ; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n

С други думи, може да се запише по следния начин: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b .

Получихме матрица с квадратична форма M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

В този случай стойностите на отделните елементи няма да се променят в зависимост от a и b. Тази матрица положително определена ли е? За да отговорим на този въпрос, нека проверим дали неговите ъглови минори са положителни.

Изчислете ъглов минор от първи ред: 2 ∑ i = 1 n (x i) 2 > 0 . Тъй като точките x i не съвпадат, неравенството е строго. Ще имаме това предвид при по-нататъшни изчисления.

Изчисляваме ъглов минор от втори ред:

d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2

След това пристъпваме към доказателството на неравенството n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 с помощта на математическа индукция.

Нека проверим дали това неравенство е валидно за произволно n. Нека вземем 2 и изчислим:

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Получихме правилното равенство (ако стойностите x 1 и x 2 не съвпадат).

Нека направим предположението, че това неравенство ще бъде вярно за n , т.е. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – вярно.
Сега нека докажем валидността за n + 1 , т.е. че (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0, ако n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .

Изчисляваме:

(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = 1 n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1) - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Изразът, ограден във фигурни скоби, ще бъде по-голям от 0 (въз основа на това, което предположихме в стъпка 2), а останалите членове ще бъдат по-големи от 0, защото всички те са квадрати от числа. Доказахме неравенството.

Отговор:намерени a и b ще съвпадат най-малката стойностфункции F (a, b) \u003d ∑ i \u003d 1 n (y i - (a x i + b)) 2, което означава, че те са желаните параметри на метода на най-малките квадрати (LSM).

Ако забележите грешка в текста, моля, маркирайте я и натиснете Ctrl+Enter

Метод на най-малките квадрати

Метод на най-малките квадрати ( MNK, OLS, обикновени най-малки квадрати) - един от основните методи за регресионен анализ за оценка на неизвестни параметри на регресионни модели от извадкови данни. Методът се основава на минимизиране на сумата от квадратите на регресионните остатъци.

Трябва да се отбележи, че самият метод на най-малките квадрати може да се нарече метод за решаване на проблем във всяка област, ако решението се състои от или удовлетворява определен критерий за минимизиране на сумата от квадратите на някои функции на неизвестните променливи. Следователно методът на най-малките квадрати може да се използва и за приблизително представяне (апроксимация) на дадена функция чрез други (по-прости) функции, когато се намира набор от величини, които отговарят на уравнения или ограничения, чийто брой надвишава броя на тези величини и т.н.

Същността на МНК

Нека някакъв (параметричен) модел на вероятностна (регресионна) зависимост между (обяснената) променлива ги много фактори (обяснителни променливи) х

където е векторът на неизвестните параметри на модела

- Случайна грешка в модела.

Нека има и примерни наблюдения на стойностите на посочените променливи. Нека е номерът на наблюдение (). След това са стойностите на променливите в -тото наблюдение. След това, за дадени стойности на параметрите b, е възможно да се изчислят теоретичните (моделни) стойности на обяснената променлива y:

Стойността на остатъците зависи от стойностите на параметрите b.

Същността на LSM (обикновен, класически) е да се намерят такива параметри b, за които сумата от квадратите на остатъците (англ. Остатъчен сбор от квадрати) ще бъде минимален:

В общия случай този проблем може да бъде решен чрез числени методи за оптимизация (минимизация). В този случай се говори за нелинейни най-малки квадрати(NLS или NLLS - английски. Нелинейни най-малки квадрати). В много случаи може да се получи аналитично решение. За да се реши задачата за минимизиране, е необходимо да се намерят стационарните точки на функцията чрез диференцирането й по отношение на неизвестните параметри b, приравняването на производните към нула и решаването на получената система от уравнения:

Ако случайните грешки на модела са нормално разпределени, имат една и съща вариация и не са корелирани една с друга, оценките на параметрите на най-малките квадрати са същите като оценките на метода на максималната вероятност (MLM).

LSM в случай на линеен модел

Нека регресионната зависимост е линейна:

Позволявам г- колонен вектор на наблюденията на обяснената променлива и - матрица на факторните наблюдения (редовете на матрицата - вектори на факторните стойности в дадено наблюдение, по колони - вектор на стойностите на даден фактор във всички наблюдения). Матричното представяне на линейния модел има формата:

Тогава векторът на оценките на обяснената променлива и векторът на регресионните остатъци ще бъдат равни на

съответно сумата от квадратите на регресионните остатъци ще бъде равна на

Диференцирайки тази функция по отношение на вектора на параметъра и приравнявайки производните на нула, получаваме система от уравнения (в матрична форма):

За аналитични цели последното представяне на тази формула се оказва полезно. Ако данните в регресионния модел центриран, тогава в това представяне първата матрица има значението на примерна ковариационна матрица на фактори, а втората е вектор на ковариации на фактори със зависима променлива. Ако в допълнение данните също са нормализиранв SKO (тоест в крайна сметка стандартизиран), тогава първата матрица има значението на извадковата корелационна матрица на факторите, вторият вектор - векторът на извадковите корелации на факторите със зависимата променлива.

По-специално, в краен случай, когато единственият регресор е константа, откриваме, че OLS оценката на единичен параметър (самата константа) е равна на средната стойност на обясняваната променлива. Тоест средната аритметична стойност, известна с добрите си свойства от законите на големите числа, също е оценка на най-малките квадрати - тя удовлетворява критерия за минимална сума на квадратите на отклонения от нея.

Пример: проста (по двойки) регресия

В случай на сдвоена линейна регресия, формулите за изчисление са опростени (можете да правите без матрична алгебра):

Свойства на оценките на OLS

На първо място, отбелязваме, че за линейните модели оценките на най-малките квадрати са линейни оценки, както следва от горната формула. За безпристрастни оценки на OLS е необходимо и достатъчно да се изпълни най-важното условие на регресионния анализ: в зависимост от факторите, математическото очакване на случайна грешка трябва да бъде равно на нула. Това условие е изпълнено, по-специално, ако

математическото очакване на случайни грешки е нула и
факторите и случайните грешки са независими случайни променливи.

Основно е второто условие – състоянието на екзогенни фактори. Ако това свойство не е изпълнено, тогава можем да приемем, че почти всички оценки ще бъдат изключително незадоволителни: те дори няма да бъдат последователни (тоест дори много голямо количество данни не позволява получаването на качествени оценки в този случай). В класическия случай се прави по-силно предположение за детерминизма на факторите, за разлика от случайната грешка, което автоматично означава, че екзогенното условие е изпълнено. В общия случай за последователност на оценките е достатъчно да се изпълни условието за екзогенност заедно с конвергенцията на матрицата към някаква неособена матрица с увеличаване на размера на извадката до безкрайност.

Тези предположения могат да бъдат формулирани за ковариационната матрица на вектора на случайната грешка

Линеен модел, който отговаря на тези условия, се нарича класически. OLS оценителите за класическа линейна регресия са безпристрастни, последователни и най-ефективните оценители в класа на всички линейни безпристрастни оценители (в английската литература понякога се използва съкращението син (Най-добрият линеен небазиран оценител) е най-добрата линейна безпристрастна оценка; в местната литература по-често се цитира теоремата на Гаус-Марков). Както е лесно да се покаже, ковариационната матрица на вектора на оценките на коефициента ще бъде равна на:

Обобщени най-малки квадрати

Методът на най-малките квадрати позволява широко обобщение. Вместо да се минимизира сумата от квадрати на остатъците, може да се минимизира някаква положително определена квадратна форма на остатъчния вектор, където е някаква симетрична положително определена матрица на тегло. Обикновените най-малки квадрати са специален случай на този подход, когато матрицата на теглото е пропорционална на матрицата на идентичността. Както е известно от теорията на симетричните матрици (или оператори), за такива матрици има декомпозиция. Следователно посоченият функционал може да бъде представен по следния начин, тоест този функционал може да бъде представен като сбор от квадратите на някои трансформирани "остатъци". По този начин можем да разграничим клас от методи на най-малките квадрати - LS-методи (Least Squares).

Може да се покаже, че формулата за GLS-оценките на параметрите на линейния модел има формата

Ковариационната матрица на тези оценки съответно ще бъде равна на

Претеглени най-малки квадрати

В случай на диагонална матрица на тегло (и оттам ковариационната матрица на случайните грешки) имаме така наречените претеглени най-малки квадрати (WLS - Weighted Least Squares). В този случай претеглената сума от квадрати на остатъците на модела е сведена до минимум, т.е. всяко наблюдение получава "тегло", което е обратно пропорционално на дисперсията на случайната грешка в това наблюдение: . Всъщност данните се трансформират чрез претегляне на наблюденията (разделяне на количество, пропорционално на приетото стандартно отклонение на случайните грешки), а нормалните най-малки квадрати се прилагат към претеглените данни.

Някои частни случаи на приложение на LSM в практиката

Линейна апроксимация

Разгледайте случая, когато в резултат на изследване на зависимостта на определено скаларно количество от определено скаларно количество (Това може да бъде например зависимостта на напрежението от силата на тока: , където е постоянна стойност, съпротивлението на проводника ), тези количества бяха измерени, в резултат на което стойностите и бяха получени съответните им стойности. Данните от измерванията трябва да се записват в таблица.

Таблица. Резултати от измерването.

номер на измерване
1
2
3
4
5
6

Въпросът звучи така: каква стойност на коефициента може да се избере, за да опише най-добре зависимостта? Според най-малките квадрати тази стойност трябва да бъде такава, че сумата от квадратните отклонения на стойностите от стойностите

беше минимален

Сумата от квадратите на отклоненията има един екстремум - минимум, което ни позволява да използваме тази формула. Нека намерим стойността на коефициента от тази формула. За да направим това, трансформираме лявата му страна, както следва:

Последната формула ни позволява да намерим стойността на коефициента , която беше необходима в задачата.

История

До началото на XIX век. учените не са имали определени правила за решаване на система от уравнения, в която броят на неизвестните е по-малък от броя на уравненията; Дотогава са използвани определени методи, в зависимост от вида на уравненията и от изобретателността на калкулаторите, и следователно различните калкулатори, като се започне от едни и същи данни от наблюдения, са стигнали до различни заключения. На Гаус (1795) се приписва първото приложение на метода, а Лежандре (1805) независимо го открива и публикува под съвременното му име (фр. Methode des moindres quarres ) . Лаплас свързва метода с теорията на вероятностите, а американският математик Адрейн (1808) разглежда неговите вероятностни приложения. Методът е широко разпространен и подобрен с по-нататъшни изследвания на Encke, Bessel, Hansen и други.

Алтернативно използване на MNC

Идеята за метода на най-малките квадрати може да се използва и в други случаи, които не са пряко свързани с регресионния анализ. Факт е, че сумата от квадрати е една от най-често срещаните мерки за близост за вектори (Евклидова метрика в крайномерни пространства).

Едно приложение е „решаване“ на системи от линейни уравнения, в които броят на уравненията е по-голям от броя на променливите

където матрицата не е квадратна, а правоъгълна.

Такава система от уравнения в общия случай няма решение (ако рангът действително е по-голям от броя на променливите). Следователно тази система може да бъде "решена" само в смисъл на избор на такъв вектор, за да се минимизира "разстоянието" между векторите и . За да направите това, можете да приложите критерия за минимизиране на сумата от квадратите на разликите на лявата и дясната част на уравненията на системата, т.е. Лесно е да се покаже, че решението на този проблем за минимизиране води до решението на следната система от уравнения