Η μέθοδος των ελαχίστων τετραγώνων βασίζεται στην ελαχιστοποίηση. Ελάχιστα τετράγωνα στο Excel

Έχει πολλές εφαρμογές, καθώς επιτρέπει μια κατά προσέγγιση αναπαράσταση μιας δεδομένης συνάρτησης από άλλες απλούστερες. Το LSM μπορεί να είναι εξαιρετικά χρήσιμο στην επεξεργασία των παρατηρήσεων και χρησιμοποιείται ενεργά για την εκτίμηση ορισμένων ποσοτήτων από τα αποτελέσματα μετρήσεων άλλων που περιέχουν τυχαία σφάλματα. Σε αυτό το άρθρο, θα μάθετε πώς να πραγματοποιείτε υπολογισμούς χρησιμοποιώντας τη μέθοδο ελάχιστα τετράγωναστο Excel.

Δήλωση του προβλήματος σε συγκεκριμένο παράδειγμα

Ας υποθέσουμε ότι υπάρχουν δύο δείκτες X και Y. Επιπλέον, το Y εξαρτάται από το X. Επειδή το OLS μας ενδιαφέρει από την άποψη της ανάλυσης παλινδρόμησης (στο Excel, οι μέθοδοι του υλοποιούνται χρησιμοποιώντας ενσωματωμένες συναρτήσεις), θα πρέπει να προχωρήσουμε αμέσως να εξετάσει ένα συγκεκριμένο πρόβλημα.

Έτσι, ας είναι το X η περιοχή πώλησης ενός παντοπωλείου, μετρημένη σε τετραγωνικά μέτρα, και το Y είναι ο ετήσιος κύκλος εργασιών, που ορίζεται σε εκατομμύρια ρούβλια.

Απαιτείται να γίνει πρόβλεψη για το τι τζίρο (Υ) θα έχει το κατάστημα αν έχει τον έναν ή τον άλλο χώρο λιανικής. Προφανώς, η συνάρτηση Y = f (X) αυξάνεται, αφού η υπεραγορά πουλάει περισσότερα αγαθά από το περίπτερο.

Λίγα λόγια για την ορθότητα των αρχικών δεδομένων που χρησιμοποιούνται για την πρόβλεψη

Ας υποθέσουμε ότι έχουμε έναν πίνακα κατασκευασμένο με δεδομένα για n καταστήματα.

Σύμφωνα με τις μαθηματικές στατιστικές, τα αποτελέσματα θα είναι λίγο πολύ σωστά εάν εξεταστούν τα δεδομένα για τουλάχιστον 5-6 αντικείμενα. Επίσης, δεν μπορούν να χρησιμοποιηθούν «ανώμαλα» αποτελέσματα. Συγκεκριμένα, μια ελίτ μικρή μπουτίκ μπορεί να έχει τζίρο πολλαπλάσιο από τον τζίρο μεγάλων καταστημάτων της κατηγορίας «masmarket».

Η ουσία της μεθόδου

Τα δεδομένα του πίνακα μπορούν να εμφανιστούν στο καρτεσιανό επίπεδο ως σημεία M 1 (x 1, y 1), ... M n (x n, y n). Τώρα η λύση του προβλήματος θα περιοριστεί στην επιλογή μιας προσεγγιστικής συνάρτησης y = f (x), η οποία έχει μια γραφική παράσταση που περνά όσο το δυνατόν πιο κοντά στα σημεία M 1, M 2, .. M n .

Φυσικά, μπορείτε να χρησιμοποιήσετε ένα πολυώνυμο υψηλού βαθμού, αλλά αυτή η επιλογή δεν είναι μόνο δύσκολη στην εφαρμογή, αλλά απλά λανθασμένη, καθώς δεν θα αντικατοπτρίζει την κύρια τάση που πρέπει να εντοπιστεί. Η πιο λογική λύση είναι να αναζητήσετε μια ευθεία γραμμή y = ax + b, η οποία προσεγγίζει καλύτερα τα πειραματικά δεδομένα, και πιο συγκεκριμένα, τους συντελεστές - a και b.

Βαθμολογία ακρίβειας

Για κάθε προσέγγιση, ιδιαίτερη σημασία έχει η εκτίμηση της ακρίβειάς της. Σημειώστε με e i τη διαφορά (απόκλιση) μεταξύ των λειτουργικών και πειραματικών τιμών για το σημείο x i, δηλ. e i = y i - f (x i).

Προφανώς, για να εκτιμήσετε την ακρίβεια της προσέγγισης, μπορείτε να χρησιμοποιήσετε το άθροισμα των αποκλίσεων, δηλ., όταν επιλέγετε μια ευθεία γραμμή για μια κατά προσέγγιση αναπαράσταση της εξάρτησης του X από το Y, πρέπει να προτιμάτε αυτή που έχει τη μικρότερη τιμή του αθροίσματος e i σε όλα τα υπό εξέταση σημεία. Ωστόσο, δεν είναι όλα τόσο απλά, αφού μαζί με τις θετικές αποκλίσεις, πρακτικά θα υπάρχουν και αρνητικές.

Μπορείτε να λύσετε το πρόβλημα χρησιμοποιώντας τις μονάδες απόκλισης ή τα τετράγωνά τους. Η τελευταία μέθοδος είναι η πιο ευρέως χρησιμοποιούμενη. Χρησιμοποιείται σε πολλούς τομείς, συμπεριλαμβανομένης της ανάλυσης παλινδρόμησης (στο Excel, η υλοποίησή του πραγματοποιείται με χρήση δύο ενσωματωμένων συναρτήσεων) και έχει αποδειχθεί από καιρό ότι είναι αποτελεσματική.

Μέθοδος ελάχιστου τετραγώνου

Στο Excel, όπως γνωρίζετε, υπάρχει μια ενσωματωμένη λειτουργία αυτόματης άθροισης που σας επιτρέπει να υπολογίσετε τις τιμές όλων των τιμών που βρίσκονται στην επιλεγμένη περιοχή. Έτσι, τίποτα δεν θα μας εμποδίσει να υπολογίσουμε την τιμή της παράστασης (e 1 2 + e 2 2 + e 3 2 + ... e n 2).

Στη μαθηματική σημειογραφία, αυτό μοιάζει με:

Δεδομένου ότι αρχικά ελήφθη η απόφαση να γίνει προσέγγιση χρησιμοποιώντας μια ευθεία γραμμή, έχουμε:

Έτσι, το έργο της εύρεσης μιας ευθείας γραμμής που περιγράφει καλύτερα μια συγκεκριμένη σχέση μεταξύ X και Y ισοδυναμεί με τον υπολογισμό του ελάχιστου συνάρτησης δύο μεταβλητών:

Αυτό απαιτεί την εξίσωση με μηδέν μερικών παραγώγων σε σχέση με τις νέες μεταβλητές a και b και την επίλυση ενός αρχέγονου συστήματος που αποτελείται από δύο εξισώσεις με 2 άγνωστα της μορφής:

Μετά από απλούς μετασχηματισμούς, συμπεριλαμβανομένης της διαίρεσης με το 2 και του χειρισμού των αθροισμάτων, έχουμε:

Λύνοντάς το, για παράδειγμα, με τη μέθοδο του Cramer, παίρνουμε ένα ακίνητο σημείο με ορισμένους συντελεστές a * και b * . Αυτό είναι το ελάχιστο, δηλαδή για να προβλέψουμε τι τζίρο θα έχει το κατάστημα για μια συγκεκριμένη περιοχή, είναι κατάλληλη η ευθεία γραμμή y = a * x + b *, η οποία είναι ένα μοντέλο παλινδρόμησης για το εν λόγω παράδειγμα. Φυσικά, δεν θα σας επιτρέψει να βρείτε το ακριβές αποτέλεσμα, αλλά θα σας βοηθήσει να πάρετε μια ιδέα για το εάν η αγορά ενός καταστήματος με πίστωση για μια συγκεκριμένη περιοχή θα αποδώσει.

Πώς να εφαρμόσετε τη μέθοδο των ελαχίστων τετραγώνων στο Excel

Το Excel έχει μια συνάρτηση για τον υπολογισμό της τιμής των ελαχίστων τετραγώνων. Έχει την ακόλουθη μορφή: TREND (γνωστές τιμές Y, γνωστές τιμές X, νέες τιμές X, σταθερά). Ας εφαρμόσουμε τον τύπο για τον υπολογισμό του OLS στο Excel στον πίνακά μας.

Για να το κάνετε αυτό, στο κελί στο οποίο θα πρέπει να εμφανίζεται το αποτέλεσμα του υπολογισμού με τη μέθοδο των ελαχίστων τετραγώνων στο Excel, εισαγάγετε το σύμβολο "=" και επιλέξτε τη συνάρτηση "TREND". Στο παράθυρο που ανοίγει, συμπληρώστε τα κατάλληλα πεδία, επισημαίνοντας:

εύρος γνωστών τιμών για το Y (σε αυτήν την περίπτωση δεδομένα για τον κύκλο εργασιών).
εύρος x 1 , …x n , δηλαδή το μέγεθος του χώρου λιανικής.
και γνωστές και άγνωστες τιμές του x, για τις οποίες πρέπει να μάθετε το μέγεθος του κύκλου εργασιών (για πληροφορίες σχετικά με τη θέση τους στο φύλλο εργασίας, δείτε παρακάτω).

Επιπλέον, υπάρχει μια λογική μεταβλητή "Const" στον τύπο. Εάν εισαγάγετε 1 στο πεδίο που αντιστοιχεί σε αυτό, τότε αυτό θα σημαίνει ότι πρέπει να πραγματοποιηθούν υπολογισμοί, με την προϋπόθεση ότι b \u003d 0.

Εάν πρέπει να γνωρίζετε την πρόβλεψη για περισσότερες από μία τιμές x, τότε αφού εισαγάγετε τον τύπο, δεν πρέπει να πατήσετε "Enter", αλλά πρέπει να πληκτρολογήσετε τον συνδυασμό "Shift" + "Control" + "Enter" ("Enter" ) στο πληκτρολόγιο.

Μερικά Χαρακτηριστικά

Η ανάλυση παλινδρόμησης μπορεί να είναι προσβάσιμη ακόμη και σε ομοιώματα. Ο τύπος του Excel για την πρόβλεψη της τιμής ενός πίνακα άγνωστων μεταβλητών - "TREND" - μπορεί να χρησιμοποιηθεί ακόμα και από όσους δεν έχουν ακούσει ποτέ για τη μέθοδο των ελαχίστων τετραγώνων. Αρκεί μόνο να γνωρίζουμε κάποια χαρακτηριστικά της δουλειάς του. Συγκεκριμένα:

Εάν τακτοποιήσετε το εύρος των γνωστών τιμών της μεταβλητής y σε μία γραμμή ή στήλη, τότε κάθε σειρά (στήλη) με γνωστές τιμές x θα γίνει αντιληπτή από το πρόγραμμα ως ξεχωριστή μεταβλητή.
Εάν η περιοχή με γνωστό x δεν καθορίζεται στο παράθυρο TREND, τότε στην περίπτωση χρήσης της συνάρτησης στο Excel, το πρόγραμμα θα τη θεωρήσει ως πίνακα που αποτελείται από ακέραιους αριθμούς, ο αριθμός των οποίων αντιστοιχεί στην περιοχή με τις δεδομένες τιμές της μεταβλητής y.
Για να εξάγετε έναν πίνακα "προβλεπόμενων" τιμών, η έκφραση τάσης πρέπει να εισαχθεί ως τύπος πίνακα.
Εάν δεν καθορίζονται νέες τιμές x, τότε η συνάρτηση TREND τις θεωρεί ίσες με τις γνωστές. Εάν δεν καθορίζονται, τότε ο πίνακας 1 λαμβάνεται ως όρισμα. 2; 3; 4;…, το οποίο είναι ανάλογο με το εύρος με τις ήδη δεδομένες παραμέτρους y.
Το εύρος που περιέχει τις νέες τιμές x πρέπει να έχει τις ίδιες ή περισσότερες σειρές ή στήλες με το εύρος με τις δεδομένες τιμές y. Με άλλα λόγια, πρέπει να είναι ανάλογη με τις ανεξάρτητες μεταβλητές.
Ένας πίνακας με γνωστές τιμές x μπορεί να περιέχει πολλές μεταβλητές. Ωστόσο, εάν μιλάμε μόνο για ένα, τότε απαιτείται οι περιοχές με τις δεδομένες τιμές των x και y να είναι ανάλογες. Στην περίπτωση πολλών μεταβλητών, είναι απαραίτητο το εύρος με τις δεδομένες τιμές y να χωράει σε μία στήλη ή μία γραμμή.

Λειτουργία FORECAST

Υλοποιείται χρησιμοποιώντας διάφορες λειτουργίες. Ένα από αυτά ονομάζεται «ΠΡΟΒΛΕΨΗ». Είναι παρόμοιο με το TREND, δηλαδή δίνει το αποτέλεσμα των υπολογισμών χρησιμοποιώντας τη μέθοδο των ελαχίστων τετραγώνων. Ωστόσο, μόνο για ένα Χ, για το οποίο η τιμή του Υ είναι άγνωστη.

Τώρα γνωρίζετε τους τύπους του Excel για ανδρείκελα που σας επιτρέπουν να προβλέψετε την τιμή της μελλοντικής τιμής ενός δείκτη σύμφωνα με μια γραμμική τάση.

3. Προσέγγιση συναρτήσεων με τη χρήση της μεθόδου

ελάχιστα τετράγωνα

Η μέθοδος των ελαχίστων τετραγώνων χρησιμοποιείται κατά την επεξεργασία των αποτελεσμάτων του πειράματος για προσεγγίσεις (προσεγγίσεις) πειραματικά δεδομένα αναλυτικός τύπος. Η συγκεκριμένη μορφή του τύπου επιλέγεται, κατά κανόνα, από φυσικούς λόγους. Αυτοί οι τύποι μπορεί να είναι:

και άλλοι.

Η ουσία της μεθόδου των ελαχίστων τετραγώνων είναι η εξής. Αφήστε τα αποτελέσματα των μετρήσεων να παρουσιαστούν στον πίνακα:

Τραπέζι 4
				x n
				y n

(3.1)

όπου στ είναι μια γνωστή συνάρτηση, a 0 , a 1 , …, a m - άγνωστες σταθερές παράμετροι, οι τιμές των οποίων πρέπει να βρεθούν. Στη μέθοδο των ελαχίστων τετραγώνων, η προσέγγιση της συνάρτησης (3.1) στην πειραματική εξάρτηση θεωρείται ότι είναι η καλύτερη εάν η συνθήκη

(3.2)

αυτό είναι ποσά ένα Οι τετράγωνες αποκλίσεις της επιθυμητής αναλυτικής συνάρτησης από την πειραματική εξάρτηση θα πρέπει να είναι ελάχιστες .

Σημειώστε ότι η συνάρτηση Q που ονομάζεται αόρατος.

Από την ασυμφωνία

τότε έχει ένα ελάχιστο. Απαραίτητη προϋπόθεση για το ελάχιστο μιας συνάρτησης πολλών μεταβλητών είναι η ισότητα προς το μηδέν όλων των μερικών παραγώγων αυτής της συνάρτησης ως προς τις παραμέτρους. Έτσι, βρίσκοντας τις καλύτερες τιμές των παραμέτρων της συνάρτησης προσέγγισης (3.1), δηλαδή εκείνων των τιμών για τις οποίες Q = Q (a 0 , a 1 , ..., a m ) είναι ελάχιστο, ανάγεται στην επίλυση του συστήματος των εξισώσεων:

(3.3)

Στη μέθοδο των ελαχίστων τετραγώνων μπορεί να δοθεί η ακόλουθη γεωμετρική ερμηνεία: ανάμεσα σε μια άπειρη οικογένεια γραμμών ενός δεδομένου τύπου, βρίσκεται μια ευθεία για την οποία το άθροισμα των τετραγώνων διαφορών στις τεταγμένες των πειραματικών σημείων και των αντίστοιχων τεταγμένων των σημείων που θα βρεθεί από την εξίσωση αυτής της γραμμής θα είναι η μικρότερη.

Εύρεση των παραμέτρων μιας γραμμικής συνάρτησης

Έστω ότι τα πειραματικά δεδομένα αντιπροσωπεύονται από μια γραμμική συνάρτηση:

Απαιτείται η επιλογή τέτοιων τιμώνα και β , για την οποία η συνάρτηση

(3.4)

θα είναι ελάχιστη. Οι απαραίτητες προϋποθέσεις για το ελάχιστο της συνάρτησης (3.4) ανάγεται στο σύστημα των εξισώσεων:

Μετά από μετασχηματισμούς, παίρνουμε ένα σύστημα δύο γραμμικών εξισώσεων με δύο άγνωστα:

(3.5)

λύνοντας το οποίο, βρίσκουμε τις επιθυμητές τιμές των παραμέτρωνα και β .

Εύρεση των παραμέτρων μιας τετραγωνικής συνάρτησης

Αν η προσεγγιστική συνάρτηση είναι τετραγωνική εξάρτηση

τότε οι παράμετροί του a , b , c βρείτε από την ελάχιστη συνθήκη της συνάρτησης:

(3.6)

Οι ελάχιστες συνθήκες για τη συνάρτηση (3.6) ανάγεται στο σύστημα των εξισώσεων:

Μετά από μετασχηματισμούς, παίρνουμε ένα σύστημα τριών γραμμικών εξισώσεων με τρεις άγνωστους:

(3.7)

στο λύνοντας την οποία βρίσκουμε τις επιθυμητές τιμές των παραμέτρωνα , β και γ .

Παράδειγμα . Ας ληφθεί ο παρακάτω πίνακας τιμών ως αποτέλεσμα του πειράματος x και y:

Τραπέζι 5

y i	0,705	0,495	0,426	0,357	0,368	0,406	0,549	0,768

Απαιτείται η προσέγγιση των πειραματικών δεδομένων με γραμμικές και τετραγωνικές συναρτήσεις.

Λύση. Η εύρεση των παραμέτρων των συναρτήσεων προσέγγισης ανάγεται στην επίλυση συστημάτων γραμμικών εξισώσεων (3.5) και (3.7). Για να λύσουμε το πρόβλημα, χρησιμοποιούμε έναν επεξεργαστή υπολογιστικών φύλλωνπροέχω.

1. Πρώτα συνδέουμε τα φύλλα 1 και 2. Εισαγάγετε τις πειραματικές τιμές x i και y iσε στήλες Α και Β, ξεκινώντας από τη δεύτερη γραμμή (στην πρώτη γραμμή βάζουμε τις επικεφαλίδες των στηλών). Στη συνέχεια υπολογίζουμε τα αθροίσματα για αυτές τις στήλες και τα βάζουμε στη δέκατη σειρά.

Στις στήλες Γ–Γ τοποθετήστε τον υπολογισμό και την άθροιση αντίστοιχα

2. Αποσυνδέστε τα φύλλα. Περαιτέρω υπολογισμοί θα γίνουν με παρόμοιο τρόπο για τη γραμμική εξάρτηση στο Φύλλο 1 και για τη δευτεροβάθμια εξάρτηση από το Φύλλο 2.

3. Κάτω από τον πίνακα που προκύπτει, σχηματίζουμε έναν πίνακα συντελεστών και ένα διάνυσμα στήλης ελεύθερων μελών. Ας λύσουμε το σύστημα γραμμικών εξισώσεων σύμφωνα με τον ακόλουθο αλγόριθμο:

Για να υπολογίσουμε τον αντίστροφο πίνακα και να πολλαπλασιάσουμε πίνακες, χρησιμοποιούμε Κύριος λειτουργίεςκαι λειτουργίες MOBRκαι MUMNOZH.

4. Στο μπλοκ κελιών H2: H 9 με βάση τους ληφθέντες συντελεστές, υπολογίζουμε τιμές της κατά προσέγγισηπολυώνυμοςy i υπολογ., στο μπλοκ I 2: I 9 - αποκλίσεις D y i = y i exp. - y i υπολογ., στη στήλη J - η απόκλιση:

Πίνακες που λαμβάνονται και κατασκευάζονται με τη χρήση Μάγοι γραφημάτωνΤα γραφήματα φαίνονται στα σχήματα 6, 7, 8.

Ρύζι. 6. Πίνακας για τον υπολογισμό των συντελεστών μιας γραμμικής συνάρτησης,

προσεγγίζονταςπειραματικά δεδομένα.

Ρύζι. 7. Πίνακας για τον υπολογισμό των συντελεστών μιας τετραγωνικής συνάρτησης,

προσεγγίζονταςπειραματικά δεδομένα.

Ρύζι. 8. Γραφική αναπαράσταση των αποτελεσμάτων της προσέγγισης

πειραματικά δεδομένα γραμμικές και τετραγωνικές συναρτήσεις.

Απάντηση. Πειραματικά δεδομένα κατά προσέγγιση γραμμική εξάρτηση y = 0,07881 Χ + 0,442262 με υπολειμματικά Q = 0,165167 και τετραγωνική εξάρτηση y = 3,115476 Χ 2 – 5,2175 Χ + 2,529631 με υπολειμματικά Q = 0,002103 .

Καθήκοντα. Να προσεγγίσετε τη συνάρτηση που δίνεται από πινακικές, γραμμικές και τετραγωνικές συναρτήσεις.

Πίνακας 6

№0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

3,030

3,142

3,358

3,463

3,772

3,251

3,170

3,665

№ 1

3,314

3,278

3,262

3,292

3,332

3,397

3,487

3,563

№ 2

1,045

1,162

1,264

1,172

1,070

0,898

0,656

0,344

№ 3

6,715

6,735

6,750

6,741

6,645

6,639

6,647

6,612

№ 4

2,325

2,515

2,638

2,700

2,696

2,626

2,491

2,291

№ 5

1.752

1,762

1,777

1,797

1,821

1,850

1,884

1,944

№ 6

1,924

1,710

1,525

1,370

1,264

1,190

1,148

1,127

№ 7

1,025

1,144

1,336

1,419

1,479

1,530

1,568

1,248

№ 8

5,785

5,685

5,605

5,545

5,505

5,480

5,495

5,510

№ 9

4,052

4,092

4,152

4,234

4,338

4,468

4,599

Μέθοδος ελαχίστων τετραγώνων (OLS, eng. Ordinary Least Squares, OLS) - μαθηματική μέθοδος, χρησιμοποιείται για την επίλυση διαφόρων προβλημάτων, με βάση την ελαχιστοποίηση του αθροίσματος των τετραγωνικών αποκλίσεων ορισμένων συναρτήσεων από τις επιθυμητές μεταβλητές. Μπορεί να χρησιμοποιηθεί για την «λύση» υπερκαθορισμένων συστημάτων εξισώσεων (όταν ο αριθμός των εξισώσεων υπερβαίνει τον αριθμό των αγνώστων), για την εύρεση λύσης στην περίπτωση συνηθισμένων (όχι υπερκαθορισμένων) μη γραμμικών συστημάτων εξισώσεων, για την προσέγγιση των σημειακών τιμών κάποιας λειτουργίας. Το OLS είναι μία από τις βασικές μεθόδους ανάλυσης παλινδρόμησης για την εκτίμηση άγνωστων παραμέτρων μοντέλων παλινδρόμησης από δεδομένα δείγματος.

Εγκυκλοπαιδικό YouTube

1 / 5

✪ Μέθοδος ελάχιστων τετραγώνων. Θέμα

✪ Ελάχιστα τετράγωνα, μάθημα 1/2. Γραμμική συνάρτηση

✪ Οικονομετρία. Διάλεξη 5. Μέθοδος ελαχίστων τετραγώνων

✪ Mitin I. V. - Επεξεργασία των αποτελεσμάτων της φυσικής. πείραμα - Μέθοδος ελαχίστων τετραγώνων (Διάλεξη 4)

✪ Οικονομετρία: Η ουσία της μεθόδου των ελαχίστων τετραγώνων #2

Υπότιτλοι

Ιστορία

Μέχρι τις αρχές του XIX αιώνα. Οι επιστήμονες δεν είχαν ορισμένους κανόνες για την επίλυση ενός συστήματος εξισώσεων στο οποίο ο αριθμός των αγνώστων είναι μικρότερος από τον αριθμό των εξισώσεων. Μέχρι τότε, χρησιμοποιήθηκαν συγκεκριμένες μέθοδοι, ανάλογα με το είδος των εξισώσεων και την ευρηματικότητα των αριθμομηχανών, και ως εκ τούτου διαφορετικοί αριθμομηχανές, ξεκινώντας από τα ίδια δεδομένα παρατήρησης, κατέληξαν σε διαφορετικά συμπεράσματα. Ο Gauss (1795) πιστώνεται με την πρώτη εφαρμογή της μεθόδου και ο Legendre (1805) την ανακάλυψε ανεξάρτητα και την δημοσίευσε με τη σύγχρονη ονομασία της (fr. Metode des moindres quarres) . Ο Laplace συνέδεσε τη μέθοδο με τη θεωρία των πιθανοτήτων και ο Αμερικανός μαθηματικός Adrain (1808) εξέτασε τις πιθανοτικές εφαρμογές της. Η μέθοδος είναι ευρέως διαδεδομένη και βελτιωμένη από περαιτέρω έρευνα από τους Encke, Bessel, Hansen και άλλους.

Η ουσία της μεθόδου των ελαχίστων τετραγώνων

Αφήνω x (\displaystyle x)- κιτ n (\displaystyle n)άγνωστες μεταβλητές (παράμετροι), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- σύνολο συναρτήσεων από αυτό το σύνολο μεταβλητών. Το πρόβλημα είναι να επιλέξουμε τέτοιες τιμές x (\displaystyle x)έτσι ώστε οι τιμές αυτών των συναρτήσεων να είναι όσο το δυνατόν πιο κοντά σε ορισμένες τιμές y i (\displaystyle y_(i)). Στην ουσία μιλάμε για τη «λύση» του υπερκαθορισμένου συστήματος εξισώσεων f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\lddots ,m)με την υποδεικνυόμενη έννοια της μέγιστης εγγύτητας του αριστερού και σωστά μέρησυστήματα. Η ουσία του LSM είναι να επιλέξει ως "μέτρο εγγύτητας" το άθροισμα των τετραγωνικών αποκλίσεων του αριστερού και του δεξιού μέρους | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Έτσι, η ουσία του LSM μπορεί να εκφραστεί ως εξής:

∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\δεξιό βέλος \min _(x)).

Εάν το σύστημα των εξισώσεων έχει μια λύση, τότε το ελάχιστο του αθροίσματος των τετραγώνων θα είναι ίσο με μηδέν και οι ακριβείς λύσεις του συστήματος των εξισώσεων μπορούν να βρεθούν αναλυτικά ή, για παράδειγμα, με διάφορες μεθόδους αριθμητικής βελτιστοποίησης. Εάν το σύστημα είναι υπερκαθορισμένο, δηλαδή, χαλαρά μιλώντας, ο αριθμός των ανεξάρτητων εξισώσεων είναι μεγαλύτερος από τον αριθμό των άγνωστων μεταβλητών, τότε το σύστημα δεν έχει ακριβή λύση και η μέθοδος των ελαχίστων τετραγώνων μας επιτρέπει να βρούμε κάποιο "βέλτιστο" διάνυσμα x (\displaystyle x)με την έννοια της μέγιστης εγγύτητας των διανυσμάτων y (\displaystyle y)και f (x) (\displaystyle f(x))ή τη μέγιστη εγγύτητα του διανύσματος απόκλισης e (\displaystyle e)στο μηδέν (η εγγύτητα νοείται με την έννοια της Ευκλείδειας απόστασης).

Παράδειγμα - σύστημα γραμμικών εξισώσεων

Συγκεκριμένα, η μέθοδος των ελαχίστων τετραγώνων μπορεί να χρησιμοποιηθεί για την «λύση» του συστήματος γραμμικών εξισώσεων

A x = b (\displaystyle Ax=b),

όπου A (\displaystyle A)μήτρα ορθογώνιου μεγέθους m × n , m > n (\displaystyle m\times n,m>n)(δηλαδή ο αριθμός των σειρών του πίνακα Α είναι μεγαλύτερος από τον αριθμό των απαιτούμενων μεταβλητών).

Ένα τέτοιο σύστημα εξισώσεων γενικά δεν έχει λύση. Επομένως, αυτό το σύστημα μπορεί να «λυθεί» μόνο με την έννοια της επιλογής ενός τέτοιου διανύσματος x (\displaystyle x)για να ελαχιστοποιηθεί η «απόσταση» μεταξύ των διανυσμάτων A x (\displaystyle Axe)και b (\displaystyle b). Για να το κάνετε αυτό, μπορείτε να εφαρμόσετε το κριτήριο για την ελαχιστοποίηση του αθροίσματος των τετραγωνικών διαφορών του αριστερού και του δεξιού μέρους των εξισώσεων του συστήματος, δηλαδή (A x − b) T (A x − b) → min x (\style display (Ax-b)^(T)(Ax-b)\δεξιό βέλος \min _(x)). Είναι εύκολο να δείξουμε ότι η λύση αυτού του προβλήματος ελαχιστοποίησης οδηγεί στη λύση του παρακάτω συστήματος εξισώσεων

A T A x = A T b ⇒ x = (A T A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\Δεξί βέλος x=(A^(T)A)^(-1)A^ (Τ)β).

OLS στην ανάλυση παλινδρόμησης (προσέγγιση δεδομένων)

Ας υπάρχει n (\displaystyle n)τιμές κάποιας μεταβλητής y (\displaystyle y)(αυτό μπορεί να είναι τα αποτελέσματα παρατηρήσεων, πειραμάτων κ.λπ.) και οι αντίστοιχες μεταβλητές x (\displaystyle x). Η πρόκληση είναι να γίνει η σχέση μεταξύ y (\displaystyle y)και x (\displaystyle x)κατά προσέγγιση από κάποια συνάρτηση γνωστή μέχρι κάποιες άγνωστες παραμέτρους b (\displaystyle b), δηλαδή, στην πραγματικότητα βρείτε καλύτερες αξίεςΠαράμετροι b (\displaystyle b), προσεγγίζοντας κατά μέγιστο τις τιμές f (x , b) (\displaystyle f(x,b))σε πραγματικές αξίες y (\displaystyle y). Στην πραγματικότητα, αυτό ανάγεται στην περίπτωση της «λύσης» ενός υπερκαθορισμένου συστήματος εξισώσεων σε σχέση με b (\displaystyle b):

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).

Στην ανάλυση παλινδρόμησης, και ειδικότερα στην οικονομετρία, χρησιμοποιούνται πιθανοτικά μοντέλα της σχέσης μεταξύ των μεταβλητών.

Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

όπου ε t (\displaystyle \varepsilon _(t))- έτσι λέγεται τυχαία σφάλματαμοντέλα.

Αντίστοιχα, οι αποκλίσεις των παρατηρούμενων τιμών y (\displaystyle y)από μοντέλο f (x , b) (\displaystyle f(x,b))ήδη υποτίθεται στο ίδιο το μοντέλο. Η ουσία του LSM (συνηθισμένο, κλασικό) είναι να βρεις τέτοιες παραμέτρους b (\displaystyle b), στο οποίο το άθροισμα των τετραγωνικών αποκλίσεων (λάθη, για τα μοντέλα παλινδρόμησης ονομάζονται συχνά υπολείμματα παλινδρόμησης) e t (\displaystyle e_(t))θα είναι ελάχιστο:

b ^ O L S = arg ⁡ min b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS(b)),

όπου R S S (\displaystyle RSS)- Αγγλικά. Το υπόλοιπο άθροισμα τετραγώνων ορίζεται ως:

R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\άθροισμα _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

Στη γενική περίπτωση, αυτό το πρόβλημα μπορεί να λυθεί με αριθμητικές μεθόδους βελτιστοποίησης (ελαχιστοποίηση). Στην προκειμένη περίπτωση μιλάει κανείς μη γραμμικά ελάχιστα τετράγωνα(NLS ή NLLS - eng. Μη Γραμμικά ελάχιστα τετράγωνα). Σε πολλές περιπτώσεις, μπορεί να ληφθεί μια αναλυτική λύση. Για να λυθεί το πρόβλημα ελαχιστοποίησης, είναι απαραίτητο να βρεθούν τα ακίνητα σημεία της συνάρτησης R S S (b) (\displaystyle RSS(b)), διαφοροποιώντας το σε σχέση με άγνωστες παραμέτρους b (\displaystyle b), εξισώνοντας τις παραγώγους με το μηδέν και λύνοντας το προκύπτον σύστημα εξισώσεων:

∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\μερική f(x_(t),b))(\μερική β))=0).

LSM στην περίπτωση γραμμικής παλινδρόμησης

Ας είναι γραμμική η εξάρτηση της παλινδρόμησης:

y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).

Αφήνω yείναι το διάνυσμα στήλης των παρατηρήσεων της μεταβλητής που εξηγείται, και X (\displaystyle X)- αυτό είναι (n × k) (\displaystyle ((n\times k)))- πίνακας παρατηρήσεων παραγόντων (γραμμές του πίνακα - διανύσματα τιμών παραγόντων σε αυτήν την παρατήρηση, κατά στήλες - διάνυσμα τιμών αυτού του παράγοντα σε όλες τις παρατηρήσεις). Η αναπαράσταση μήτρας του γραμμικού μοντέλου έχει τη μορφή:

y = Xb + ε (\displaystyle y=Xb+\varepsilon ).

Τότε το διάνυσμα των εκτιμήσεων της επεξηγούμενης μεταβλητής και το διάνυσμα των υπολειμμάτων παλινδρόμησης θα είναι ίσο με

y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).

αντίστοιχα, το άθροισμα των τετραγώνων των υπολειμμάτων παλινδρόμησης θα είναι ίσο με

R S S = e T e = (y − X β) T (y − X β) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).

Διαφοροποίηση αυτής της συνάρτησης σε σχέση με το διάνυσμα παραμέτρων b (\displaystyle b)και εξισώνοντας τις παραγώγους με το μηδέν, παίρνουμε ένα σύστημα εξισώσεων (σε μορφή πίνακα):

(X T X) b = X T y (\style display (X^(T)X)b=X^(T)y).

Στη μορφή αποκρυπτογραφημένου πίνακα, αυτό το σύστημα εξισώσεων μοιάζει με αυτό:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 2 x t k ∑ x 2 x t k ∑ ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b x t 3 ⋮ b x k) = (∑ 3 x στιλ) = (∑ t k) (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_( tk)\\\άθροισμα x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ sum x_(t2)x_(tk) \\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3)\\\vdots \\b_( k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t )\\\vdots \\\άθροισμα x_(tk)y_(t)\\\end(pmatrix)))όπου όλα τα αθροίσματα λαμβάνονται πάνω από όλες τις αποδεκτές τιμές t (\displaystyle t).

Εάν περιλαμβάνεται μια σταθερά στο μοντέλο (ως συνήθως), τότε x t 1 = 1 (\displaystyle x_(t1)=1)για όλα t (\displaystyle t), επομένως, στην επάνω αριστερή γωνία του πίνακα του συστήματος των εξισώσεων είναι ο αριθμός των παρατηρήσεων n (\displaystyle n), και στα υπόλοιπα στοιχεία της πρώτης σειράς και της πρώτης στήλης - μόνο το άθροισμα των τιμών των μεταβλητών: ∑ x t j (\displaystyle \sum x_(tj))και το πρώτο στοιχείο της δεξιάς πλευράς του συστήματος - ∑ y t (\displaystyle \sum y_(t)).

Η λύση αυτού του συστήματος εξισώσεων δίνει τον γενικό τύπο για τις εκτιμήσεις των ελαχίστων τετραγώνων για το γραμμικό μοντέλο:

b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\στυλ εμφάνισης (\καπέλο (β))_(OLS)=(X^(T )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\right)^(-1)(\frac (1)(n )) X^(T)y=V_(x)^(-1)C_(xy)).

Για αναλυτικούς σκοπούς, η τελευταία αναπαράσταση αυτού του τύπου αποδεικνύεται χρήσιμη (στο σύστημα εξισώσεων όταν διαιρείται με n, εμφανίζονται αριθμητικοί μέσοι όροι αντί για αθροίσματα). Αν τα δεδομένα στο μοντέλο παλινδρόμησης κεντραρισμένος, τότε σε αυτήν την αναπαράσταση ο πρώτος πίνακας έχει την έννοια ενός δείγματος πίνακα συνδιακύμανσης παραγόντων και ο δεύτερος είναι το διάνυσμα των συνδιακυμάνσεων παραγόντων με μια εξαρτημένη μεταβλητή. Εάν, επιπλέον, τα δεδομένα είναι επίσης κανονικοποιημένηστο SKO (δηλαδή τελικά τυποποιημένη), τότε ο πρώτος πίνακας έχει την έννοια του πίνακα συσχέτισης του δείγματος των παραγόντων, το δεύτερο διάνυσμα - το διάνυσμα δειγματοληπτικών συσχετίσεων παραγόντων με την εξαρτημένη μεταβλητή.

Μια σημαντική ιδιότητα των εκτιμήσεων LLS για μοντέλα με μια σταθερά- η γραμμή της κατασκευασμένης παλινδρόμησης διέρχεται από το κέντρο βάρους του δείγματος δεδομένων, δηλαδή πληρούται η ισότητα:

y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\καπέλο (b))_(j)(\bar (x))_(j)).

Συγκεκριμένα, στην ακραία περίπτωση, όταν ο μόνος παλινδρομητής είναι μια σταθερά, βρίσκουμε ότι η εκτίμηση OLS μιας μεμονωμένης παραμέτρου (η ίδια η σταθερά) είναι ίση με τη μέση τιμή της μεταβλητής που εξηγείται. Δηλαδή ο αριθμητικός μέσος όρος, γνωστός για το καλές ιδιότητεςαπό τους νόμους των μεγάλων αριθμών, είναι επίσης μια εκτίμηση ελαχίστων τετραγώνων - ικανοποιεί το κριτήριο για το ελάχιστο άθροισμα των τετραγωνικών αποκλίσεων από αυτό.

Οι πιο απλές ειδικές περιπτώσεις

Στην περίπτωση γραμμικής παλινδρόμησης κατά ζεύγη y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), όταν εκτιμάται η γραμμική εξάρτηση μιας μεταβλητής από μια άλλη, οι τύποι υπολογισμού απλοποιούνται (μπορείτε να το κάνετε χωρίς άλγεβρα πινάκων). Το σύστημα των εξισώσεων έχει τη μορφή:

(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline(xy))\\\end(pmatrix))).

Από εδώ είναι εύκολο να βρείτε εκτιμήσεις για τους συντελεστές:

( b ^ = Cov ⁡ (x , y) Var ⁡ (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2 , a ^ = y ¯ − b x . (\displaystyle (\begin(περιπτώσεις) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2)),\\( \καπέλο (a))=(\bar (y))-b(\bar (x)).\end (περιπτώσεις)))

Παρά το γεγονός ότι, γενικά, τα μοντέλα με σταθερά είναι προτιμότερα, σε ορισμένες περιπτώσεις είναι γνωστό από θεωρητικές εκτιμήσεις ότι η σταθερά a (\displaystyle a)πρέπει να είναι ίσο με μηδέν. Για παράδειγμα, στη φυσική, η σχέση μεταξύ τάσης και ρεύματος έχει τη μορφή U = I ⋅ R (\displaystyle U=I\cdot R); μετρώντας την τάση και το ρεύμα, είναι απαραίτητο να εκτιμηθεί η αντίσταση. Σε αυτή την περίπτωση, μιλάμε για μοντέλο y = b x (\displaystyle y=bx). Σε αυτή την περίπτωση, αντί για σύστημα εξισώσεων, έχουμε μια ενιαία εξίσωση

(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).

Επομένως, ο τύπος για την εκτίμηση ενός μόνο συντελεστή έχει τη μορφή

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\άθροισμα _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Η περίπτωση ενός πολυωνυμικού μοντέλου

Εάν τα δεδομένα προσαρμόζονται από μια πολυωνυμική συνάρτηση παλινδρόμησης μιας μεταβλητής f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), τότε, αντίληψη μοιρών x i (\displaystyle x^(i))ως ανεξάρτητους παράγοντες για τον καθένα i (\displaystyle i)είναι δυνατή η εκτίμηση των παραμέτρων του μοντέλου με βάση τον γενικό τύπο για την εκτίμηση των παραμέτρων του γραμμικού μοντέλου. Για να γίνει αυτό, αρκεί να ληφθεί υπόψη στον γενικό τύπο ότι με μια τέτοια ερμηνεία x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j))και x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Επομένως, οι εξισώσεις του πίνακα σε αυτήν την περίπτωση θα έχουν τη μορφή:

(n ∑ n x t ... ∑ n x t k ∑ n x t ∑ n x t 2 ... ∑ n x t k + 1 ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 ... ∑ n [b t ∮ b 2 k] ∑ n x t y t ⋮ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(t)^(2)&\ldots &\sum \limits _(n)x_(t)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ άθροισμα \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrix)).)

Στατιστικά Ιδιότητες Εκτιμήσεων OLS

Πρώτα απ 'όλα, σημειώνουμε ότι για γραμμικά μοντέλα, οι εκτιμήσεις ελαχίστων τετραγώνων είναι γραμμικές εκτιμήσεις, όπως προκύπτει από τον παραπάνω τύπο. Για την αμερόληπτη των εκτιμήσεων των ελαχίστων τετραγώνων, είναι απαραίτητο και επαρκές να εκπληρωθεί η πιο σημαντική προϋπόθεση της ανάλυσης παλινδρόμησης: η μαθηματική προσδοκία ενός τυχαίου λάθους που εξαρτάται από τους παράγοντες πρέπει να είναι ίση με μηδέν. Η προϋπόθεση αυτή πληρούται, ιδίως, εάν

η μαθηματική προσδοκία των τυχαίων σφαλμάτων είναι μηδέν, και
Οι παράγοντες και τα τυχαία σφάλματα είναι ανεξάρτητες τυχαίες τιμές.

Η δεύτερη προϋπόθεση - η συνθήκη των εξωγενών παραγόντων - είναι θεμελιώδης. Εάν αυτή η ιδιότητα δεν ικανοποιηθεί, τότε μπορούμε να υποθέσουμε ότι σχεδόν οποιεσδήποτε εκτιμήσεις θα είναι εξαιρετικά μη ικανοποιητικές: δεν θα είναι καν συνεπείς (δηλαδή, ακόμη και ένας πολύ μεγάλος όγκος δεδομένων δεν επιτρέπει τη λήψη ποιοτικών εκτιμήσεων σε αυτήν την περίπτωση). Στην κλασική περίπτωση, γίνεται μια ισχυρότερη υπόθεση για τον ντετερμινισμό των παραγόντων, σε αντίθεση με ένα τυχαίο σφάλμα, που σημαίνει αυτόματα ότι η εξωγενής συνθήκη ικανοποιείται. Στη γενική περίπτωση, για τη συνέπεια των εκτιμήσεων, αρκεί να ικανοποιηθεί η συνθήκη εξωγένειας μαζί με τη σύγκλιση του πίνακα V x (\displaystyle V_(x))σε κάποιο μη εκφυλισμένο πίνακα καθώς το μέγεθος του δείγματος αυξάνεται στο άπειρο.

Προκειμένου, εκτός από τη συνέπεια και την αμερόληπτη, οι (συνήθεις) εκτιμήσεις ελαχίστων τετραγώνων να είναι επίσης αποτελεσματικές (οι καλύτερες στην κατηγορία των γραμμικών αμερόληπτων εκτιμήσεων), πρέπει να πληρούνται πρόσθετες ιδιότητες ενός τυχαίου σφάλματος:

Αυτές οι παραδοχές μπορούν να διατυπωθούν για τον πίνακα συνδιακύμανσης του διανύσματος των τυχαίων σφαλμάτων V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).

Ένα γραμμικό μοντέλο που ικανοποιεί αυτές τις συνθήκες ονομάζεται κλασσικός. Οι εκτιμητές OLS για κλασική γραμμική παλινδρόμηση είναι αμερόληπτοι, συνεπείς και οι πιο αποτελεσματικοί εκτιμητές στην κατηγορία όλων των γραμμικών αμερόληπτων εκτιμητών (στην αγγλική βιβλιογραφία, η συντομογραφία χρησιμοποιείται μερικές φορές μπλε (Καλύτερος γραμμικός αμερόληπτος εκτιμητής) είναι η καλύτερη γραμμική αμερόληπτη εκτίμηση. στην εγχώρια βιβλιογραφία, το θεώρημα Gauss - Markov αναφέρεται συχνότερα). Όπως είναι εύκολο να φανεί, ο πίνακας συνδιακύμανσης του διανύσματος εκτιμήσεων συντελεστών θα είναι ίσος με:

V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

Η αποδοτικότητα σημαίνει ότι αυτός ο πίνακας συνδιακύμανσης είναι "ελάχιστος" (οποιοσδήποτε γραμμικός συνδυασμός συντελεστών, και συγκεκριμένα οι ίδιοι οι συντελεστές, έχουν ελάχιστη απόκλιση), δηλαδή, στην κατηγορία των γραμμικών αμερόληπτων εκτιμήσεων, οι εκτιμήσεις OLS είναι οι καλύτερες. Τα διαγώνια στοιχεία αυτού του πίνακα - οι αποκλίσεις των εκτιμήσεων των συντελεστών - είναι σημαντικές παράμετροι της ποιότητας των εκτιμήσεων που λαμβάνονται. Ωστόσο, δεν είναι δυνατός ο υπολογισμός του πίνακα συνδιακύμανσης επειδή η διακύμανση τυχαίου σφάλματος είναι άγνωστη. Μπορεί να αποδειχθεί ότι η αμερόληπτη και συνεπής (για το κλασικό γραμμικό μοντέλο) εκτίμηση της διακύμανσης των τυχαίων σφαλμάτων είναι η τιμή:

S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).

Αντικαθιστώντας αυτήν την τιμή στον τύπο για τον πίνακα συνδιακύμανσης, λαμβάνουμε μια εκτίμηση του πίνακα συνδιακύμανσης. Οι εκτιμήσεις που προκύπτουν είναι επίσης αμερόληπτες και συνεπείς. Είναι επίσης σημαντικό η εκτίμηση της διακύμανσης του σφάλματος (και επομένως οι διακυμάνσεις των συντελεστών) και οι εκτιμήσεις των παραμέτρων του μοντέλου να είναι ανεξάρτητες τυχαίες μεταβλητές, γεγονός που καθιστά δυνατή τη λήψη στατιστικών δοκιμών για τον έλεγχο υποθέσεων σχετικά με τους συντελεστές του μοντέλου.

Θα πρέπει να σημειωθεί ότι εάν δεν πληρούνται οι κλασικές παραδοχές, οι εκτιμήσεις των παραμέτρων ελαχίστων τετραγώνων δεν είναι οι πιο αποτελεσματικές και, όπου W (\displaystyle W)είναι κάποιος συμμετρικός θετικός καθορισμένος πίνακας βάρους. Τα συνηθισμένα ελάχιστα τετράγωνα είναι μια ειδική περίπτωση αυτής της προσέγγισης, όταν ο πίνακας βάρους είναι ανάλογος με τον πίνακα ταυτότητας. Όπως είναι γνωστό, για συμμετρικούς πίνακες (ή τελεστές) υπάρχει αποσύνθεση W = P T P (\displaystyle W=P^(T)P). Επομένως, αυτή η συνάρτηση μπορεί να αναπαρασταθεί ως εξής e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), δηλαδή, αυτή η συνάρτηση μπορεί να αναπαρασταθεί ως το άθροισμα των τετραγώνων ορισμένων μετασχηματισμένων «υπολειμμάτων». Έτσι, μπορούμε να διακρίνουμε μια κατηγορία μεθόδων ελαχίστων τετραγώνων - LS-methods (Least Squares).

Αποδεικνύεται (θεώρημα Aitken) ότι για ένα μοντέλο γενικευμένης γραμμικής παλινδρόμησης (στο οποίο δεν επιβάλλονται περιορισμοί στον πίνακα συνδιακύμανσης των τυχαίων σφαλμάτων), οι πιο αποτελεσματικές (στην κατηγορία των γραμμικών αμερόληπτων εκτιμήσεων) είναι οι εκτιμήσεις των λεγόμενων. γενικευμένο OLS (OMNK, GLS - Γενικευμένα ελάχιστα τετράγωνα)- Μέθοδος LS με πίνακα βάρους ίσο με τον πίνακα αντίστροφης συνδιακύμανσης των τυχαίων σφαλμάτων: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).

Μπορεί να φανεί ότι ο τύπος για τις εκτιμήσεις GLS των παραμέτρων του γραμμικού μοντέλου έχει τη μορφή

B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Ο πίνακας συνδιακύμανσης αυτών των εκτιμήσεων, αντίστοιχα, θα είναι ίσος με

V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- ένας)).

Στην πραγματικότητα, η ουσία του OLS έγκειται σε έναν ορισμένο (γραμμικό) μετασχηματισμό (P) των αρχικών δεδομένων και στην εφαρμογή των συνηθισμένων ελαχίστων τετραγώνων στα μετασχηματισμένα δεδομένα. Ο σκοπός αυτού του μετασχηματισμού είναι ότι για τα μετασχηματισμένα δεδομένα, τα τυχαία σφάλματα ικανοποιούν ήδη τις κλασικές υποθέσεις.

Ζυγισμένα ελάχιστα τετράγωνα

Στην περίπτωση ενός πίνακα διαγώνιου βάρους (και επομένως του πίνακα συνδιακύμανσης των τυχαίων σφαλμάτων), έχουμε τα λεγόμενα σταθμισμένα ελάχιστα τετράγωνα (WLS - Weighted Least Squares). Σε αυτήν την περίπτωση, το σταθμισμένο άθροισμα των τετραγώνων των υπολειμμάτων του μοντέλου ελαχιστοποιείται, δηλαδή, κάθε παρατήρηση λαμβάνει ένα «βάρος» που είναι αντιστρόφως ανάλογο με τη διακύμανση του τυχαίου σφάλματος σε αυτήν την παρατήρηση: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ σίγμα _(t)^(2)))). Στην πραγματικότητα, τα δεδομένα μετασχηματίζονται με στάθμιση των παρατηρήσεων (διαιρώντας με ένα ποσό ανάλογο με την υποτιθέμενη τυπική απόκλιση των τυχαίων σφαλμάτων) και εφαρμόζονται κανονικά ελάχιστα τετράγωνα στα σταθμισμένα δεδομένα.

ISBN 978-5-7749-0473-0.

Οικονομετρία. Σχολικό βιβλίο / Εκδ. Eliseeva I. I. - 2nd ed. - Μ. : Οικονομικά και στατιστική, 2006. - 576 σελ. - ISBN 5-279-02786-3.

Alexandrova N.V.Ιστορία μαθηματικών όρων, εννοιών, ονομασιών: λεξικό-βιβλίο αναφοράς. - 3η έκδ. - Μ. : ΛΚΙ, 2008. - 248 σελ. - ISBN 978-5-382-00839-4. I.V. Mitin, Rusakov V.S. Ανάλυση και επεξεργασία πειραματικών δεδομένων - 5η έκδοση - 24σ.

Μετά την ευθυγράμμιση, παίρνουμε μια συνάρτηση της ακόλουθης μορφής: g (x) = x + 1 3 + 1 .

Μπορούμε να προσεγγίσουμε αυτά τα δεδομένα με μια γραμμική σχέση y = a x + b υπολογίζοντας τις κατάλληλες παραμέτρους. Για να γίνει αυτό, θα χρειαστεί να εφαρμόσουμε τη λεγόμενη μέθοδο ελαχίστων τετραγώνων. Θα χρειαστεί επίσης να κάνετε ένα σχέδιο για να ελέγξετε ποια γραμμή θα ευθυγραμμίσει καλύτερα τα πειραματικά δεδομένα.

Τι ακριβώς είναι το OLS (μέθοδος ελαχίστων τετραγώνων)

Το κύριο πράγμα που πρέπει να κάνουμε είναι να βρούμε τέτοιους γραμμικούς συντελεστές εξάρτησης στους οποίους η τιμή της συνάρτησης δύο μεταβλητών F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 θα είναι η μικρότερη . Με άλλα λόγια, για ορισμένες τιμές των a και b, το άθροισμα των τετραγωνικών αποκλίσεων των παρουσιαζόμενων δεδομένων από την προκύπτουσα ευθεία θα έχει μια ελάχιστη τιμή. Αυτή είναι η έννοια της μεθόδου των ελαχίστων τετραγώνων. Το μόνο που έχουμε να κάνουμε για να λύσουμε το παράδειγμα είναι να βρούμε το άκρο της συνάρτησης δύο μεταβλητών.

Πώς να εξάγετε τύπους για τον υπολογισμό των συντελεστών

Για να εξαχθούν τύποι υπολογισμού των συντελεστών, είναι απαραίτητο να συνθέσουμε και να λύσουμε ένα σύστημα εξισώσεων με δύο μεταβλητές. Για να γίνει αυτό, υπολογίζουμε τις μερικές παραγώγους της παράστασης F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 ως προς τα a και b και τις εξισώνουμε με 0 .

δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = ∑ i = ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

Για να λύσετε ένα σύστημα εξισώσεων, μπορείτε να χρησιμοποιήσετε οποιεσδήποτε μεθόδους, όπως αντικατάσταση ή μέθοδο Cramer. Ως αποτέλεσμα, θα πρέπει να λάβουμε τύπους που υπολογίζουν τους συντελεστές χρησιμοποιώντας τη μέθοδο των ελαχίστων τετραγώνων.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n

Έχουμε υπολογίσει τις τιμές των μεταβλητών για τις οποίες η συνάρτηση
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) Το 2 θα λάβει την ελάχιστη τιμή. Στην τρίτη παράγραφο, θα αποδείξουμε γιατί είναι έτσι.

Αυτή είναι η εφαρμογή της μεθόδου των ελαχίστων τετραγώνων στην πράξη. Ο τύπος του, ο οποίος χρησιμοποιείται για την εύρεση της παραμέτρου a , περιλαμβάνει ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 , και την παράμετρο
n - υποδηλώνει την ποσότητα των πειραματικών δεδομένων. Σας συμβουλεύουμε να υπολογίσετε κάθε ποσό ξεχωριστά. Η τιμή του συντελεστή b υπολογίζεται αμέσως μετά το a .

Ας επιστρέψουμε στο αρχικό παράδειγμα.

Παράδειγμα 1

Εδώ έχουμε n ίσο με πέντε. Για να γίνει πιο βολικός ο υπολογισμός των απαιτούμενων ποσών που περιλαμβάνονται στους τύπους συντελεστών, συμπληρώνουμε τον πίνακα.

	i = 1	i = 2	i = 3	i = 4	i = 5	∑ i = 1 5
x i	0	1	2	4	5	12
y i	2 , 1	2 , 4	2 , 6	2 , 8	3	12 , 9
x i y i	0	2 , 4	5 , 2	11 , 2	15	33 , 8
x i 2	0	1	4	16	25	46

Λύση

Η τέταρτη σειρά περιέχει τα δεδομένα που λαμβάνονται πολλαπλασιάζοντας τις τιμές από τη δεύτερη σειρά με τις τιμές της τρίτης για κάθε άτομο i . Η πέμπτη γραμμή περιέχει τα δεδομένα από το δεύτερο τετράγωνο. Η τελευταία στήλη δείχνει τα αθροίσματα των τιμών των μεμονωμένων σειρών.

Ας χρησιμοποιήσουμε τη μέθοδο των ελαχίστων τετραγώνων για να υπολογίσουμε τους συντελεστές a και b που χρειαζόμαστε. Για να το κάνετε αυτό, αντικαταστήστε τις επιθυμητές τιμές από την τελευταία στήλη και υπολογίστε τα αθροίσματα:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 3 i = 1 n - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184

Καταλάβαμε ότι η επιθυμητή προσεγγιστική ευθεία θα μοιάζει με y = 0, 165 x + 2, 184. Τώρα πρέπει να προσδιορίσουμε ποια γραμμή θα προσεγγίσει καλύτερα τα δεδομένα - g (x) = x + 1 3 + 1 ή 0 , 165 x + 2 , 184 . Ας κάνουμε μια εκτίμηση χρησιμοποιώντας τη μέθοδο των ελαχίστων τετραγώνων.

Για να υπολογίσουμε το σφάλμα, πρέπει να βρούμε τα αθροίσματα των τετραγωνικών αποκλίσεων των δεδομένων από τις ευθείες σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 και σ 2 = ∑ i = 1 n (y i - g (x i)) 2 , η ελάχιστη τιμή θα αντιστοιχεί σε μια καταλληλότερη γραμμή.

σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0 , 165 x i + 2 , 184)) 2 ≈ 0 , 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0 , 096

Απάντηση:αφού σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0, 165 x + 2, 184.

Η μέθοδος των ελαχίστων τετραγώνων φαίνεται καθαρά στη γραφική απεικόνιση. Η κόκκινη γραμμή σημειώνει την ευθεία g (x) = x + 1 3 + 1, η μπλε γραμμή σημειώνει y = 0, 165 x + 2, 184. Τα ανεπεξέργαστα δεδομένα επισημαίνονται με ροζ κουκκίδες.

Ας εξηγήσουμε γιατί απαιτούνται ακριβώς προσεγγίσεις αυτού του τύπου.

Μπορούν να χρησιμοποιηθούν σε προβλήματα που απαιτούν εξομάλυνση δεδομένων, καθώς και σε εκείνα όπου τα δεδομένα πρέπει να παρεμβάλλονται ή να προεκταθούν. Για παράδειγμα, στο πρόβλημα που συζητήθηκε παραπάνω, θα μπορούσε κανείς να βρει την τιμή της παρατηρούμενης ποσότητας y στο x = 3 ή στο x = 6 . Έχουμε αφιερώσει ένα ξεχωριστό άρθρο σε τέτοια παραδείγματα.

Απόδειξη της μεθόδου LSM

Για να λάβει η συνάρτηση την ελάχιστη τιμή για τα υπολογισμένα a και b, είναι απαραίτητο σε ένα δεδομένο σημείο ο πίνακας της τετραγωνικής μορφής του διαφορικού της συνάρτησης της μορφής F (a, b) = ∑ i = 1 n ( y i - (a x i + β)) 2 να είναι θετική οριστική. Ας σας δείξουμε πώς πρέπει να φαίνεται.

Παράδειγμα 2

Έχουμε ένα διαφορικό δεύτερης τάξης της ακόλουθης μορφής:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2β

Λύση

δ 2 F (a ; β) δ a 2 = δ δ F (a ; β) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a ; β) δ a δ b = δ δ F (a ; β) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; β) δ b 2 = δ δ F (a ; β) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + β)) δ b = 2 ∑ i = 1 n (1) = 2 n

Με άλλα λόγια, μπορεί να γραφτεί ως εξής: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b .

Έχουμε λάβει έναν πίνακα τετραγωνικής μορφής M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

Σε αυτήν την περίπτωση, οι τιμές των μεμονωμένων στοιχείων δεν θα αλλάξουν ανάλογα με τα a και b . Είναι αυτός ο πίνακας θετικός ορισμένος; Για να απαντήσουμε σε αυτήν την ερώτηση, ας ελέγξουμε αν τα γωνιακά ελάσσονα είναι θετικά.

Να υπολογίσετε τη γωνιακή ελάσσονα πρώτης τάξης: 2 ∑ i = 1 n (x i) 2 > 0 . Εφόσον τα σημεία x i δεν συμπίπτουν, η ανισότητα είναι αυστηρή. Αυτό θα το έχουμε υπόψη σε περαιτέρω υπολογισμούς.

Υπολογίζουμε το δευτερεύον γωνιακό δευτερεύον:

d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2

Μετά από αυτό, προχωράμε στην απόδειξη της ανισότητας n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 χρησιμοποιώντας μαθηματική επαγωγή.

Ας ελέγξουμε αν αυτή η ανισότητα ισχύει για αυθαίρετο n . Ας πάρουμε 2 και ας υπολογίσουμε:

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Πήραμε τη σωστή ισότητα (αν οι τιμές x 1 και x 2 δεν ταιριάζουν).

Ας κάνουμε την υπόθεση ότι αυτή η ανισότητα θα ισχύει για το n , δηλ. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – αληθές.
Τώρα ας αποδείξουμε την εγκυρότητα για n + 1 , δηλ. ότι (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0 εάν n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .

Υπολογίζουμε:

(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Η έκφραση που περικλείεται σε σγουρά άγκιστρα θα είναι μεγαλύτερη από 0 (με βάση αυτό που υποθέσαμε στο βήμα 2) και οι υπόλοιποι όροι θα είναι μεγαλύτεροι από 0 επειδή είναι όλοι τετράγωνα αριθμών. Έχουμε αποδείξει την ανισότητα.

Απάντηση:βρέθηκαν τα α και β θα ταιριάζουν η μικρότερη τιμήσυναρτήσεις F (a , b) \u003d ∑ i \u003d 1 n (y i - (a x i + b)) 2, που σημαίνει ότι είναι οι επιθυμητές παράμετροι της μεθόδου των ελαχίστων τετραγώνων (LSM).

Εάν παρατηρήσετε κάποιο λάθος στο κείμενο, επισημάνετε το και πατήστε Ctrl+Enter

Μέθοδος ελάχιστου τετραγώνου

Μέθοδος ελάχιστου τετραγώνου ( MNK, OLS, Κανονικά ελάχιστα τετράγωνα) - μία από τις βασικές μεθόδους ανάλυσης παλινδρόμησης για την εκτίμηση άγνωστων παραμέτρων μοντέλων παλινδρόμησης από δειγματοληπτικά δεδομένα. Η μέθοδος βασίζεται στην ελαχιστοποίηση του αθροίσματος των τετραγώνων των υπολειμμάτων παλινδρόμησης.

Θα πρέπει να σημειωθεί ότι η ίδια η μέθοδος των ελαχίστων τετραγώνων μπορεί να ονομαστεί μέθοδος για την επίλυση ενός προβλήματος σε οποιαδήποτε περιοχή εάν η λύση αποτελείται από ή ικανοποιεί ένα συγκεκριμένο κριτήριο για την ελαχιστοποίηση του αθροίσματος των τετραγώνων ορισμένων συναρτήσεων των άγνωστων μεταβλητών. Επομένως, η μέθοδος των ελαχίστων τετραγώνων μπορεί επίσης να χρησιμοποιηθεί για μια κατά προσέγγιση αναπαράσταση (προσέγγιση) μιας δεδομένης συνάρτησης με άλλες (απλούστερες) συναρτήσεις, όταν βρίσκουμε ένα σύνολο μεγεθών που ικανοποιούν εξισώσεις ή περιορισμούς, ο αριθμός των οποίων υπερβαίνει τον αριθμό αυτών των μεγεθών. , και τα λοιπά.

Η ουσία του MNC

Αφήστε κάποιο (παραμετρικό) μοντέλο πιθανολογικής (παλίνδρομης) εξάρτησης μεταξύ της (εξηγούμενης) μεταβλητής yκαι πολλοί παράγοντες (επεξηγηματικές μεταβλητές) Χ

όπου είναι το διάνυσμα άγνωστων παραμέτρων μοντέλου

- Τυχαίο σφάλμα μοντέλου.

Ας υπάρχουν επίσης δειγματοληπτικές παρατηρήσεις των τιμών των υποδεικνυόμενων μεταβλητών. Έστω ο αριθμός παρατήρησης (). Στη συνέχεια είναι οι τιμές των μεταβλητών στην -η παρατήρηση. Στη συνέχεια, για δεδομένες τιμές των παραμέτρων b, είναι δυνατός ο υπολογισμός των θεωρητικών (μοντέλων) τιμών της επεξηγημένης μεταβλητής y:

Η τιμή των υπολειμμάτων εξαρτάται από τις τιμές των παραμέτρων β.

Η ουσία του LSM (συνηθισμένο, κλασικό) είναι να βρει τέτοιες παραμέτρους b για τις οποίες το άθροισμα των τετραγώνων των υπολειμμάτων (eng. Υπολειπόμενο άθροισμα τετραγώνων) θα είναι ελάχιστη:

Στη γενική περίπτωση, αυτό το πρόβλημα μπορεί να λυθεί με αριθμητικές μεθόδους βελτιστοποίησης (ελαχιστοποίηση). Στην προκειμένη περίπτωση μιλάει κανείς μη γραμμικά ελάχιστα τετράγωνα(NLS ή NLLS - Αγγλικά. Μη γραμμικά ελάχιστα τετράγωνα). Σε πολλές περιπτώσεις, μπορεί να ληφθεί μια αναλυτική λύση. Για να λυθεί το πρόβλημα ελαχιστοποίησης, είναι απαραίτητο να βρεθούν τα ακίνητα σημεία της συνάρτησης διαφοροποιώντας την ως προς τις άγνωστες παραμέτρους b, εξισώνοντας τις παραγώγους με το μηδέν και λύνοντας το προκύπτον σύστημα εξισώσεων:

Εάν τα τυχαία σφάλματα του μοντέλου κατανέμονται κανονικά, έχουν την ίδια διακύμανση και δεν συσχετίζονται μεταξύ τους, οι εκτιμήσεις παραμέτρων ελαχίστων τετραγώνων είναι ίδιες με τις εκτιμήσεις της μεθόδου μέγιστης πιθανότητας (MLM).

LSM στην περίπτωση γραμμικού μοντέλου

Ας είναι γραμμική η εξάρτηση της παλινδρόμησης:

Αφήνω y- διάνυσμα στήλης παρατηρήσεων της επεξηγημένης μεταβλητής και - πίνακας παρατηρήσεων παραγόντων (γραμμές του πίνακα - διανύσματα τιμών παραγόντων σε μια δεδομένη παρατήρηση, κατά στήλες - διάνυσμα τιμών ενός δεδομένου παράγοντα σε όλες τις παρατηρήσεις). Η αναπαράσταση πίνακα του γραμμικού μοντέλου έχει τη μορφή:

αντίστοιχα, το άθροισμα των τετραγώνων των υπολειμμάτων παλινδρόμησης θα είναι ίσο με

Διαφοροποιώντας αυτή τη συνάρτηση σε σχέση με το διάνυσμα παραμέτρων και εξισώνοντας τις παραγώγους με το μηδέν, λαμβάνουμε ένα σύστημα εξισώσεων (σε μορφή πίνακα):

Για αναλυτικούς σκοπούς, η τελευταία αναπαράσταση αυτού του τύπου αποδεικνύεται χρήσιμη. Αν τα δεδομένα στο μοντέλο παλινδρόμησης κεντραρισμένος, τότε σε αυτήν την αναπαράσταση ο πρώτος πίνακας έχει την έννοια ενός δείγματος πίνακα συνδιακύμανσης παραγόντων και ο δεύτερος είναι το διάνυσμα των συνδιακυμάνσεων παραγόντων με μια εξαρτημένη μεταβλητή. Εάν, επιπλέον, τα δεδομένα είναι επίσης κανονικοποιημένηστο SKO (δηλαδή τελικά τυποποιημένη), τότε ο πρώτος πίνακας έχει την έννοια του πίνακα συσχέτισης του δείγματος των παραγόντων, το δεύτερο διάνυσμα - το διάνυσμα δειγματοληπτικών συσχετίσεων παραγόντων με την εξαρτημένη μεταβλητή.

Συγκεκριμένα, στην ακραία περίπτωση, όταν ο μόνος παλινδρομητής είναι μια σταθερά, βρίσκουμε ότι η εκτίμηση OLS μιας μεμονωμένης παραμέτρου (η ίδια η σταθερά) είναι ίση με τη μέση τιμή της μεταβλητής που εξηγείται. Δηλαδή, ο αριθμητικός μέσος όρος, γνωστός για τις καλές του ιδιότητες από τους νόμους των μεγάλων αριθμών, είναι επίσης μια εκτίμηση ελαχίστων τετραγώνων - ικανοποιεί το κριτήριο για το ελάχιστο άθροισμα των τετραγωνικών αποκλίσεων από αυτόν.

Παράδειγμα: απλή (σε ζεύγη) παλινδρόμηση

Στην περίπτωση της ζευγαρωμένης γραμμικής παλινδρόμησης, οι τύποι υπολογισμού απλοποιούνται (μπορείτε να το κάνετε χωρίς άλγεβρα πινάκων):

Ιδιότητες εκτιμήσεων OLS

Πρώτα απ 'όλα, σημειώνουμε ότι για γραμμικά μοντέλα, οι εκτιμήσεις ελαχίστων τετραγώνων είναι γραμμικές εκτιμήσεις, όπως προκύπτει από τον παραπάνω τύπο. Για αμερόληπτες εκτιμήσεις OLS, είναι απαραίτητο και επαρκές να εκπληρωθεί η πιο σημαντική προϋπόθεση της ανάλυσης παλινδρόμησης: υπό την προϋπόθεση των παραγόντων, η μαθηματική προσδοκία ενός τυχαίου σφάλματος πρέπει να είναι ίση με μηδέν. Η προϋπόθεση αυτή πληρούται, ιδίως, εάν

η μαθηματική προσδοκία των τυχαίων σφαλμάτων είναι μηδέν, και
Οι παράγοντες και τα τυχαία σφάλματα είναι ανεξάρτητες τυχαίες μεταβλητές.

Η δεύτερη προϋπόθεση - η συνθήκη των εξωγενών παραγόντων - είναι θεμελιώδης. Εάν αυτή η ιδιότητα δεν ικανοποιηθεί, τότε μπορούμε να υποθέσουμε ότι σχεδόν οποιεσδήποτε εκτιμήσεις θα είναι εξαιρετικά μη ικανοποιητικές: δεν θα είναι καν συνεπείς (δηλαδή, ακόμη και ένας πολύ μεγάλος όγκος δεδομένων δεν επιτρέπει τη λήψη ποιοτικών εκτιμήσεων σε αυτήν την περίπτωση). Στην κλασική περίπτωση, γίνεται μια ισχυρότερη υπόθεση για τον ντετερμινισμό των παραγόντων, σε αντίθεση με ένα τυχαίο σφάλμα, που σημαίνει αυτόματα ότι η εξωγενής συνθήκη ικανοποιείται. Στη γενική περίπτωση, για τη συνέπεια των εκτιμήσεων, αρκεί να εκπληρωθεί η συνθήκη εξωγένειας μαζί με τη σύγκλιση του πίνακα σε κάποιον μη ενικό πίνακα με αύξηση του μεγέθους του δείγματος στο άπειρο.

Αυτές οι υποθέσεις μπορούν να διατυπωθούν για τον πίνακα συνδιακύμανσης του διανύσματος τυχαίου σφάλματος

Ένα γραμμικό μοντέλο που ικανοποιεί αυτές τις συνθήκες ονομάζεται κλασσικός. Οι εκτιμητές OLS για κλασική γραμμική παλινδρόμηση είναι αμερόληπτοι, συνεπείς και οι πιο αποτελεσματικοί εκτιμητές στην κατηγορία όλων των γραμμικών αμερόληπτων εκτιμητών (στην αγγλική βιβλιογραφία, η συντομογραφία χρησιμοποιείται μερικές φορές μπλε (Καλύτερος γραμμικός μη βάσιμος εκτιμητής) είναι η καλύτερη γραμμική αμερόληπτη εκτίμηση. στην εγχώρια βιβλιογραφία, το θεώρημα Gauss-Markov αναφέρεται συχνότερα). Όπως είναι εύκολο να φανεί, ο πίνακας συνδιακύμανσης του διανύσματος εκτιμήσεων συντελεστών θα είναι ίσος με:

Γενικευμένα ελάχιστα τετράγωνα

Η μέθοδος των ελαχίστων τετραγώνων επιτρέπει μια ευρεία γενίκευση. Αντί να ελαχιστοποιήσουμε το άθροισμα των τετραγώνων των υπολειμμάτων, μπορούμε να ελαχιστοποιήσουμε κάποια θετική οριστική τετραγωνική μορφή του υπολειπόμενου διανύσματος, όπου υπάρχει κάποιος συμμετρικός θετικός καθορισμένος πίνακας βάρους. Τα συνηθισμένα ελάχιστα τετράγωνα είναι μια ειδική περίπτωση αυτής της προσέγγισης, όταν ο πίνακας βάρους είναι ανάλογος με τον πίνακα ταυτότητας. Όπως είναι γνωστό από τη θεωρία των συμμετρικών πινάκων (ή τελεστών), υπάρχει μια αποσύνθεση για τέτοιους πίνακες. Επομένως, η καθορισμένη συνάρτηση μπορεί να αναπαρασταθεί ως εξής, δηλαδή αυτή η συνάρτηση μπορεί να αναπαρασταθεί ως το άθροισμα των τετραγώνων ορισμένων μετασχηματισμένων "υπολειμμάτων". Έτσι, μπορούμε να διακρίνουμε μια κατηγορία μεθόδων ελαχίστων τετραγώνων - LS-methods (Least Squares).

Μπορεί να φανεί ότι ο τύπος για τις εκτιμήσεις GLS των παραμέτρων του γραμμικού μοντέλου έχει τη μορφή

Ο πίνακας συνδιακύμανσης αυτών των εκτιμήσεων, αντίστοιχα, θα είναι ίσος με

Ζυγισμένα ελάχιστα τετράγωνα

Στην περίπτωση ενός πίνακα διαγώνιου βάρους (και επομένως του πίνακα συνδιακύμανσης των τυχαίων σφαλμάτων), έχουμε τα λεγόμενα σταθμισμένα ελάχιστα τετράγωνα (WLS - Weighted Least Squares). Σε αυτή την περίπτωση, το σταθμισμένο άθροισμα των τετραγώνων των υπολειμμάτων του μοντέλου ελαχιστοποιείται, δηλαδή, κάθε παρατήρηση λαμβάνει ένα «βάρος» που είναι αντιστρόφως ανάλογο με τη διακύμανση του τυχαίου σφάλματος σε αυτή την παρατήρηση: . Στην πραγματικότητα, τα δεδομένα μετασχηματίζονται με στάθμιση των παρατηρήσεων (διαιρώντας με ένα ποσό ανάλογο με την υποτιθέμενη τυπική απόκλιση των τυχαίων σφαλμάτων) και εφαρμόζονται κανονικά ελάχιστα τετράγωνα στα σταθμισμένα δεδομένα.

Μερικές ειδικές περιπτώσεις εφαρμογής του LSM στην πράξη

Γραμμική προσέγγιση

Εξετάστε την περίπτωση όταν, ως αποτέλεσμα της μελέτης της εξάρτησης μιας ορισμένης κλιμακωτής ποσότητας από μια συγκεκριμένη κλιμακωτή ποσότητα (Αυτό μπορεί να είναι, για παράδειγμα, η εξάρτηση της τάσης από την ισχύ του ρεύματος: , όπου είναι μια σταθερή τιμή, η αντίσταση του αγωγού ), μετρήθηκαν αυτές οι ποσότητες, με αποτέλεσμα να ληφθούν οι τιμές και οι αντίστοιχες τιμές τους. Τα δεδομένα μετρήσεων πρέπει να καταγράφονται σε πίνακα.

Τραπέζι. Αποτελέσματα μετρήσεων.

Μέτρηση Αρ.
1
2
3
4
5
6

Η ερώτηση ακούγεται ως εξής: ποια τιμή του συντελεστή μπορεί να επιλεγεί για να περιγράψει καλύτερα την εξάρτηση; Σύμφωνα με τα ελάχιστα τετράγωνα, αυτή η τιμή πρέπει να είναι τέτοια ώστε το άθροισμα των τετραγωνικών αποκλίσεων των τιμών από τις τιμές

ήταν ελάχιστη

Το άθροισμα των τετραγωνικών αποκλίσεων έχει ένα άκρο - ένα ελάχιστο, το οποίο μας επιτρέπει να χρησιμοποιήσουμε αυτόν τον τύπο. Ας βρούμε την τιμή του συντελεστή από αυτόν τον τύπο. Για να γίνει αυτό, μετασχηματίζουμε την αριστερή του πλευρά ως εξής:

Ο τελευταίος τύπος μας επιτρέπει να βρούμε την τιμή του συντελεστή , που απαιτήθηκε στο πρόβλημα.

Ιστορία

Μέχρι τις αρχές του XIX αιώνα. Οι επιστήμονες δεν είχαν ορισμένους κανόνες για την επίλυση ενός συστήματος εξισώσεων στο οποίο ο αριθμός των αγνώστων είναι μικρότερος από τον αριθμό των εξισώσεων. Μέχρι τότε, χρησιμοποιήθηκαν συγκεκριμένες μέθοδοι, ανάλογα με το είδος των εξισώσεων και την ευρηματικότητα των αριθμομηχανών, και ως εκ τούτου διαφορετικοί αριθμομηχανές, ξεκινώντας από τα ίδια δεδομένα παρατήρησης, κατέληξαν σε διαφορετικά συμπεράσματα. Ο Gauss (1795) πιστώνεται με την πρώτη εφαρμογή της μεθόδου και ο Legendre (1805) την ανακάλυψε ανεξάρτητα και την δημοσίευσε με τη σύγχρονη ονομασία της (fr. Metode des moindres quarres ) . Ο Laplace συσχέτισε τη μέθοδο με τη θεωρία των πιθανοτήτων και ο Αμερικανός μαθηματικός Adrain (1808) εξέτασε τις πιθανοτικές εφαρμογές της. Η μέθοδος είναι ευρέως διαδεδομένη και βελτιωμένη από περαιτέρω έρευνα από τους Encke, Bessel, Hansen και άλλους.

Εναλλακτική χρήση MNC

Η ιδέα της μεθόδου των ελαχίστων τετραγώνων μπορεί επίσης να χρησιμοποιηθεί σε άλλες περιπτώσεις που δεν σχετίζονται άμεσα με την ανάλυση παλινδρόμησης. Το γεγονός είναι ότι το άθροισμα των τετραγώνων είναι ένα από τα πιο κοινά μέτρα εγγύτητας για διανύσματα (η Ευκλείδεια μετρική σε χώρους πεπερασμένων διαστάσεων).

Μια εφαρμογή είναι η «λύση» συστημάτων γραμμικών εξισώσεων στα οποία ο αριθμός των εξισώσεων είναι μεγαλύτερος από τον αριθμό των μεταβλητών

όπου η μήτρα δεν είναι τετράγωνη, αλλά ορθογώνια.

Ένα τέτοιο σύστημα εξισώσεων, στη γενική περίπτωση, δεν έχει λύση (αν η κατάταξη είναι στην πραγματικότητα μεγαλύτερη από τον αριθμό των μεταβλητών). Επομένως, αυτό το σύστημα μπορεί να «λυθεί» μόνο με την έννοια της επιλογής ενός τέτοιου διανύσματος προκειμένου να ελαχιστοποιηθεί η «απόσταση» μεταξύ των διανυσμάτων και του . Για να το κάνετε αυτό, μπορείτε να εφαρμόσετε το κριτήριο για την ελαχιστοποίηση του αθροίσματος των τετραγωνικών διαφορών του αριστερού και του δεξιού μέρους των εξισώσεων του συστήματος, δηλαδή . Είναι εύκολο να δείξουμε ότι η λύση αυτού του προβλήματος ελαχιστοποίησης οδηγεί στη λύση του παρακάτω συστήματος εξισώσεων