Το σχήμα του Ολύμπου, η πολύμορφη και ευμετάβλητη γοητεία της φύσης του, οι ψηλές κορυφές του, γεμάτες ομίχλη και χαμηλά σύννεφα, που φέρνουν συχνά καταιγίδες, προκάλεσαν δέος και θαυμασμό στον προϊστορικό άνθρωπο, που κατοίκησε στους πρόποδές του, όπου η αρχαιολογική σκαπάνη αποκαλύπτει σήμερα ευρήματα από οικισμούς της εποχής του σιδήρου. Οι πρώτοι αυτοί κάτοικοι της περιοχής θα δημιουργήσουν τους θρύλους, που αργότερα θα δώσουν το δωδεκάθεο των αρχαίων Ελλήνων.

Οι δώδεκα θεοί, κατοικούσαν στα φαράγγια – στις πτυχές του Ολύμπου, όπως τα αποκαλεί ο Όμηρος – όπου βρίσκονται και τα παλάτια τους. Το Πάνθεον (o σημερινός Μύτικας), είναι το σημείο συνάντησής τους, θέατρο των θυελλωδών συζητήσεών τους. Ο θρόνος του Δία (το σημερινό Στεφάνι), φιλοξενεί αποκλειστικά τον αρχηγό των θεών, τον Δία. Από εκεί εξαπολύει τους κεραυνούς του, δείχνοντας έτσι τη «θεϊκήν του μήνιν». Ο Όλυμπος στην Ιλιάδα ονομάζεται μέγας, μακρύς, αιγλήεις (δηλ. λαμπρός), πολύδενδρος.

Στους πρόποδες του Ολύμπου, 5 χλμ. από τη θάλασσα, βρίσκεται το Δίον, ιερή πόλη των Μακεδόνων αφιερωμένη στο Δία και στους δώδεκα θεούς. Η ακμή του τοποθετείται ανάμεσα στον 5ο π.Χ. και τον 5ο μ.Χ. αιώνα. Οι ανασκαφές, που άρχισαν το 1928 και συνεχίζονται μέχρι σήμερα, αποκάλυψαν πλούσια ευρήματα της μακεδονικής, ελληνιστικής και ρωμαϊκής εποχής, που βρίσκονται στο Αρχαιολογικό Μουσείο του Δίου.

Η Πίμπλεια και τα Λείβηθρα, άλλες δύο αρχαίες πόλεις στην περιοχή του Ολύμπου, σχετίζονται με το μύθο του Ορφέα και τα ορφικά μυστήρια.

Αλλά και αργότερα η ιστορία στάθηκε πολυτάραχη στον Όλυμπο. Στα χρόνια της Τουρκοκρατίας το βουνό υπήρξε κρησφύγετο και ορμητήριο διάσημων κλεφτών και αρματολών. Στα νεώτερα χρόνια, μετά το 1900, έδρασαν εδώ ληστές. Κατά την εισβολή των Γερμανών το 1941 ο ελληνικός στρατός μαζί με μονάδες Νεοζηλανδών και Αυστραλών έδωσε υποχωρώντας σημαντικές μάχες. Αμέσως μετά φώλιασε εδώ η Εθνική Αντίσταση.