Volgens de legende streden de zeegod Poseidon en Athene, de godin van de wijsheid, om het meest waardevolle geschenk te vinden voor de mensheid. Poseidon gaf de mens het paard en Athene gaf de mens de olijfboom, waaronder volgens de legende alle oude Griekse goden zijn geboren. Vanwege de vele toepassingen (warmte, voedsel, medicijnen en parfum) werd de olijfboom gekozen als meest waardevolle geschenk.
In ruil voor dit belangrijke geschenk mocht de machtigste stad in Griekenland haar naam dragen.

In 86 voor Christus liet de Romeinse dictator Lucio Cornelio Silla alle olijfbomen omhakken zodat het hout kon worden gebruikt voor oorlogswapens. De vernietiging van de bomen werd gezien als voorteken van de dood. De dichter en politicus Solone plantte om deze reden meer olijfbomen, die in bescherming werden genomen door Zeus. Sinds dat moment zijn olijfbomen onverwoestbaar.

Volgens het Oude Testament kwam de duif die Noach na de zondvloed uitstuurde, terug naar de Ark met een olijftakje. Dit betekende dat het water aan het zakken was. Er wordt aangenomen dat een olijftak als symbool voor vrede en goede wil zijn oorsprong heeft in dit verhaal.

Dichtbij de muren van de oude stad van Jeruzalem staat een enorme olijfboom die meer dan 2000 jaar oud is. De boom heeft dikke, kronkelende wortels, een enorme stam en prachtige groene bladeren. Volgens de legende rustte koning David altijd in de schaduw van deze boom terwijl hij op zijn luit speelde. Sindsdien gelooft men dat iedereen die onder de bladeren van deze boom staat, de prachtige muziek van de luit van koning David kan horen.