Kübalı yaşlı balıkçı Santiago, seksen dört gündür hiç balık tutamamıştır. Köydekiler artık onun “şansı dönmüş” biri olduğuna inanır. Yanında eskiden ona yardım eden Manolin adında bir çocuk vardır; ailesi, Santiago uğursuz sayıldığı için onunla denize çıkmasına izin vermez ama çocuk yaşlı adamı çok sever, ona yemek getirir, ekipmanını taşır.
Uzun bir aradan sonra bir gün Santiago tek başına, diğer balıkçıların gittiğinden daha açığa, Gulf Stream sularına açılır. O gün çok büyük bir kılıçbalık oltaya takılır. Balık o kadar güçlüdür ki Santiago’nun teknesini günlerce sürükler. Yaşlı adam balığı çekmek yerine, balık onu çeker; aralarında uzun, sessiz bir mücadele başlar.
Santiago’nun elleri yarılır, sırtı ağrır, günlerce doğru dürüst uyuyamaz ama pes etmez. Balığa hem rakibi hem de dostu gibi hitap eder; ona saygı duyar. Sonunda balığı zıpkınlayarak öldürmeyi başarır ve teknesine bağlar. Balık o kadar büyüktür ki tekneye sığmaz.
Dönüş yolunda bu kez köpekbalıkları ortaya çıkar. Kan kokusunu alan köpekbalıkları, Santiago’nun büyük balığına saldırır. Santiago, zıpkınla, sopayla, dümenle, eline ne geçerse onlarla savaşır, birkaçını öldürür ama sonunda köpekbalıkları balığın etini neredeyse tamamen yer. Kıyıya vardığında elinde sadece balığın iskeleti kalmıştır.
Köydekiler sabah sahilde dev iskeleti görünce balığın ne kadar büyük olduğunu anlar ve Santiago’ya yeniden saygı duymaya başlarlar. O sırada yaşlı adam kulübesinde, bitkin halde uyumaktadır. Manolin onunla gurur duyar. Çocuk, ailesine rağmen artık yeniden Santiago ile balığa çıkacağını söyler.
Roman, dışarıdan bakılınca “kaybedilmiş” bir avla biter; Santiago balığı et olarak getirememiştir. Ama hem okur hem de Manolin için Santiago aslında onurunu, cesaretini ve inatçı ruhunu koruduğu için “yenilmiş ama yenilmemiş” sayılır.
Bu basit görünen hikâyenin arkasında, insanın onurla mücadele etmesi, yenilse bile pes etmemesi, yalnızlık, yaşlılık, umut ve doğaya saygı gibi güçlü temalar vardır. Santiago, dışarıdan bakınca kaybetmiş gibi görünse de, aslında elinden gelenin en iyisini yaptığı için yenilmemiş sayılır. Hemingway okura şunu hissettirir: Gerçek başarı, her şartta ayağa kalkıp tekrar denemektir.