Ayvalığın kurulduğu yerde çeşitli medeniyetler hüküm sürmüş. İlk çağlarda yerleşim Ayvalığın kıyısındaki adalarda olmuş. "

Hekatos Adaları" denilen yerlerde Nesos, Chalkis, Pordoselene ve Kydonia yerleşimleri kurulmuş. Bu yerleşim merkezleri Roma çağında en parlak dönemlerini yaşamışlar. Doğu Roma İmparatorluğunun son dönemlerinde ise önemini yitirmişler. Bundan sonra yerleşim "İlk Kurşun Tepesi" eteklerine doğru kaymaya başlamış. Kentin tarihsel süreçteki gelişimi bu yeni yerleşim alanında olmuş. Dört antik kentten Chalkis ve Pordoselene zamanla terk edilmiş ve toprak altında kalmış, Nesos ve Kydonia ise varlığını günümüze kadar sürdürebilmiş. Ayvalık ismini "Kydonia"nın Türkçe"ye çevrilmesi ile alıyor. Elverişli koyları ile Ayvalık bir dönem korsanların uğradığı işlek bir liman halini almış. Ayvalıktaki evlerin birbirine bitişik olması ve sokakların darlığı bu korsanların varlığına bağlanıyor. İlerleyen çağlarda tipik bir Rum yerleşim merkezi halini alan Ayvalık, Osmanlı egemenliği altındayken de ağırlıklı olarak Rumların yaşadığı bir bölgeydi. Burada yaşayan Rumlar genelde balıkçılıkla ve tarımla uğraşmışlar.