Місто розкинулось на берегах річки Неретви.
Поселення в цих краях існували ще в часи неоліту. В середньовіччі в цьому місці був дерев'яний міст. В XVI столітті турки заклали фортецю і в 1566 році побудували кам'яний міст. Власне з мостом і вежами при вході на нього і пов'язана назва міста: Мостар з сербської перекладається як "страж мосту". В 1993 під час боснійської війни міст було зруйновано. Відновили міст у 2004 році. У 2005 році міст було включено до списку об'єктів світової спадщини ЮНЕСКО.
В архітектурі відчувається вплив турків - місто було частиною Турецької Імперії до 1875 року.