La ville est bâtie au pied de la Bahía de Miel (1ère photo). Selon la légende, c'est à Baracoa qu'aurait débarqué Christophe Colomb, quoique ce "privilège" lui soit disputé par la ville de Gibarra. Il aurait planté La Cruz de la Parra sur la plage de Baracoa; l'analyse au carbone 14 a révélé que la croix datait bien de l'époque de Christophe Colomb mais que le bois était indigène. Cette croix est conservée dans la cathédrale de la ville.
Baracoa était protégée par trois forts dont le Fuerte Matachín (ci-dessous) transformé en musée. La ville, encerclée par des montagnes, est restée uniquement accessible par mer et isolée du reste de l'île jusqu'à la construction d'une route dans les années '60..
En octobre 2016, l'ouragan Matthew détruisait Baracoa; les dégâts étaient extrêmement importants et certaines rues étaient totalement encombrées de bâtiments effondrés. En mars 2017, la ville ne semblait plus du tout sinistrée et le travail accompli pour la restaurer en quelques mois seulement était impressionnant.
