Anche se le origini più antiche del borgo vengono fatte risalire sino al VI secolo a.C., le prime datazioni storiche di Porto Venere risalgono a Claudio Tolomeo (150 d.C.) e all'Itinerario Marittimo dell'imperatore Antonino Pio del 161 d.C.

Il nome del borgo (Portus Veneris) derivava da un tempio dedicato alla dea Venere, sito esattamente nel luogo in cui ora sorge la Chiesa di San Pietro. Il nome era probabilmente legato al fatto che, secondo la tradizione, la dea era nata dalla spuma del mare, abbondante proprio sotto quel faraglione. Oppure, ci piace crederlo, perché Porto Venere era una località bellissima e romantica anche allora.

Sono datati 1113 i documenti che testimoniano la costruzione del primo Castello; nel 1130 viene costruita la chiesa di San Lorenzo e nel 1139 il borgo nuovo. Sono del 1161 le mura che racchiudono entrambi i borghi, vecchio e nuovo, ed è infine nel 1162 che viene sancito formalmente il passaggio delle due chiese sotto la giurisdizione del vescovo di Genova, confermando di fatto il completo dominio genovese sul borgo. Nel XV secolo, con l'assalto degli aragonesi, viene meno il dualismo tra i due borghi; il borgo vecchio viene distrutto e lascia libero lo spazio che ancora oggi si può osservare tra il borgo nuovo e la chiesa di San Pietro.