Le quartier de Sainte-Anne est le plus peuplé de la commune. La population locale est en majorité des pêcheurs. A la fin du 19e siècle, des maisons de villégiature sont construites le long de la rue du Général de Gaulle (Les Roches, vers 1885) ainsi que des hôtels de voyageurs (Hôtel de la Plage) . Quelques magasins de commerce sont ouverts, ainsi qu'une poste en 1902. L'arrivée de la route en corniche en 1918 donne un nouveau souffle au quartier et de nombreux projets sont évoqués pour réaménager le carrefour central. En 1930-31 est percé le boulevard du Coz-Pors, comblant un ancien lavoir et un ancienne mare d'eau qui servait au 19e siècle à rouir le lin.
La Seconde Guerre mondiale ralentit les projets qui ne sont réalisés qu'après-guerre : une poste est construite entre 1950 et 1952 (Pierre-Jack Laloy, architecte), une salle des fêtes à partir de 1955 (Jean Le Corre, architecte). En 1962, un mur de soutènement est construit le long de la baie. La baie de Sainte-Anne est le lieu d'hivernage des bateaux de travail (et de plaisance aujourd'hui) des marins de Trégastel, comme la grève ouest de Pors Garlostenn.