El caserío tradicional de El Olmo es viejo y de piedra, y muchas de sus antiguas viviendas están abandonadas. En un extremo del núcleo se levanta un edificio singular: la iglesia de Nuestra Señora de la Natividad, una de los buenos ejemplos del románico segoviano.

A mediados del siglo XIX todavía se conocía a esta iglesia como Santa María del Olmo, y era aneja a la parroquia de Barbolla. Este templo, que ha sido recientemente restaurado pese a la escasa actividad que registra (apenas un par de cultos al año), es una iglesia románica del siglo XII. Tiene una sola nave rematada por un ábside semicircular, en el cual se abren tres pequeños ventanales. También posee una pequeña torre adosada al muro norte, aunque con acceso independiente.

De la iglesia de Nuestra Señora de la Natividad destaca sobre todo su portada polilobulada de tres arquivoltas, así­ como los canecillos que sujetan la cornisa y que están decorados con diversos motivos. En el interior del templo puede admirarse el retablo mayor barroco, que aloja una serie de pinturas sobre tablas de factura renacentista y que se atribuyen al conocido como Maestro de Duruelo. Entre ellas sobresale la representación de Santa Águeda.

Ruinas de los despoblados de Corralejo y Villarejo.

Fiestas:

Las fiestas de El Olmo se celebran el primer fin de semana de septiembre, en honor a la Natividad de la Virgen, y son el preludio de las fiestas patronales de Barbolla, las de Nuestra Señora de Soña, que tienen lugar ocho días después.