Palomero se ubica a los pies de la Sierra del Canchal, junto al paso de acceso al valle donde se encuentra Marchagaz. Los olivos dominan el paisaje, en el que se intercalan pequeños cercados de encinas y alcornoques. Es punto de unión de diversos cursos de agua que acaban formando el arroyo del Palomero.
Su casco urbano original es alargado, lo forman grandes calles acomodadas a la topografía, con la plaza en el centro y la iglesia en el extremo norte.
Son interesantes la iglesia de San Miguel, los antiguos lagares de aceite y su entorno, que se puede disfrutar con el sendero mozárabe a las Hurdes camino de la Peña de Francia (Salamanca).