Su primer cargo político de relevancia lo ocupó como diputado foral de Guipúzcoa y consejero de Turismo en el segundo Consejo General Vasco, presidido por Carlos Garaicoetxea hasta la aprobación del Estatuto de Guernica en octubre de 1979.

En 1982 fue nombrado delegado del Gobierno en el País Vasco, cargo en el que sustituía a Marcelino Oreja.

Elegido diputado del PP por Vizcaya en los comicios generales del 89, renunció a su escaño para presentarse como candidato a lehendakari en las autonómicas del 90. No ganó, y se mantuvo en la oposición como portavoz del Grupo Popular durante la legislatura para volver a presentarse como cabeza de lista cuatro años después.

Pero la victoria de los populares en las generales del 96 iba a depararle otros designios. De la mano de José María Aznar dio el salto a la política nacional, donde ocupó la cartera de Interior. Fue uno de los ministros mejor valorados por la opinión pública, aunque su oposición a negociar con ETA y sus duras críticas al Pacto de Lizarra provocaron continúas críticas desde los partidos nacionalistas vascos.

En 2001 abandonó Interior y su escaño de diputado en el Congreso de los Diputados para volver a la política vasca como candidato, una vez más, a la presidencia del gobierno autonómico.

Su vuelta a la política vasca iba a durar sólo tres años porque en 2004 fue elegido diputado en el Parlamento Europeo como cabeza de lista del PP. Durante la última legislatura ha sido vicepresidente del Grupo Popular Europeo y portavoz del partido en la Eurocámara.

Además de ser eurodiputado, Mayor Oreja ha participado activamente en la política nacional. Ha sido uno de los líderes populares más críticos con la política antiterrorista del gobierno socialista de Rodríguez Zapatero. Contrario a cambiar de estrategia en el PP tras el fracaso electoral del 9 de marzo de 2008, ha calificado la situación actual de su formación como “el momento más crítico y difícil del PP”.