bajo la composición de funciones?

Bueno. Lo primero es que no basta decir “el grupo de las funciones reales monótonas f:[a,b]→[a,b]f:[a,b]→[a,b]”, porque un grupo es un conjunto con una operación que cumple ciertas propiedades. Y acá no se nos ha dicho cuál es la operación en cuestión.

¿La suma de funciones, a lo mejor? No, esa operación ni siquiera es cerrada en el conjunto: la suma de una función monótona creciente con una decreciente no tiene por qué ser monótona. Y si se incluyen únicamente las funciones monótonas crecientes, entonces en general no existen inversos, así que tampoco de esa forma se tendría un grupo.

¿El producto de funciones, entonces? Para que el conjunto sea cerrado bajo esa operación se necesita que todos los productos de elementos de [a,b][a,b] estén de nuevo en [a,b][a,b], y para que existan los inversos se necesita que también los inversos de elementos de [a,b][a,b] estén en [a,b][a,b]. Cuesta poco verificar que eso es imposible si se requiere que [a,b][a,b] sea un intervalo cerrado, con la excepción trivial de a=b=1a=b=1. Entonces esta operación tampoco nos da un grupo (que no sea el grupo trivial).

¿Qué hay de la composición de funciones? En ese caso una función tiene inverso únicamente si es biyectiva, así que la única forma de obtener un grupo es agregar a la condición de monotonía la de invertibilidad. Es decir, habría que cambiar la pregunta a la siguiente:

¿Existen subgrupos (propios) y subrgupos normales (propios) del grupo de biyecciones monótonas f:[a,b]→[a,b]f:[a,b]→[a,b] bajo la composición de funciones?

Como no se me ocurren otras operaciones convencionales que hagan de este conjunto un grupo, voy a suponer que la pregunta siempre se trató de esto.

Bueno, así las cosas, ese grupo tiene un subgrupo propio normal: el de las funciones (estrictamente) crecientes. La identidad es creciente; la composición de funciones crecientes es creciente; y el inverso de una función creciente también resulta ser creciente. Pero no todas las funciones monótonas biyectivas son crecientes: unas son decrecientes.

No falta sino ver que efectivamente este subgrupo es normal. Si f:[a,b]→[a,b]f:[a,b]→[a,b] es una biyección creciente y g:[a,b]→[a,b]g:[a,b]→[a,b] es cualquier biyección monótona, se tienen dos casos:

• gg es creciente. Entonces g−1fgg−1fg es creciente por ser composición de funciones crecientes.
• gg es decreciente. Entonces g−1g−1 también es decreciente, y asimismo lo es fgfg. Como la composición de dos funciones decrecientes es creciente, se obtiene que g−1fgg−1fg es creciente.

En ambos casos, g−1fgg−1fg es creciente, es decir, nuestro subgrupo es invariante bajo conjugaciones. O normal, que es lo mismo.