¿Por qué se dice que los de colegio dicen que el algebra es fácil y los universitarios y matemáticos dicen que es difícil?

Porque la palabra álgebra es polisémica. Copio una explicación sobre los diversos significados, que publiqué en otra entrada de Quora:

Álgebra significa al menos cuatro cosas

• 1. La parte de las matemáticas que estudia las estructuras matemáticas, esto es, los conjuntos dotados de operaciones internas y externas (grupos, anillos, cuerpos, espacios vectoriales, retículos, etc), y las aplicaciones (homomorfismos, automorfismos, endomorfismos, isomorfismos) entre ellos.
• 2. Adicionalmente un álgebra es una de tales estructuras, concretamente un espacio vectorial en el que además hay definida una operación interna producto.
• 3. Se denomina álgebra lineal al estudio de una estructura concreta: la de espacios vectoriales, y de las aplicaciones entre ellos. De este estudio surge naturalmente el concepto de matriz.
• 4. Además de estas tres definiciones, para andar por casa se entiende como álgebra el uso de letras en matemáticas para referirse a números cualesquiera. Así, 2(a−b)=2a−2b2(a−b)=2a−2b es una expresión algebraica en este cuarto sentido.

Cuando un escolar de colegio habla de álgebra se está refiriendo a la cuarta acepción. Cuando un universitario de nivel elemental habla de álgebra se refiere a la tercera acepción. Cuando un alumno aventajado de una carrera científica habla de álgebra se refiere a la primera acepción.

Así pues, están hablando de cosas relacionadas, pero distintas. Por eso para unos es fácil y para otros difícil.