¿Es verdad que toda función matemática se podría deducir en simples operaciones aritméticas?

No, en general eso no es cierto.

Recordemos que el concepto de "función" matemática es muy general. Por ejemplo, una función matemática puede ser el primer apellido de una persona… dada una persona la función te devuelve el primer apellido. Si bien cualquier cosa incluyendo apellidos, colores, lo que sea… se puede codificar con números, también es cierto que la codificación puede distanciarse mucho de lo que se considere una "simple operación aritmética".
También hay funciones con números que son "muy raras"… como la función de Dirichlet, que dado un número real devuelve 1 si el número es racional y devuelve 0 si no es racional (si es irracional). ¡¡Esta función no es continua en ningún punto!!! No hay forma de expresar esto con "simples operaciones aritméticas", las cuales son continuas (excepto quizá la división, una simple operación aritmética… aunque en este caso se dice que no está definida cuando el divisor es cero, es decir, sí es continua en todos los puntos en los que está definida).

Sin embargo, ¡en la mayoría de los casos de la vida diaria sí es cierto!!!
(o al menos "casi" cierto)

Las magnitudes físicas suelen ser continuas… Digo "suelen" porque también está la mecánica cuántica, y hay átomos, etc… pero las magnitudes que se usan en la mayoría de los casos se tratan como continuas: distancias, intervalos de tiempo, velocidades, masas, energías, potencias, etc…
También suelen ser derivables, e incluso infinitamente derivables.

Si tienes una función conocida que es continua e infinitamente derivable, la función se puede aproximar en un entorno mediante un polinomio.
Cada polinomio a fin de cuentas es básicamente multiplicaciones y sumas (o restas)… que son precisamente las operaciones más básicas. No solamente las primeras operaciones que aprendemos de niños, y que habitualmente sabemos hacer ya sea de cabeza o con lápiz y papel, sino que, además, son casi las únicas operaciones que hacen muchas máquinas, muchas computadoras.
La aproximación más conocida de este tipo se llama Serie de Taylor. [1]
Serie de Taylor - Wikipedia, la enciclopedia libre
Y un caso particular es cuando el punto alrededor del cual se aproxima es exactamente el número cero: en ese caso se llama Serie de Maclaurin.

Nótese que dije "aproximar" y también dije "en un entorno".
La Serie de Taylor tiene infinitos sumandos… y si sumases esos infinitos valores te daría exactamente el mismo resultado que da la función. Pero, claro, una suma de infinitas cosas no es lo que suele entender por "simples operaciones". Si tienes 1000 operaciones ya no es tan simple, si tienes 1 millón menos simple todavía y si tienes infinitas… definitivamente no es simple.
Sin embargo, puedes tomar un cierto grado n para el polinomio, es decir, un máximo exponente para la x, de forma que sí sea bastante simple y se puede calcular el error máximo que dará esta aproximación. De esta forma puedes tener una aproximación con una cantidad de operaciones aritméticas básicas bastante pequeña, para funciones 'suaves' (continuas y derivables) como las que se usan en la vida diaria.

En cuanto a que la aproximación sea válida "en un entorno" es porque cada función analítica tiene lo que se llama un "radio de convergencia" y la aproximación por Serie de Taylor solamente es válida dentro de ese radio. En general ese radio es la distancia del punto central donde aproximas a la singularidad más cercana. Lo bueno es que hay funciones como el seno, el coseno, exponenciales, polinomios, y cualquier composición de esas que no tienen ninguna singularidad en los números reales, lo cual significa que su radio de convergencia es infinito… En estos casos la Serie de Taylor te puede dar una aproximación en cualquier punto, por muy alejado que esté del punto central de referencia. Eso sí, cuanto más alejado estés lo habitual es que el error sea mayor, o, dicho de otra forma, si quieres que el error sea menor que cierta cantidad dada constante, tendrás que buscar un polinomio de mayor grado cuanto más te alejes del punto central.

A continuación un ejemplo de aproximación de la función seno (línea negra) mediante una Serie de Maclaurin (centrada en x=0). Para grado 1, la aproximación es una recta (línea roja). Por ejemplo el seno de 0.001 será aproximadamente 0.001…. La aproximación de sin(x) es simplemente el polinomio "x".

(Para grado 2 no existiría aproximación de Maclaurin)
Para grado 3, la aproximación es un polinomio de grado 3 (línea naranja)
p3(x) = x - x^3 / 6
Para grado 5, línea amarilla. p5(x) = x - x^3 / 6 + x^5 /120
Para grado 7, línea verde… etc. p7(x) = x - x^3 / 6 + x^5 /120 - x^7/5040

En general:

sin(x)=∑k=0∞(−1)k⋅x2k+1(2k+1)!=x−x33!+x55!−x77!+x99!−x1111!...sin(x)=∑k=0∞(−1)k·x2k+1(2k+1)!=x−x33!+x55!−x77!+x99!−x1111!...

Nótese que aunque para valores alejados del 0 se necesitaría un polinomio de grado mayor, sin embargo, como la función seno es periódica entonces para esos valores alejados se puede restar el periodo tantas veces como sea necesario y aproximar con un valor más cercano al 0, reduciendo el grado necesario. Con un grado 7 o incluso 5 puedes tener unas cuantas cifras decimales exactas para el seno.

Hasta aquí lo referente a aproximar una función conocida.

Ahora otro caso bastante interesante, e incluso añadiría muy habitual hoy.

Función desconocida: ¡cuando ni siquiera sabes la función que es!!

Problemas de regresión: [2]
Se usan bastante en Inteligencia Artificial, hoy en día, junto a otras técnicas, claro.
Tienes un conjunto de "puntos" y quieres una expresión (o función) matemática con operaciones aritméticas sencillas que se aproxime tanto como sea posible a esos valores conocidos.

Los puntos azules son los valores conocidos. Ej: para x=0 la función devuelve 2, para x = 1 la función devuelve 6, para x=2 la función devuelve 8, para x=3 devuelve 20 y para x=4 devuelve 54.
Con estos datos se calcula la curva de regresión polinómica de grado 2 (una parábola) que mejor se aproxima a esos valores, aunque no pase exactamente por ninguno de ellos.
Debido a que todas las medidas del mundo físico tienen una precisión y un error, que suele ser de tipo gaussiano, esta curva que da el mínimo error cuadrático es la más probable de todas las curvas de grado 2 (máxima verosimilitud para variables aleatorias gaussianas)
Por todo esto se suele englobar dentro de las técnicas de Estadística y Probabilidades. Aunque tiene también relación con el Álgebra (proyección sobre un espacio vectorial de polinomios) y el área de las matemáticas más cercano sería el Análisis Numérico. Se relaciona un poco con toda la matemática (álgebra, cálculo, estadísticas, probabilidades, aritmética…).
Una vez calculada la curva más probable, puedes hacer predicciones. ¿Qué valor sería el más probable que obtendría para x=5? El polinomio obtenido, que usa unas simples operaciones aritméticas, te predice cuál sería ese valor.
5·(5)^2 -8.2 · (5) + 4.4 = 125 - 41 + 4.4 = 88.4
¡¡Es como magia!! Es una de las técnicas de Inteligencia Artificial.
Se usa mucho con el paquete de software y lenguaje de programación llamado R. [3]

Problemas de interpolación o extrapolación: [4]
En el caso anterior obteníamos un polinomio que se aproximaba tanto como fuese posible a unos puntos… aunque no fuese exacto en ninguno de esos puntos conocidos.
En este caso necesitamos (por lo que sea) una función que pase exactamente por todos y cada uno de los puntos conocidos.
¡También es posible!
El grado mínimo del polinomio que pase por n puntos es n-1.
Por ejemplo, si tienes dos puntos siempre podrás unirlos por una recta… es decir, un polinomio de grado 1. Si tienes 3 puntos, siempre puedes encontrar una parábola que los une. Si tienes 4 puntos, habría un polinomio de grado 3 que los une. Y así sucesivamente. Siempre tienes una solución polinómica.

Este polinomio de grado mínimo es único.
Y al ser exacto en los puntos dados creo que no hace falta decir que coincidiría con la mejor curva de aproximación por regresión: cuando el polinomio de la regresión fuese del mismo grado y los puntos fuesen los mismos… no hay uno que dé menor error cuadrático que una suma de cuadrados igual a cero.
La diferencia es que la regresión suele buscar operaciones lo más simples posibles, y, por tanto, un grado pequeño, a veces una recta, otras una parábola, etc… la cual en general es incapaz de pasar por todos los puntos si son más de 3 (que es lo habitual, suelen ser miles, a veces millones). La regresión sacrifica exactitud a cambio de simplicidad o "velocidad de cálculo". Y lo hace por un motivo razonable: las medidas, en general, tienen errores… y, por tanto, ajustarse al máximo a unas medidas dadas suele ser inadecuado.

Esto sería un ejemplo de interpolación lineal. Muy exacto, sí, pero digamos que es muy "forzado", poco "natural". Aunque el grado de cada tramo sea 1 (una línea recta) ha metido 6 tramos para unir 7 puntos. Y digamos que no es muy probable que la función desconocida que deseamos modelar sea tan extraña con pendientes que cambian de forma discontinua. A ojo podría decir que un polinomio de regresión de grado 3, con solo 4 coeficientes a calcular, daría una aproximación muy buena (aunque no fuese exacta) y, además, sería una función simple que además de continua sería derivable varias veces.
Con una interpolación polinómica de grado 6 sé con seguridad que podría hacer pasar un polinomio por esos 7 puntos, y sería más "natural" y derivable… pero de alguna forma sería suponer que los 7 puntos que tengo (7 medidas) son exactos y quizá suponer que no, que ninguna medida es exacta, es más razonable, sobre todo si esa suposición lleva a simplificar y ahorrar cálculos.

Por cierto, una forma sencilla de expresar la interpolación polinómica de cualquier número de puntos se llama polinomios de interpolación de Lagrange. La idea consiste en multiplicar monomios de la forma (x-x0)·(x-x1)·(x-x3)·…·(x-xn) que se anulan en todos los puntos x0, x1, x3… xn excepto en el punto x = x2 … Cada uno de esos términos los multiplicas por el valor y2 que quieres en x = x2 y divides por (x2-x0)·(x2-x1)·(x2-x3)·…·(x2-xn)

Notas al pie