Gaussian Process
Un proceso gaussiano (PG) es un modelo probabilístico que permite describir distribuciones sobre funciones. En vez de generar una única predicción, un PG proporciona una distribución de probabilidades, lo que resulta muy útil cuando se necesita conocer no solo el valor esperado, sino también la incertidumbre asociada.
Aplicaciones prácticas
- Regresión no lineal: capturar relaciones complejas sin necesidad de una forma funcional predefinida.
- Optimización bayesiana: encontrar soluciones óptimas con un número reducido de evaluaciones costosas (ej. pruebas de laboratorio, simulaciones).
- Ciencias de la Tierra y meteorología: predicciones espaciales y temporales (con datasets en agricultura).
Fortalezas
- Alta interpretabilidad gracias a la cuantificación de incertidumbre.
- Flexibilidad para trabajar con distintos kernels que adaptan el modelo al tipo de datos.
Limitaciones
- Escalabilidad reducida: ineficiente con millones de ejemplos.
- Sensibilidad a la elección del kernel.
Los procesos gaussianos (PG) son modelos no paramétricos, lo que significa que no imponen un número fijo de parámetros, sino que ajustan su complejidad de acuerdo con los datos disponibles. Gracias a esta flexibilidad, son capaces de capturar relaciones altamente no lineales mientras proporcionan estimaciones de incertidumbre en cada predicción. La idea central es que cualquier colección finita de valores de función sigue una distribución gaussiana conjunta definida por una función de media y una función de covarianza (kernel).
La elección del kernel resulta fundamental, ya que codifica las suposiciones sobre la naturaleza de los datos: suavidad, periodicidad o correlaciones espaciales. Entre los kernels más utilizados se encuentran el de base radial (RBF), el de Matérn y los periódicos, cada uno adecuado para distintos contextos como señales suaves, datos espaciales más irregulares o series temporales cíclicas. Además, es común combinar varios kernels para modelar fenómenos complejos de manera más precisa.
A pesar de su interpretabilidad y elegancia matemática, los PG presentan un desafío en cuanto a escalabilidad. Su implementación estándar requiere operaciones sobre matrices de covarianza de tamaño n × n, lo que implica una complejidad cúbica en función del número de muestras. Para mitigar este problema, se han desarrollado aproximaciones dispersas, métodos de puntos inductores y técnicas de inferencia variacional que permiten aplicar PG a conjuntos de datos más grandes.
Más allá de la regresión, los procesos gaussianos también se aplican en clasificación, predicción de series temporales e incluso en aprendizaje por refuerzo. En particular, desempeñan un papel clave en la optimización bayesiana para encontrar soluciones óptimas con pocas evaluaciones, así como en el aprendizaje profundo probabilístico donde actúan como distribuciones a priori. Su versatilidad y su capacidad para manejar la incertidumbre los convierten en una herramienta esencial dentro del aprendizaje automático probabilístico.
Referencia : Rasmussen & Williams, Gaussian Processes for Machine Learning.
