Cuando le escribís algo a ChatGPT y te responde con un párrafo redondo, parece que del otro lado hay alguien que entiende. Por dentro, la máquina hace una sola cosa, muy concreta y sorprendentemente simple de enunciar: predice cuál es la próxima palabra. Todo lo demás (la gramática, el tono, los datos, la sensación de razonamiento) emerge de repetir esa jugada millones de veces. Este es el primer artículo de la serie IA por dentro, donde vamos a abrir la caja y explicar por qué la IA funciona como funciona hoy.
La idea central: predecir lo que sigue
Un modelo de lenguaje es un sistema que asigna probabilidades a secuencias de palabras. Dicho en criollo: dada una frase a medio terminar, calcula qué tan probable es cada palabra posible como continuación. Si escribís “el cielo está”, el modelo estima que “despejado”, “nublado” o “gris” son continuaciones probables, y que “zapato” es muy improbable.
En términos duros, el modelo aprende una distribución de probabilidad condicional. La probabilidad de la palabra siguiente depende de todas las palabras anteriores:
P(w_t | w_1, w_2, ..., w_{t-1})
y la probabilidad de una oración completa es el producto de esas probabilidades:
P(oracion) = P(w_1) * P(w_2 | w_1) * P(w_3 | w_1, w_2) * ...Esa fórmula se llama regla de la cadena de la probabilidad. Entrenar un modelo de lenguaje consiste en ajustar millones (o miles de millones) de parámetros para que esas probabilidades se parezcan lo más posible a las que aparecen en el texto humano real.
De dónde viene la idea
La raíz es vieja. En 1948, Claude Shannon publicó la teoría de la información y ya modelaba el lenguaje como una fuente estadística: medía cuánta incertidumbre (entropía) tiene la próxima letra de un texto en inglés. Esa intuición (el lenguaje es predecible en parte, y esa parte se puede medir) es el cimiento de todo lo que vino después.
Durante décadas, la forma práctica de hacerlo fueron los modelos n-grama. La receta era contar: mirás un corpus enorme y calculás con qué frecuencia la palabra B sigue a la palabra A. Un modelo trigrama predice la palabra siguiente usando solo las dos anteriores:
P(w_t | w_{t-2}, w_{t-1}) = conteo(w_{t-2}, w_{t-1}, w_t) / conteo(w_{t-2}, w_{t-1})Funcionaba para tareas acotadas, con dos problemas serios. Primero, la ventana es cortísima: mirar solo dos o tres palabras hacia atrás pierde el contexto largo de una oración. Segundo, la explosión combinatoria: la cantidad de secuencias posibles crece tan rápido que casi todas aparecen cero veces en el corpus, y el modelo se queda mudo ante combinaciones nuevas.
El salto neuronal
En 2003, Yoshua Bengio y colegas propusieron el modelo de lenguaje neuronal probabilístico. La idea que cambió el juego: representar cada palabra como un vector de números (una representación distribuida) y dejar que una red neuronal aprenda esas representaciones junto con las probabilidades. Así, palabras con significados parecidos terminan con vectores parecidos, y el modelo generaliza a combinaciones que nunca vio exactamente.
Ese fue el germen de los embeddings, que vemos en detalle en el próximo artículo. Con redes neuronales, la ventana de contexto se pudo estirar y la generalización mejoró muchísimo. El camino siguió con redes recurrentes (RNN, LSTM) y desembocó en 2017 en la arquitectura Transformer, que es la que hoy mueve a los grandes modelos.
Cómo genera texto, token a token
Los modelos actuales son autoregresivos: generan de a un pedazo por vez y realimentan lo que escribieron. El ciclo es este:
- Recibe el texto de entrada (tu prompt).
- Calcula una probabilidad para cada palabra posible del vocabulario.
- Elige una según esas probabilidades y la agrega al texto.
- Vuelve al paso 2 con el texto ya extendido, hasta terminar.
Cada palabra que ves aparecer en la pantalla es una nueva pasada completa por la red. Por eso la respuesta se escribe de a poco: literalmente la está calculando palabra por palabra. Cómo elige entre las opciones probables (de forma más conservadora o más creativa) depende de parámetros de muestreo como la temperatura, tema que tratamos cuando hablemos de por qué la IA alucina.
Por qué predecir alcanza para parecer inteligente
Acá está el punto que desconcierta a mucha gente. ¿Cómo puede una tarea tan pedestre como “adiviná la palabra que sigue” producir código, resúmenes y explicaciones coherentes? La respuesta corta es la escala. Para predecir bien la próxima palabra en cualquier texto del mundo, el modelo se ve obligado a capturar un montón de estructura implícita:
- Gramática y sintaxis, para que la frase cierre.
- Hechos del mundo, porque completar “la capital de Francia es” exige saberlo.
- Estilo y registro, para sonar formal, técnico o coloquial según el contexto.
- Patrones de razonamiento, presentes en los textos donde alguien argumenta paso a paso.
Cuando entrenás un modelo suficientemente grande con suficiente texto, esas capacidades aparecen como efecto secundario de optimizar una única meta: minimizar el error de predicción. A eso se le llama comportamiento emergente, y es una de las razones por las que la IA de hoy sorprendió incluso a quienes la construyeron.
Lo que conviene tener claro
El modelo genera cada respuesta desde cero calculando probabilidades. No consulta una tabla de respuestas guardadas ni copia un documento. Esa naturaleza generativa explica dos cosas de una vez: por qué puede escribir algo original y por qué a veces afirma con total seguridad cosas falsas. La verdad y la probabilidad son cosas distintas, y el modelo optimiza la segunda.
Entender esto es la base para lo que sigue en la serie. En el próximo artículo vemos cómo la IA convierte palabras en números con tokens y embeddings. Y si te interesa el ángulo práctico de cómo un modelo lee e interpreta tu sitio, mirá cómo la IA entiende tu contenido y semántica.
Fuentes
- Shannon, C. E. (1948), A Mathematical Theory of Communication.
- Bengio et al. (2003), A Neural Probabilistic Language Model, JMLR.
- Jurafsky & Martin, Speech and Language Processing (3.ª ed., borrador).