Los avances en los grandes modelos lingüísticos (LLM, por sus siglas en inglés) han generado entusiasmo entre los inversores, pero su aplicación como herramienta de inversión fiable conlleva desafíos. Los modelos lingüísticos pequeños (SLM, por sus siglas en inglés) evitan los problemas asociados a los LLM y pueden ofrecer resultados coherentes especialmente adaptados a cuestiones específicas. El estudio de caso sobre el uso de un SLM desarrollado por Lazard para identificar la exposición de las empresas chinas al difícil mercado inmobiliario del país ofrece un ejemplo real de SLM en funcionamiento.
Retos para los grandes modelos lingüísticos
Un año después del lanzamiento de ChatGPT-4, el auge de la inteligencia artificial (IA) ha cautivado a los inversores y ha contribuido a impulsar los mercados bursátiles mundiales, liderados por Estados Unidos. Los LLM, la tecnología que impulsa este auge, avanzan rápidamente.
Sin embargo, hay dos factores que dificultan la confianza en los LLM en el ámbito de la inversión: las alucinaciones y la opacidad. La alucinación se refiere a la tendencia de los LLM a presentar con confianza información inventada como si fuera un hecho. El problema forma parte de un reto más amplio de «alineación», cuyo objetivo es conseguir que la IA siga con fiabilidad las intenciones humanas. El segundo reto, la opacidad, se refiere al hecho de que los modelos funcionan como «cajas negras». Con miles de millones (a veces billones) de parámetros, su enorme escala hace casi imposible comprender plenamente su lógica interna. Y debido a la laberíntica red de parámetros interconectados en las redes neuronales, resulta poco práctico destilar el comportamiento general del sistema en un conjunto claro de reglas.
Avances en los pequeños modelos lingüísticos
Warren Weaver sentó las bases de la traducción automática, los modelos estadísticos del lenguaje y las técnicas modernas de procesamiento del lenguaje natural (NLP, por sus siglas en inglés) en un memorándum escrito en 1949. El análisis cuantitativo de textos basado en diccionarios nació con la creación de The General Inquirer por Stone y otros en 1966. Desde estos humildes comienzos, las décadas siguientes fueron testigo del desarrollo de un amplio conjunto de técnicas de procesamiento de textos, denominados colectivamente Modelos de Lenguaje Pequeño. A diferencia de sus primos mayores, los SLM no alucinan y producen sistemáticamente los mismos resultados con la misma entrada. También funcionan como «cajas de cristal», con un número mucho menor de parámetros.
Uno de esos SLM es el Latent Semantic Scaling (LSS) desarrollado por Kohei Watanabe, miembro del equipo Lazard Quantitative Equity. Es una técnica de escalado de documentos semisupervisada que localiza documentos en cualquier idioma en dimensiones definidas por el usuario. Para lograrlo, LSS combina dos elementos: la técnica no supervisada de Análisis Semántico Latente (LSA, por sus siglas en inglés) y las «palabras semilla» proporcionadas por el usuario. El LSA estima la proximidad semántica entre las palabras de los datos, mientras que las palabras semilla definen las dimensiones de interés. Al medir la proximidad semántica de las palabras a las palabras semilla en lugar de basarse únicamente en las frecuencias de las palabras, el LSS proporciona una respuesta altamente interpretable, teóricamente fundamentada y precisa a una pregunta dada en cualquier idioma.
Caso práctico: el mercado inmobiliario chino
Se puede demostrar su uso en la práctica a través de un estudio de caso sobre la gestión del riesgo que emana del mercado inmobiliario chino desde que en agosto de 2020, el Gobierno chino anunció su política de las «Tres Líneas Rojas», imponiendo requisitos financieros más estrictos a los promotores inmobiliarios para desapalancar el sector, controlar los precios burbujeantes de la propiedad y mitigar los riesgos financieros sistémicos.
Para ayudarse a navegar por esta «crisis financiera a cámara lenta”, se aplicó el LSS a los informes anuales presentados en mandarín. Al analizar el texto en su forma original, se pudo comprender mejor los matices, las referencias culturales y los significados contextuales que suelen perderse en la traducción. El análisis abarcó 25.000 documentos con 6,5 millones de páginas. Cabe destacar que esto se consiguió utilizando sólo un puñado de parámetros y sin necesidad de dominar el mandarín, ya que el contexto semántico se extrae estadísticamente.
Los resultados mostraron que el tema es prioritario para los promotores inmobiliarios y los bancos que les conceden préstamos. Las empresas industriales también ocupan un lugar destacado, con casi el doble de empresas financieras con una exposición media-alta. Entre ellas se incluyen empresas dedicadas a proyectos de ingeniería, adquisición y construcción, fabricantes de maquinaria como excavadoras y empresas que prestan servicios relacionados con la vivienda, como la gestión de residuos. Ante la ralentización de las ventas nacionales, muchas se dirigen cada vez más a los mercados de exportación, lo que ha dado lugar a investigaciones antidumping por parte del Reino Unido y de la Comisión Europea.
Los rendimientos bursátiles de las empresas no pertenecientes a los sectores inmobiliario y financiero se han alineado con su grado de exposición al mercado de la vivienda, según las estimaciones de LSS. Las empresas menos expuestas han obtenido mejores resultados bursátiles que las más expuestas y que el índice de referencia. Además de ser transparente (podemos desglosar y comprender completamente los resultados del LSS), este nivel de precisión supone una fracción del coste si intentáramos realizar el mismo ejercicio utilizando un LLM.
En un mundo cautivado por los grandes modelos lingüísticos es fácil pasar por alto el valor de sus primos más pequeños. Los modelos lingüísticos pequeños, basados en técnicas perfeccionadas a lo largo de 75 años, ofrecen fiabilidad e interpretabilidad, cualidades de las que a menudo carecen los LLM. Aunque los LLM deslumbran por su escala y alcance, su opacidad y tendencia a alucinar limitan su utilidad en el ámbito de la inversión. Los SLM, en cambio, ofrecen resultados coherentes y manejables que resultan especialmente adecuados para cuestiones muy específicas, como ha demostrado el estudio de caso sobre el mercado inmobiliario chino. Así pues, a medida que se acelera la carrera de la IA, los inversores y los investigadores deben recordar que lo grande no siempre es bonito.
Tribuna elaborada por George Ssali, Senior Vice President, Portfolio Manager/Analyst en Lazard Asset Management Limited (Londres)
Por Funds Society, Madrid
