Bloomberg ha publicado un documento de investigación en el que se detalla el desarrollo de BloombergGPT, un nuevo modelo de inteligencia artificial generativa a gran escala. Según explican desde la compañía, este modelo de lenguaje grande (LLM, por sus siglas en inglés) ha sido entrenado específicamente en una amplia gama de datos financieros para apoyar un conjunto diverso de tareas de procesamiento del lenguaje natural dentro de la industria financiera.
Desde Bloomberg apuntan que los recientes avances en inteligencia artificial basada en LLM han demostrado nuevas y apasionantes aplicaciones para muchas áreas. Sin embargo, consideran que la complejidad y la terminología única del ámbito financiero justifican un modelo específico. BloombergGPT representa el primer paso en el desarrollo y aplicación de esta nueva tecnología para el sector financiero. Además, defienden que BloombergGPT abrirá nuevas oportunidades para aprovechar las enormes cantidades de datos disponibles en la Terminal de Bloomberg con el fin de ayudar mejor a los clientes de la empresa, aportando al mismo tiempo todo el potencial de la IA al ámbito financiero.
Como empresa de datos financieros, los analistas de datos de Bloomberg han recopilado y conservado documentos de lenguaje financiero a lo largo de cuarenta años. El equipo se basó en este extenso archivo de datos financieros para crear un amplio conjunto de datos de 363,000 millones de fichas de documentos financieros en inglés.
A estos datos se sumó otro conjunto de datos públicos, de 345.000 millones de tokens, para crear un gran corpus de entrenamiento con más de 700.000 millones de tokens. Utilizando una parte de este corpus de entrenamiento, el equipo entrenó un modelo de lenguaje causal con 50,000 millones de parámetros de decodificación. En particular, afrian que el modelo BloombergGPT supera a los modelos existentes de tamaño similar en tareas financieras, al tiempo que sigue rindiendo a la par o mejor en pruebas de PNL generales.
“Por todas las razones por las que los LLM generativos son atractivos -aprendizaje de pocos datos, generación de texto, sistemas conversacionales, etc. – vemos un enorme valor en haber desarrollado el primer LLM centrado en el ámbito financiero. BloombergGPT nos permitirá abordar muchos nuevos tipos de aplicaciones, al tiempo que ofrece un rendimiento mucho mayor de forma inmediata que los modelos personalizados para cada aplicación, con un tiempo de comercialización más rápido”, ha indicado Shawn Edwards, CTO de Bloomberg.
Por Funds Society
