Xi Jiping e tecnologia | Imagem: montagem via Xataka México

Com a escassez de placas de vídeo no mercado global, devido à alta demanda de diversos setores, como jogos e pesquisa científica, e com a restrição de fornecimento de tecnologia que os Estados Unidos fazem à China, além de outros fatores, como a censura interna, o país asiático está buscando treinar modelos de linguagem sem a utilização de Unidades de Processamento Gráficos (GPUs, no inglês).

Os modelos de linguagem em larga escala (LLM) são sistemas de inteligência artificial que podem gerar vários tipos de conteúdo, desde textos e códigos até imagens. Esses modelos precisam de uma grande quantidade de dados e recursos para serem treinados, o que inclui as placas de vídeos.

Uma das alternativas encontradas pela China para treinar LLM sem as GPUs é a utilização de modelos esparsos, que ativam apenas uma pequena parte dos parâmetros do modelo de linguagem, tornando-os mais eficientes e menos intensivos em recursos. Um desses modelos generativos de IA é o Wu Dao 2.0,  desenvolvido pela Academia de Inteligência Artificial de Pequim. Ele possui 1,75 bilhão de parâmetros e pode gerar linguagem natural, código, imagens e outros tipos de conteúdo.

Outra opção é usar modelos de código aberto que podem ser executados em uma única máquina, como o GLM-130B, que é baseado no ChatGPT-3 e possui 130 bilhões de parâmetros, podendo gerar linguagem e códigos naturais. Em determinadas tarefas, o GLM-130B pode ter uma qualidade comparável à 3° versão da plataforma da OpenAI.

Recentemente, a China tem promovido uma mudança em sua política de IA e nos LLM, incentivando a população e pequenas indústrias a utilizarem esses tipos de tecnologia.