Acabamos de tornar disponível uma versão aprimorada do nosso modelo de linguagem, Aira. Aira possui diversas iterações, de chatbots de domínio fechado à chatbots de domínio aberto afinados via instruction-tuning e RLHF (Reinforcement Learning from Human Feedback).
Esta nova versão, Aira-Instruct, trata-se de uma série de modelos de linguagem generativos, de 124M à 1.7B de parâmetros, disponíveis em português e inglês.
Também disponibilizamos dois modelos de recompensa (utilizados em RLHF): um criado para avaliar a qualidade das gerações de nossos modelos (RewardModelPT), e outro modelo para auxiliar a controlar a toxicidade presente nas gerações do modelo (ToxicityModelPT). Ambos os modelos são disponibilizados em português e inglês.
Os datasets utilizados para o treinamento de todos os modelos mencionados, mais a implementação do treinamento dos modelos, também se encontram disponíveis no Hugging Face. 🤗
A série Aira-Instruct foi desenvolvida para auxiliar pesquisadores a explorar os desafios relacionados ao problema de Alinhamento. Por se tratar de modelos de pequeno porte (até 1.7 bilhões de parâmetros), os modelos podem ser reproduzidos por pesquisadores individuais com um custo de investimento relativamente baixo (~R$250,00).
Teste nossa demo no AIRES Playground ou no Hugging Face!
Os modelos e datasets desenvolvidos fazem parte do desenvolvimento da tese de doutorado de Nicholas Kluge, "Dynamic Normativity: Necessary and Sufficient Conditions for Outer Alignment." Esta pesquisa é financiada pelo CNPq (Fundação de Amparo à Pesquisa do Estado do Rio Grande do Sul), FAPERGS (Fundação de Amparo à Pesquisa do Estado do Rio Grande do Sul), DAAD (Deutscher Akademischer Austauschdienst), PUCRS (Pontifícia Universidade Católica do Rio Grande do Sul) e Universidade de Bonn.