242: Aprendizado por reforço, com Quentin Gallouédec, PhD. (Hugging Face)

[Música] Olá! Bem-vindas e bem-vindos a edição de Quarta-Fera, a edição de entrevista do IASOP Control, o seu podcast com Overfit em de Informações sobre o mundo da inteligência artificial. Eu sou o Marcos Mendes e é claro que se encontra semana por aqui, tá também o Fabrício a Carraro viajante Polygota, Rostro do Podcast Carreira sem fronteras e Programa de Ajudar a lura, Fabrício? Tudo bem? E aí, pessoal, chegando para mais uma entrevista que Quarta-Fera entra da nossa série de amigos que estamos fazendo da alguien fez, né, Marcos? E esse vai ser uma episódio que estava esperando há algum tempo que eu queria falar muito sobre esse tema, que é o aprendizado por reforço. É uma coisa que já estava buscando algum tempo especialista sobre o tema e agora a gente trouxe alguém dessa empresa que eu gosto tanto para falar exatamente sobre isso. E esse é aquele recadinho de sempre, né? Se você quiser escutar o papo em inglês, a conversa original, o link vai estar aqui na descrição do episódio, abaixo do link da Emmerção e aço do controle, vale do se listo, que está acabando seu tempo e a gente já fala sobre isso. Mas a partir de agora você vai ouvir o papo em português, então, Quentin, Quentin Galueidek, bem-vindo ao IASOP Control. Obrigada por me receber. A gente está bem animado de ter você aqui com a gente hoje, você engenheiro de pesquisa na Hagenface e a gente está tendo uma espécie de sequência de pessoas da Hagenface aqui que a gente tem na sorte de poder conversar, é bacana poder continuar então essa conversa aqui com você hoje. E tem uma coisa que a gente sempre fala sobre pesquisa de IASOP, desenvolvimento, parte de mesmo, estratégia de pesquisa, etc. Mas eu acho que a gente não tem muita coisa que isso significa, é uma coisa meio amorfa, pesquisa, quer explicar para todo mundo, inclusive para mim, o que isso significa na prática, você como engenheiro de pesquisa na Hagenface, o que é exatamente se faz com de se acorda, se prego de seu café, aí se é apable contador, não faz o quê? Então, eu vou falar especificamente sobre o meu trabalho, mas lembra que a gente é uma equipe, então, um objetivo geral é mais amplo do que só o que eu faço. Eu pessoalmente estou envolvido no desenvolvimento do biblioteca de postreinamento que a gente tem, ela é TRL. O objetivo para a gente é fornecer para a comunidade uma ferramenta para treinar modelos com facilidade e aí postre e na os modelos, eles serem mais precisos. Então isso fica no meio entre a pesquisa, então a gente tem que estar o mais atualizado possível com a literatura recente e também o desenvolvimento do software, então tudo relacionado a facilidade do uso de API e estabilidade e tudo que você pode imaginar que seja comum com qualquer software que possa ser desenvolvido. E a gente está entrando agora no mundo aprendizado por reforço aqui, que é uma coisa que eu sempre que descobri no podcast e eu nunca tive a oportunidade. Então eu vou usar você, cantar, para ter essa conversa com o pessoal aqui. A gente tem visto basicamente muitos frameworks sendo usados, não exatamente frameworks, mas técnicas, algoritmos que vem sendo usados desde o chat GPD, GPD3, GPD4 que surgiram ali com o rLHF, que o aprendizado por reforço com feedback humano. A gente viu também o DPO de Stanford, a gente até entrevistou Rafael Rafael Love, um dos autores do artigo do DPO aqui no podcast, teve o GPR lá do pessoal da DeepSique, cada dia a nova de ter técnicas mais recentes para fazer aprendizado por reforço. Então antes de mais nada, explica aqui para o nosso público, por favor, o que é exatamente o aprendizado por reforço, como é que ele funciona e como tem uma biblioteca, como essa que você está desenvolvendo ainda, Ragnfez, pode ajudar o desenvolvedor ou pesquisador comum do trabalho dele. E essa, sim, então, talvez antes de entender o que é aprendizado por reforço, a gente tem aqui, dizer que ele é uma etapa de todo pipeline de treinamento de um modelo. Normalmente, a gente começa com uma etapa muito cara e muito longa, que é o pretenamento bem básico, como você reúne uma quantidade enorme de dados e tenta fazer o modelo prever esses dados de uma forma autoregressiva. E uma vez que você tem isso, uma vez que você treinou o seu modelo, basicamente com todos os dados disponíveis por aí, você termina com que a gente chama de modelo base ou modelo pretreinado. E esse modelo, ele é basicamente inútil. Você mal consegue fazer qualquer coisa com esse modelo, porque ele não foi treinado para sequer instruções. Ele não é particularmente bom em fazer nada, mas tem uma questão que ele viu, uma quantidade muito grande de dados. E a gente tem uma segunda etapa que é o postreinamento e o postreinamento pode contém muitos tipos de treinamento. Talvez o mais simples seja o STF, então é a primeira etapa do postreinamento e que você pega um tipo específico de dados, vamos dizer, por exemplo, que você esteja tentando resolver um problema de matemática. Então você pegaria dados de matemática e faria, o STF, ou seja, o FIMTUNE supervencionado nesses dados de matemática. E o objetivo é tornar o modelo melhor, especificamente, matemática. E você pode fazer isso de uma forma mais ampla para seguir instruções, então basicamente é converter um modelo de base num chatbot, um modelo com qual você pode interagir. E a partir daí, você vai ter um bom modelo, mas provavelmente não tão bom, que seja o suficiente para o que você precisa. Se você quiser resolver um problema de matemática muito complicado, você vai precisar fazer melhor do que só um modelo que segue instruções. E nesse ponto é onde o aprendizado por reforço é especialmente poderoso, que é que você pode treinar um modelo para se sair melhor na tarefa específica que você pode definir com um sinal de recompensa. Então, fazer isso de uma outra forma. Se você não tem dados rotulados, se você não tem dados de verdade fundamental para um problema, você pode, por exemplo, criar uma função de recompensa, por exemplo, comparando a resposta final com uma resposta prevista, e o modelo vai tentar fazer esse sinal de recompensa aumentar para ele. Como que ele faz isso? Ele simplesmente gera dados. Então você faz uma pergunta, ele gera dados, e aí você dá valia se essa resposta está correta ou não. Se ela estiver correta, isso é reforçado o modelo apende por reforço pela recompensa, e se ele falhar em realizar essa tarefa, e aí vem o oposto do reforço. Então só diminui a probabilidade de ele prever essa resposta errado a específica. Isso é basicamente o que o Richard satan propôs. Ele é um dos pais, não opa ainda aprendizado por reforço, e ele foi, não pode que esse sentimento do Arcache Patel, você realmente acredita como fala o satan, que a gente não deveria continuar treinando os modelos da maneira que a gente está treinando agora, fazendo as fases de pretrenamento, post-renamento, SFT e tudo mais, e só confiar cada vez mais no aprendizado por reforço mesmo desde o zero, desde o início. A questão com a RL é que é difícil obter um sinal de recompensa. O que isso significa é que se você não é um sinal de recompensa para treinar, se o modelo constantemente produz uma resposta errada, você não consegue treinar o modelo em cima desse tipo de errado. Então por isso que aplicar a RL do zero é meio complicado, então o que isso significa pro objetivo de RL? É que você não tem nenhum sinal de recompensa para treinar, se o modelo constantemente produz uma resposta errada, você não consegue treinar o modelo em cima desse tipo de errado. Então por isso que aplicar a RL do zero é meio complicado. Dito isso, tem um fato interessante que surgiu com o Zipsi, que é R1, que é que eles tentaram isso no modelo base, então normalmente o que a gente faz primeiro é STF, aí depois do RL, eles tentaram aplicar o aprendizado por reforço direto no modelo base, e o que eles descobriram é que isso é possível, na verdade, já tem geros uns resultados bem legais interessantes, e sim eu acho, bom, no geral é difícil dizer se a gente deveria fazer completamente ou não. O que eu posso observar agora é que fazer o STF depois RL, e talvez DPO está girando resultados incríveis até agora, pelo que a gente pode ver todo o modelo que já receita, é o pensor, se você pode ver que eles foram treinados usando RL basicamente. Então quero dizer, funciona, talvez você possa fazer melhor, mas funciona muito bem hoje em dia. E o seu trabalho, um dos seus trabalhos aí na Hagenfei, é manter essa biblioteca, né, até RL, que lida com isso, como exurgiu isso e como que você está implementando essas técnicas na biblioteca, como que é o seu trabalho no dia a dia? E é exatamente, exatamente. O objetivo é implementar os novos métodos, então é ser uma parte do trabalho, implementar talvez seja mais fácil, porque você só ler o paper e tenta seguir as instruções, talvez a parte mais complicada e as pessoas provavelmente não percebem isso, é que você precisa manter, ao longo do tempo, um conjunto confiável das aceitas, um conjunto de código para que o usuário possa confiar nele. Se eles quisessem treinado DPO há dois anos, vocês poderiam ter feito isso, e se eles quisessem treinar o DPO a usar para treinar uma delogora, eles também podem fazer isso, mas não é mágica. A gente não só implementou DPO, deixa o DPO assim, a gente tem que manter isso ao longo do tempo, e uma outra coisa complicada é que, então, a gente menciona o RL, a gente falou sobre isso, mas o RL lá no começo de 2020, pode até voltar mais, o RL de 2017 com o PPO, era muito diferente do PPO, que era usado em RLHF, no início de 2021, e é muito diferente do GPR-Rioc, que é usado hoje para construir modelos de fronteira. E a questão é, quando você desenvolve esse tipo de biblioteca, você tem que fornecer algum tipo de suposição sobre o que os métodos só agora que eles vão sendo férias. e às vezes não é tão fácil definir algumas abstractões para você conseguir implementar facilmente métodos que ainda não existem, não existia. E você está numa empresa que tem privilégio de poder ter uma estrutura bacana, que tem pessoas ótimas que trabalham junto com você nos problemas, então acho que um jeito de colocar isso seria falar que você tenha ajudado a fazer as coisas avançarem, a evoluir, sempre ficou curioso para saber como é que é isso por dentro, não só ver o mercado, campo todo evoluir, mas também contribuir ativamente para isso, para a ponta da pesquisa, da ponta da pesquisa, certo? Isso faz sentido para contribuir depois de fundir, como é que é isso? E é muito impolgante porque você, a equipe do time de pesquisa da Hagenfei, é bastante pequena. Eu diria que só amamos uma coisa entre 10 e 30 pessoas, dependendo do assunto que você considera. Mas a questão é que parece que você está envolvido dentro de uma comunidade mais ampla, e me parece que todos nós estamos fazendo as mesmas perguntas, tentando lidar com as mesmas limitações que podem ser de pesquisa ou de tecnologia, eu pego um exemplo em a real, o que você precisa fazer é geradados, por exemplo, bom, você tem que geradados, isso faz parte do treinamento, mas geração não é tão fácil de fazer, se você quiser fazer isso rápido, é um desafio técnico fazer isso rápido, então quando você usa bibliotecas como VLLM, por exemplo, para gerar mais rápido, isso cria um contigo de ruído nos dados, o que prejudica o treinamento. Isso é meio que são desafios reais, tipo agora é como tornar o treinamento de real é mais robusto para esse tipo de ruído. Então, a gente está trabalhando nisso na Hagenfei, mas eu sei que muitas outras equipes ao redor do mundo também estão trabalhando exatamente nesse mesmo assunto. E quando alguém encontra alguma solução razoável, isso é compartilhado, não te espera, que seja compartilhado, mas geralmente é o que acontece. E a gente pode testar esses métodos, ver se funciona nos nossos dados, a gente compartilha as nossas descobertas, então é um trabalho muito impogante, como trabalhar para toda a comunidade, para toda a área de pesquisa de frontera. - Tear Research. - Sim, e esse é um dos motivos por causa do Hagenfei. Basicamente, é uma comunicação de ciência e tecnologia voltada para todo mundo, no final das contas. E eu, como quase pesquisador ainda não sou pesquisador, mas tento fazer as minhas coisas, tudo que vocês produzem ajuda muito. E quando você encontra ali um método novo, quando as pessoas começam a publicar sobre um método novo, você pensa "mum, talvez eu pudesse, ou dever se adicionar isso, ou a biblioteca aqui é ter real". É você que decide que esse método tem que entrar e se aplicado na TLR, que, como vocês conduzem isso? - Sim, essa é uma pergunta muito complicada, porque, como você pode ver, o número de papers por dia é gigantesco. Não dá para você razo, obviamente, considera implementar tudo da comunidade de pesquisa. É impossível ir de qualquer forma, nem alguma coisa que a gente queira. Então, a gente tem que escolher quais que a gente vai investir tempo e quais que a gente não vai. Bom, depende um pouco, porque alguns papers são, obviamente, valiosos. A gente pode colocar isso muito facilmente no repositório TRL. Então, a gente pode fazer isso, tipo, em uma hora, dar pra integrar. E alguns os papers, eu, obviamente, que a gente não quer isso no repositório, porque o é difícil de implementar, ou não é, nem muito valioso, porque é muito específico pra um certo domínio. E a pergunta difícil é quando a gente está bem no meio, tipo, pode ser difícil de implementar, mas talvez possa ser útil pra comunidade. Então, nesse caso, a gente discute como o equipe e a valia, se a gente quer adicionar, mas talvez uma coisa muito importante, é que a gente não está tentando avaliar se esse método é valioso, ou não, no papelite de treinamento. E outros palavras, a gente não está tentando replicar os resultados, e, com base, se funcionou não, a gente vai adicionar ou não na biblioteca. A gente sente que, naim, o nosso trabalho replicar os resultados, mas sim fornecer a implementação e a icabe a comunidade avaliar, se esses novos métodos valem a pena de ser usados ou não. -Sus words. -Using on-outs. Mas você poderia, então, por exemplo, decidir remover esse método da biblioteca. -O não, exatamente. -Yes. Sim, a gente tenta fornecer alguma estabilidade ao longo do tempo, mas pode acontecer que, em algum momento, a gente decida simplesmente remover métodos. Isso é uma coisa que a gente já fez algumas vezes. Geralmente, é para ajudar na manutenção de longo prazo, porque alguns métodos são muito difíceis de você manter um longo prazo. E, se, basicamente, uma coisa usada por 10 usuários, que exige uma hora toda semana para manter, simplesmente, não vale a pena. Uma outra forma de lidar com esse problema é dividir a biblioteca, é ter o que é muito importante, como o código base central e um código base experimental. Por exemplo, o código base central, a gente tem o DPR, o SFT, que a gente mencionou, GPR Rio também, e, pro código mais experimental, seriam papers mais assentes ou algumas coisas experimentais, que a gente não tem certeza ainda se vai remover em algum momento, ou se vai promover mesmo pro código base central. -Four code bays. -E falando da biblioteca do TRL, dá para voltar um pouquinho no tempo e contar pra gente como é que isso começou, desenvolveu, veio a ideia, não sei se foi uma pessoa, um grupo de pessoas, soma a ideia azinha, é alguém teve, aí o processo que levou pra desenvolver, pra lançar, até como é que tem sido também desde o lançamento? -E, é, se eu disse, isso é muito interessante, porque o projeto começou, faz seis anos com o Leandro, Vom, Verra, e as seis anos a gente estava em 2020. Então, logo depois, no me engano, logo depois, do PPO, a gente é sido inicialmente usado pra treinar modelos de linguagem. E naquele momento, eu não estava na Rugginfeiço, estava só começando, me doutorado em alguns. Bom, tem umas relacionados, mas não esse projeto específico. Então, a gente começou esse projeto basicamente pra. se enreplicar esse pipeline de treinamento com o PPO, com. Bom, como eu falei, PPO naquela época era muito diferente do que a gente tá fazendo agora pra treinar modelos, e depois disso, essa FT foi adicionado, então, o DPO. Então, em algum momento, eu entrei na Rugginfeiço, comecei a trabalhar nesse projeto, e a equipe inicial simplesmente seguiu pra outros projetos. Então, bom, o que eu tô tentando dizer é que é uma biblioteca que tem seis anos, e o desafio é manter algum tipo de progresso constante ao longo do tempo, mesmo que as pessoas envolvidas nessa biblioteca têm um modado, mesmo que os métodos têm um modado substancialmente, só ao longo do tempo, e mesmo até que ele ter atura, esteja evoluindo rápido como tá. Então, eu acho que isso é uma coisa que a gente conseguiu fazer com o sucesso. E recentemente, com toda a onda do Dipsy, que é R1 com o JPO, a gente tem que reinventar a parte toda a diarrereira do nosso biblioteca pra começar a preparar isso pra as próximas ondas, porque eu tô sentindo que vai ter jeito os novos revolucionários pra você treinar modelos, e a gente tem que preparar a base de código pra ser flexível, suficiente, pra implementar bem rapidamente esses métodos novos. E agora, é um momento um pouco particular, porque não tinha acabado de lançar o primeiro release candidate da V1, então, V1 é meio que como um contrato com o usuário de que a PI é estável, ela vai permanecer estável, então a gente tá basicamente passando pra um projeto de pesquisa, eu diria, pra uma biblioteca de fato um software, de fato que as pessoas possam usar pra fazer esses próprios projetos, construir essas próprios negócios, e a gente tá de certa forma garantindo que isso vai permanecer estável ao longo do tempo. - Esteve o overtime. - E desde que você entrou no Hagenface, você se dedicou só a ter real. - É o diria que, em grande parte, em sim, eu entrei faz dois anos, e bom, na Hagenface a gente tem uma forma de trabalhar na ilparticular, é muito horizontal, então a gente pode trabalhar em muitos projetos, assuntos diferentes, e geralmente o que a gente tenta fazer é ter o nosso próprio projeto e tentar contribuir com projetos vizinhos. Então, por exemplo, o que eu chamo de projetos vizinhos é o Peptica de implementa técnica, como Low-Rank adeption pra ter na modelos, transforma que é como o repositório central, pra todos os modelos transformados do Pensorce, e sim, o Accelerate, que é como parte de estrenamento de tudo isso, e o meu trabalho no dia a dia, eu tento não só construir o TRL, mas construir todo o ecossistema. Então, isso envolve contribuir com os projetos dos quais a gente depende, e também que depende de nós. Então, é muito interessante conseguir fazer essa contribuição pra poder aparecer em todo o ecossistema. - E eu o ecossistema. - Isso é mentionou-se doutorado sobre o que que era ele, exatamente, o que que você estava trabalhando? - Então, o meu doutorado foi sobre reinforcement learning, mas não reinforcement learning de RPO, o PPO pra RLHF, era como um reinforcement learning, mas no estilo antigo. Se você lembrado o alfazero e dos trabalhos da DeepMind, que eram bem populares na época, basicamente era RL pra jogos, se eu quiser simplificar bastante. Então, RL pra jogos não pra processamento de linguagem. O meu doutorado era sobre. Pra conseguir aplicar RL no problema, você tem que ter uma exploração eficiente. O que isso significa é que se você quer resolver um problema, você tem que explorar muitas formas diferentes, pra você ter uma chance razoavel de achar um caminho pra completar a sua tarefa com sucesso. Se você conseguir completar a sua tarefa, aí você ira optar em um sinal de recompensa, sinal de aprendizado, e você aumenta a capacidade do modelo pra completar a tarefa. Em RL, a parte crítica, é que, se você não prestar atenção, o seu modelo não é incentivado pra explorar então, a gente tem que empurrar o modelo, pra explorar o máximo possível. Se você lembra dos jogos de Atari, são jogos bem antigos. Eu sou até jovem de mais pra te jogar desses jogos, mas é interessante, porque os jogos mais simples foram resolvidos muito facilmente com RL. Se você pensar em Breakout, foi basicamente o primeiro exemplo, quando eles introduziram da KN, que é a ZIP, que o Learning Network, eu acho que, no começo dos anos 2010, basicamente, desde quando a DKN foi publicada, resolveu Breakout, tem 10 anos depois disso, tem algo de jogo de Atari que não foram resolvidos pro conta desses problemas de exploração. Pensei em monta dos Umas Revent, por exemplo. E o outro não consigo lembrar, mas esses podem ser muito difíceis. para um agente explorar o suficiente, para obter o primeiro, vamos dizer, o primeiro aumento da pontuação para conseguir ter o primeiro sinal de recompensa. Então foi isso que me é doutorado a Bordua, essa exploração em apendizado por reforço. Muito interessante, de verdade. Mas na sua opinião, esse é um problema que basicamente toda técnica de aprendizado por reforço tem inerentemente, ou é uma coisa que as técnicas mais recentes já resolveram? Eu acho que não, as técnicas recentes não exploram bem de alguma forma, mas por que isso funciona mesmo assim? É porque para RL em modelos de linguagem, não é muito importante, isso é muito eficiente em exploração. Por exemplo, se você pegar o GRPO, então o princípio do GRPO é, por exemplo, você faz uma pergunta e o modelo gera 16 as postas diferentes. Você pode definir o nível de ela autoridade pela temperatura, por exemplo, e a temperatura de amostragem, ele fornece as 16 as postas possíveis diferentes. E normalmente, essas 16 as postas possíveis, você vê o que ter algum tipo de recompensa positivo em algum momento. Então geralmente é bem fácil de você obter um sinal de recompensa nesse caso, se você tiver um conjunto de dados que não seja muito difícil para o modelo que está sendo treinado. A diferença é que a gente está treinando modelos de linguagem aqui, então a tarefa não envolve, bem, envolve exploração, mas não tanto quanto os jogos de atáreas e geriam para serem resolvidos. Porque se você pensar, vamos dizer que você é um jogador e não conhece as regras no determinado jogo, e você tem que explorar, tipo, 5 sala diferentes dentro desse jogo para ter a primeira recompensa. Como um humano, você sabe que você tem que ir para a próxima sala e viu o que acontece, mas para um modelo, é muito difícil de explicar uma coisa do tipo "tá, você conhece essa sala, talvez, você tem que ver o que tem na próxima sala, e a menos que você trate especificamente desse problema de exploração, ele só vai explorar de um jeito aleatório, vai descobrir ele a quinta sala, acaba sendo muito improvável. Como você configura o modelo para fazer essa exploração? Existem muitas maneiras de fazer isso, talvez uma bem graçada e bem eficiente seja ignorar a recompensa do ambiente. Então, normalmente, se você precisa de exploração dentro do ambiente, isso geralmente significa que o senão de recompensa do ambiente não é muito útil para essa tarefa. Então, vamos dizer que ele seja basicamente zero. Nesse caso, você ignoraria por um tempo a recompensa do ambiente e criaria o seu próprio senão de recompensa promedio como medida de curiosidade. Isso é o que a gente chama de exploração por curiosidade. Você pode, por exemplo, medir o construpreendente é o resultado de uma determinada ação, e aí, se for um surpreendente, isso é uma coisa que você quer recompensar. Então, você basicamente cria um sinal novo de recompensa, que a gente chama de sinal de recompensa intrínseca, e isso basicamente incentivo a gente a encontrar coisas que ele não conseguiria prever, se isso faz sentido, e se você fizer isso repetidos vezes, voltando, por exemplo, na sala, depois de algum tempo, não vai ter mais nada muito surpreendente nessa primeira sala. Então, ele vai tentar alcançar as áreas que são difíceis de prever, até para ele mesmo. Ele podia estar curando a segunda sala e assim por diante. Em algum momento, com base nessa curiosidade intrínseca, ele vai chegar para quinta sala, onde você pode ter o sinal do ambiente. Esse é um jeito, mas tem muitas outras formas. E, sim, talvez a curiosidade intrínseca seja interessante, porque inicialmente ela foi concebida para a ciência cognitiva. A motivação intrínseca, nao originalmente, o conceito de "iá", pelo que eu sei, é um conceito comportamental da infância, onde a gente tem que entender como que as crianças compreendem tudo, e não só ficar comparadas, esperando para o comitio. É muito interessante, porque a gente teve recentemente um episódio com um colega aqui do Brasil, o Adrien Valentin, e a gente estava falando exatamente sobre isso, e sobre como a maioria das coisas ou muitos conceitos da "iá" vem da neurociência. Coisas como até o próprio Perceptron, neurônio, tudo isso, os nomes vem da biologia da neurociência. E algumas pessoas do início da "iá" eram psicoterapêutas, pessoas que estudavam isso, neurociência, e ainda são como o próprio Demis-Rassabes da Deep Mind. E, já que eu mencionei aqui o "Rassabes", a gente está falando sobre aprendizado por reforço, seria estúpido da minha parte, não trazer para conversa um dos casos mais famosos de aprendizado por reforço, sendo aplicados uma coisa interessante. Primeiro, uma coisa divertida, mas depois é para coisas úteis. Primeiro, a gente pode falar sobre o Alpha-Go, o primeiro como eles seram por Chadres, mas depois também o Alpha-Go e o Alpha Zero, e mais tarde, uma coisa útil que é o Alpha-Forge, muito útil para a própria humanidade. E falando sobre como eles fizeram isso, considerando o Alpha-Go foi 10 anos atrás, 2015, 2016, alguma coisa assim, como que eles implementaram essas técnicas, no que era naquela época o Alpha-Go que evoluiu o Alpha Zero e dependia exclusivamente do aprendizado por reforço. Eu acho que isso acontece, porque, antes de tudo, eles têm uma compreensão muito profunda do próprio problema, eles não estão tentando abordar o RR de um jeito geral, mas estão tentando o bordal RR para as tarefas específicas. E o ponto aqui, quando você trabalha dessa forma, você pode, basicamente, descartar muitas coisas que podem ser complicadas. Por exemplo, no jogo de Go, é um jogo de dois jogadores, e é um estado descreta, não tem estado contínua, nem a sangue contínua, então é basicamente um caso específico de RR. E outra coisa no Go, que também é verdade para o Chadres, é que você precisa esperar muito, muito tempo para o POP-T, o primeiro signado de recompensa. Então, basicamente, você precisaria esperar por uma partida completa, eu não sei quantas jogadas existindo Go mas acho que perfeitivamente são mais de 100, não quero falar nada errado, mas são muitas jogadas antes de eu ter o primeiro signado de recompensa. Então, eles aplicaram uma coisa que é muito específica para esse tipo de problema, que é o Monte Carlo True Search e as variantes dele. Então, isso é para, eu diria, as questões científicas, e também teve o desafio técnico. Peruntou muito familiarizado com o que eles fizeram sobre os computadores e tudo mais, mas eu sei que naquela época era uma coisa muito incipiente, não tinha a implementação muito estável de partódio, de cuda, para esse tipo de rede, então, eles, basicamente, tiveram que implementar uma boa parte disso para o contar própria ali no baixo nível. E sim, a combinação entre um tratamento científico muito talentoso de um problema muito específico e a resolução desse problema nas questões técnicas sobre como fazer a diferença de um jeito rápido, suficiente, para me levar bilhões de anos para você resolver o problema, mas sim, só alguns meses. E tem uma pergunta, a outra que eu faço aqui sempre que a gente conversa com pessoas de pesquisa, que é para saber como é que, de verdade, no dia a dia, já tem entrada no seu fluxo de trabalho, como é que está absorvendo isso para você mesmo. E eu acho que especialmente, se eu puder adicionar, depois de dezembro do ano passado, dezembro de 2025, que é quando teve uma grande revolução nesse campo de LLM's com foco em programação agente, né? E aí, sim, então, eu posso dizer com certeza que nos últimos meses foram muito diferentes do anotérior, então, sim, na minha opinião, teve uma grande virada, provavelmente há uns três meses na forma como a gente trabalha, no ano passado eu usava muito ia para escrever código melhor, para escrever melhor em inglês, era principalmente para código e modelagem de linguagem, mas código de um jeito mais básico, por exemplo, você implementa com uma função torte, pergunta para o modelo, tem algum jeito melhor, pode fazer isso, eu tenho uma função nativa que não está aqui, que eu não conheço, eu usava bastante para isso, e nos últimos três meses a gente tem alguns agentes autônomo, que são muito poderosos, então você pode basicamente dar para eles instruções de alto nível, sobre o que você quer fazer, não sei, por exemplo, eu quero refaturar esse trainer para mover lógica de troncamento desses métodos aqui, para esses outros métodos, normalmente se levar, por exemplo, para mim, da varia talvez meia hora para fazer, porque eu tenho que verificar se está fazendo com o que quero, mas para uma gente a tarefa é bem básica, você pode precisar ter cuidado para não estragar nada, e a gente é bem útil, porque ele faz isso tipo, em dois minutos, e faz isso muito bem, na verdade, então economiza muito tempo para a gente, e um outro aspecto, e aqui isso é muito útil para revisão de código, então se você passa algum tempo no Geek Hub, em algum repositório popular de código aberto, você vai ver muitos por request sendo comentados por agentes que basicamente fazem o trabalho de um revisor, ou seja, eles tentam entender sobre o que é o Google Quest, tentam encontrar casos de borda complicados aí, caso de exceção que você não percebeu, mas que quebrariam em algumas outras coisas, e antes de exemplo do ano passado, isso é muito básico, muito ruim em fazer esse tipo de tarefa, mas agora eu acho que eu posso dizer que geralmente está fazendo um bom trabalho, trabalha melhor do que a gente até na revisão, como encontrar casos específicos, caso de borda, encontrar algum tipo de inconsistencia no código, então ajuda bastante, o problema é que isso vem com alguns problemas que a gente tem observado recentemente nas comunidades, que é o fato de a gente começar a ter por request gerados por "A" pro nosso repertório, que, bem, pode ser bom, pode ser valioso, mas o ponto é que a gente tem recursos limitados para revisar por request, geralmente, esse tipo de agente gerado por "A" não está resolvendo um problema que um usuário real enfrentaria, ele só resolve alguma coisa que pode ser resolvido no repositório, se faz sentido, então acaba desviando a atenção dos revisores da parte do código que realmente é usado para os usuários, então isso é meio que uma questão aberto agora, sobre o que fazer com esse tipo de contribuição que a gente chama de "AI Slope", eu espero que a gente encontra em uma forma de tornar isso varioso para a gente, e eu vou mover, mas é um problema muito recente que a gente está começando a enfrentar em vários lugares. "Promo que estamos começando a ver a ter que fazer isso." Não só na "Hug in Face", a gente estava conversando com o "A" não lembro queim, mas até mesmo na academia a gente tem agora milhares de artigos sendo publicados no archive todos os dias que são produzidos por IA e o resultado muitas vezes não é nada útil relevante ou até mesmo errado com referências erradas esse tipo de coisa ainda acontece hoje em dia e eu quero dizer que é um problema não só pra vocês mas pra academia inteira pra toda a sociedade e falando sobre isso voltando pra parte de postrenamento e como vocês estão fazendo isso quando você analisa qual você acha que é a parte mais importante ou a parte mais subestimada quando a gente fala de aprendizado por reforço é ter um design de recompensa melhor uma curadoria de dados melhor um sistema no geral melhor com mais poder computacional ai sim eu acho pessoalmente que todas essas perguntas são válidas mas a questão é que eu sinto que rl é muito direcionado pra matemática é código e isso é por um bom motivo a maior parte das pessoas trabalhando nisso são basicamente boas em matemática é código porque isso é background dessas pessoas então elas vem em problemas de matemática é código e estão tentando resolver isso com IA mas por exemplo ai é útil pra saúde por exemplo ou pra descoberta de medicamento será eu acho que sim mas não vai ser a mesma extensão do que a gente tá usando agora em código eu sinto que não tem uma limitação do rl é mais uma limitação dos problemas que a gente quer resolver agora com IA e o que eu queria ver é algum tipo de expansão na área dos temas que a gente quer abordar com IA provavelmente tem alguns tipos muito específicos de recompensa que a gente vai querer implementar pra saúde pra medicina ou pra direito por exemplo a questão é que isso não recebe tanta atenção principalmente porque as pessoas que trabalham nisso não são tão sensíveis esse tipo de skin of subjects e quando vocês estão treinando os modelos hoje em dia os próprios modelos de vocês porque vocês têm o smolm estão treinando os modelos a gente conversou com o Leandro Fão Verra muito recentemente sobre isso na verdade é na sua perspectiva quando você quer aplicar tudo o que você tá aprendendo e criando ainda a raga em feice em um projeto real modelos reais como esse você tem tudo que você precisa hoje em dia tipo você precisa ir demais poder computacional você acha que você consegue simplesmente rodar as tarefas e deixar elas rodando por dias e semanas sem problema assim então quer dizer no raga em feice a gente o principal foco do raga em feice não é treinar modelos aí consequentemente a gente não gasta uma quantidade enorme de dinheiro no nosso cluster eu acho que a gente gasta uma quantia substancial de dinheiro mas não é comparável com os abratórios chineses até laboratórios outros aqui dos Estados Unidos então a gente tem algumas extreções nesses recursos mais isso provavelmente é uma das razões pelas quais a gente quer fazer mais modelos de linguagem pequenos para empurcionar essa adução de modelos de linguagem que seja um menor isso porque a gente não é o único que tá limitado por recursos basicamente todo mundo é limitado por recursos então a maioria das pessoas consegue rodar um modelo de quatro bilhões mas um modelo de um trilhão é só para alguns poucos abratórios por aí então a gente tem recursos limitados eu acho que a gente tem recursos suficientes agora que a gente tem que construir coisas incríveis o que provavelmente não é o caso de outros laboratórios e o que eu gosto do raga em feice é que a gente é muito flexível com os recursos e de certa forma mais amplo com tudo mas especificamente com os recursos a gente tem acesso ao cluster se eu precisar não ser de tipo 100 de perrusos por uma semana eu não tenho que preencher um processo passar para um processo complicado para explicar por que eu preciso disso eu posso só rodar os meus experimentos e garantir que isso não vai ser muito um modo para as outras pessoas e eu acho que isso é muito importante para fomentar uma pesquisa proativa dá para os indivíduos a capacidade de começar a também faz mais caras as execuções mais caras só que com facilidade esse que eu gosto muito do raga em feice e tem um ponto que às vezes restrições técnicas fazem você ser criativo chegar numa coisa meio desperada né muito do que a gente viu aliás nos últimos anos meio que surgiu meio disso que é bem interessante então vai saber né e falando sobre isso sem falar nada aí que você não posa que você não queira tem outros campos outras técnicas outras tecnologias que estão te interessando de pesquisar agora que você pensa por isso pode ser grande eu pode ser interessante aí no futuro que uma coisa que está acompanhando mesmo que não seja pesquisando trabalhando isso agora mas está só olhando de interessa essa não tem nada uma coisa que bom acho que não vai ser muito surpreendente para você mas eu sinto que a gente está só começando a jornada com agentes é um paradigma novo para criar e até para ter muitas questões de pesquisa que vão surgir a partir disso e sim eu acho que isso é praticamente o começo dessa área eu acho que eu não estou errado nisso de pode ter uma outra conversa daqui a 6 meses para ver o quanto de pesquisa foi feita sobre agentes mas sim sim eu estou muito curioso para ver se eu algumas questões matemáticas difíceis vão ser resolvidas para o modelo um dia honestamente não sei para mim eu sinto que é 50 50 porque é no certo curioso para ver se tipo de nível de complexidade e narcançável pode ser alcançado por algum modelo eu não sei para ser sincero aí não é outro viante e você começou a trabalhar na raga em feixe que é basicamente uma mistura de pesquisa, projeto, comunidade, open source que é um motivo pelo qual a gente ama a empresa mas como que você lida com essa parte de interagir com a comunidade pública nas coisas e também se já viu alguma coisa que a comunidade publicou baseado em alguma coisa que vocês criaram que chocou você surpreendeu muito você você não esperava que as pessoas que a comunidade levasse essa coisa para esse lado específico e é assim isso é bem incrível uma coisa sobre a raga em feixe primeiro é que no começo eu fico contratado para ser pesquisador na raga em feixe e no time de post-ernamento a gente usava ter real e porque era nosso afirramento interna mas era o pensor se eu gostei de trabalhar com esse tipo de coisa o pensor se que não é especificamente um trabalho de pesquisa mas ainda sim é uma coisa que a gente está tentando em pulsar na raga em feixe então naturalmente a minha missão evoluiu para isso então isso é meio que a força da raga em feixe tem organização flexível se alguém gosta de alguma coisa vai trabalhando nisso sem processo o sendor de cabeça envolvido a gente pode só fazer as coisas e bom quer dizer isso é incrível porque eu sinto que existe um gap entre o que eu percebo da comunidade e o que a comunidade realmente constrói em cima do que a gente faz e às vezes a gente simplesmente percebe que alguns dos outros projetos foram muito baseados no que a gente faz alguns umas coisas bem incríveis tem aparecido alguns datas sets incríveis negócios incríveis por exemplo ter real é para treinar modelos de linguagem e modelos de linguagem visual eu percebi que ele pode na verdade ser usado para treinar o modelo text dos pit então basicamente o meu trabalho foi usado para criar algum tipo de girador de voz e eu não esperava por isso uma outra coisa que provavelmente alguns dos seus ouvintes não conheceu o ansloff tem um projeto muito bem sucedido de post-treinamento e não só em post-treinamento mas especificamente em post-treinamento eles são bem baseados em ter real isso é incrível porque eles estão fazendo o trabalho fantástico para democratizar a real democratizar post-treinamento e eu acho que a gente pode dizer que graças as nossas contribuições do pensórios que eles conseguiram construir esses textes incríveis do ansloff em cima da raga em feice então sim mas sim eu acho que definitivamente tem um gap entre o que a gente percebe e o que as pessoas realmente fazem então nos ouvintes que estvelha aqui no padriqueste forem usuários sim então se a vontade para compartilhar e a gente está sempre impressionado ao ver o que pode ser construído em cima não só do TRL mas de todos os produtos da raga em feice e essa é uma pergunta meio sobre esse universo paralelo que está evoluindo nos últimos bom faz muito tempo né de agora mais mais recentemente que eu lance de modelos de mundo os world models a gente tem visto a até comenta sobre o começo é uma das próximas grandes coisas que podem se tornar cada vez importante aí sempre estará alguma atenção em world models uma coisa que você vê potencial que está achando e é o actual world model sim bem na verdade world models são polis não são novos é um conceito antigo eu lembro de ter visto isso do meu radar caiu quando estava envolvido no meu PhD e eu sinto que eu posso ter errado nisso mas eu sinto que esse conceito de world models é uma ideia interessante mas que falta algum tipo de grande sucesso nesse momento é meio que aquela área em que você tem ideias que são incríveis mas que não são muito úteis ainda os world models tem sido usados para ter na modelos de rL muito antes até do rL f ainda são usados para isso mas eu sinto que eles ainda talvez eu esteja desatualizado sobre isso mas eu sinto que são muito caros mais caros até do que o ppopra rL então tem um grande sucesso em postenamento de LLM então sim eu estou curioso para ver honestamente eu não apostaria em world models porque o mundo é muito caro para modelar mas sim talvez eu não sei eu ficaria feliz de estar errado sobre isso porque eu sinto que é uma ideia que é incrível na mesma vez em id e se você tivesse todo o poder computacional do mundo eu sei que eu estou falando muito sobre poder computacional na verdade eu não sei porque mas talvez porque seja alguma coisa realmente interessante que pode atrapalhar como o marcos disso pode te ajudar a ser mais criativo se você não tiver tanto mas pode te atrapalhar se você tiver uma ótima ideia você quer executar ela mas vai levar 100 anos porque você não tem 200 mil GPUs como a xe ar e a meta você de lá quem for então se você tivesse todo esse poder computacional só para você não para a empresa mas só para você no que que você estaria trabalhando agora sim isso provavelmente não vai te surpreender muito mas eu provavelmente lançaria algum treinamento de a rl porque a questão é que o que é incrível no rl é que você sabe como define a tarefa mas você não sabe o que vai surgir a partir de como você define esta tarefa. E até um pouco de história, em algum momento o Penial lançou uma demo muito legal de Skondes Kond, lá atrás não sei se vocês lembram, mas eu acho que isso me fez até escolher fazer um PhD em RL. Basicamente era uma simulação em que dois pequenos personagens estão fabricando de Skondes Kond. Então é uma simulação que você pode ver que depois de mil passos, eles estavam descobrindo como interagicou objetos para poder se esconder, e a quando é terminado o momento eles começaram a criar umas estratégias em que um jogador tinha uma tarefa, o outro jogador tinha uma outra tarefa para serem ainda mais eficientes, mil Skondes Kondes, e depois disso, depois disso não sei. Dez meu passo, não lembre exatamente, mas eles acharam um jeito de rakyar o simulador e basicamente posicionaram objeto de um jeito que fazia com que ele saisse da simulação. Então basicamente era impossível de encontrar. Então obviamente, são não aí esperados pelos criadores iniciais disso, e eu sinto que se você fizer o mesmo com o modelo de linguagem, você simplesmente especifica uma tarefa ampla e deixa ele treinar por tempo suficiente, você pode acabar com os resultados incríveis, comportamento emergentes que você não teria esperado. Claro, vai ter uma quantidade grande de computação que vai ser desperdiçada, porque se você não tomar cuidado, você pode fazer com que um progresso de aprendizado aconteça em mil passos, quando poderia acontecer no único passo, se você tivesse dedicado um pouco mais de tempo para especificar melhor a sua função de recompensa, mas sim, nesse mundo paralelo em que eu tenho a computação infinita, eu provavelmente faria isso. E você mencionar isso me fez lembrar de um que eu considero senão melhor, pelo menos um dos cinco melhores vídeos que existem no YouTube. Eu já mencionei ele aqui antes, mas é de um cara que ele criou um vídeo, acho que tem uma meia hora, 40 minutos de duração, e é ensinando o joguinho de Game Boy do Pokémon, acho que é o Pokémon Red, a versão vermelha, a jogar sozinho usando aprendizado por reforço, é fantástico, e eu não quero nem imaginar quanto tempo ele levou só para editar esse vídeo, porque o jeito que ele explica isso é lindo tudo fazer, deve ter dado um trabalho bizarro, mas editar criar narrativa, por trás disso também foi simplesmente incrível. O link vai estar aqui na descrição para todo mundo em casa, assistir, mas isso me deu essa mesma ideia de pesquisar e atrás de aprendizado por reforço, e agora estou fazendo o mestrado talvez eu se ganha essa área de aprendizado por reforço por causa desse vídeo do Pokémon Red. Aactualidade, na verdade, é muito engraçado que você tem mencionado isso, porque se eu não tenho enganado esse projeto foi baseado nos tablebeys lines, como a biblioteca de RL, eu espero não ter errado, mas os tablebeys lines foi um projeto no qual eu tinha envolvido antes do Hanging Face, eu era o com o mantenedor da Subiblioteca, e esse é exatamente o tipo de projeto divertido que eu descobri depois como você mencionou antes, quando descobri que esse cara resolveu o Pokémon basicamente com o código que eu escrevi, e simplesmente me personou muito, e provavelmente é uma das razões pelas quais eu amo o open source, é o que você pode simplesmente construir as coisas, e outras pessoas vamos usar isso para outras coisas incríveis. Nossa, incrível, incrível. Quente, muito obrigado pelo seu tempo para compartilhar esse conhecimento com a gente, se o pessoal quiser, talvez continue a conversa com você, se mantetorizado como está fazendo o Hanging Face para onde que as pessoas vão. Eles podem encontrar no Twitter ou no LinkedIn, você pode me encontrar muito fácil, é só digitar meu nome e eu vou estar lá. Muito obrigado, a gente vai deixar os links da descrição para ver se pelo seu trabalho para a sua equipe inteira, e para você que chegou até o final desse episódio, deixou lembrar você que você tem últimos dias, basicamente, para garantir o seu lugar, para ir comigo, para abrir o carraro, para o Silvere e também com o Marcelo Omeida, lá pro Vale do Silício de 31 de agosto de a 4 de setembro visitar a uma série de empresas e não só empresas também, visitar os universidades, que estão nessa fronteira do conhecimento, do desenvolvimento, de tudo que a gente conversa, que basicamente duas vezes por semana, foram que a gente conversa em off, e todo mundo, né? Então passa aqui na descrição, Fabrício, você também já está com o, a passa de comprada que eu sei, mas ou até o reservado? Tou com a passagem comprada, eu to com o até o reservado, já to com o visto, então agora é só embarcar, Max! Maravilha, também já zeitei tudinho, agora é só, e também te espera o D, e com você, e está escutando, não perde essa chance, que a gente vai voltar, claro que a gente vai voltar, passar o tipo de telefone de como foi legal, né? Então não perde, vai ser muito interessante, claro, a gente fala sobre como vai ser divertido, mas aprender muito, os contatos, as palestras que a gente vai assistir direto nas empresas, esse vai ser o benefício que vai dar pra tirar, dessa viagem, vai te deixar mais preparada, mais preparado, pra entender o que está rolando, ver o que vem por aí, né? Não vão passar pra gente, qual vai ser o próximo GPD? Mas entender a direção que está apontando, tendo lá imerso e merda, no vale do silício, é exatamente o que pode fazer a diferença, daqui pra frente, até a próxima viagem, quem sabe, né? Então passa aqui na descrição do episódio, pega o link, conversa com o pessoal desta arte, lembrando que se você comentar que escuto e a sobret controle, tem pode até, talvez quem sabe, um descontinho esperando por você, mas não perde tempo, porque hoje estamos aqui na metade de abril, tem que ter, tem que ver o visto, tem que ver passagem, tem que ver o tempo, né? Passaporte, vai saber como é que está a sua passaporte, né? Então agiriza pra não ficar tarde demais pra resolver isso, e eu, e eu fabrico isso voltaremos na stafira quando a sua resumanda as notícias do mundo da inteligência artificial, até lá. Este podcast foi produzido pela Alura, mergulhe em tecnologia e faculdade fiab, Let's rock the future! Edição, redigiga hertz de podcasts. [Música]