Vida com IA

Fala galera, nesse episódio do podcast eu falo sobre o novo modelo da OpenAI, O OpenAI o1, o modelo que pensa antes de responder. No episódio eu compartilho a minha opinião e a sensação depois dos primeiros contatos com o modelo. Link do grupo do wpp: ⁠⁠https://chat.whatsapp.com/KJBSOV4IbHKIWmKudYiCeh Instagram of the podcast: https://www.instagram.com/podcast.lifewithai Linkedin of the podcast: h...

Fala galera, nesse episódio eu falo sobre os diferentes tipos de IA. Eu não entro a fundo nos modelos, no episódio eu foco mais em explicar os diferentes tipos e quais problemas eles resolvem. Como tipos de IA eu falo sobre estatística, machine learning, reinforcement learning, deep learning e IA generativa. Link do grupo do wpp: ⁠⁠⁠https://chat.whatsapp.com/KJBSOV4IbHKIWmKudYiCeh Instagram do pod...

Fala galera, esse episódio não tem nada a ver com IA, nele eu falo sobre falas dicas de investimentos, que é um tema que eu gosto bastante. No espiódio eu falo dos diferentes tipos de investimento, renda fixa, variavel, exterior, previdencia, cripto... Importante falar que nada disso é recomendação de investimento! Link do grupo do wpp: ⁠⁠⁠https://chat.whatsapp.com/KJBSOV4IbHKIWmKudYiCeh Instagram...

Fala galera, esse é o último episódio da serie sobre o paper do Llama3. Nele eu falo sobre a discussão que eles fizeram sobre análise de contaminação nos benchmarks, da parte de visão e audio. Eu espero que voces tenham gostado dessa serie de episódio sobre o paper, eu aprendi bastante! Link do grupo do wpp: ⁠⁠https://chat.whatsapp.com/KJBSOV4IbHKIWmKudYiCeh Instagram do podcast: https://www.insta...

Fala galera, nesse episódio eu falo sobre o pre-treinamento e pós-treinamento do Llama 3. Link do grupo do wpp: ⁠⁠https://chat.whatsapp.com/KJBSOV4IbHKIWmKudYiCeh Instagram do podcast: https://www.instagram.com/podcast.lifewithai Linkedin do podcast: https://www.linkedin.com/company/life-with-ai Llama 3 paper: https://scontent-cdg4-3.xx.fbcdn.net/v/t39.2365-6/452387774_1036916434819166_41739787470...

Fala galera, FINALMENTE saiu o paper do Llama 3! Eles lançaram o modelo de 405B e atualizaram os modelos de 8B e 70B. Nesse episódio eu dou um pouco a minha opinião sobre cenário em geral ao redor do modelo e o que isso representa. Nesse episódio eu dou uma visão geral do artigo, e nos próximos episódios eu vou mais a fundo nos detalhes tecnicos! Instagram of the podcast: https://www.instagram.com...

Fala galera, nesse episódio eu falo sobre como escolher o melhor modelo de IA para o seu problema. Quais são os tradeoffs que voces tem que considerar na hora de escolher o modelo. Link do grupo do wpp: ⁠https://chat.whatsapp.com/KJBSOV4IbHKIWmKudYiCeh Github Transformers tutorials do Niels Rogge: https://github.com/NielsRogge/Transformers-Tutorials Instagram of the podcast: https://www.instagram....

Fala galera, nesse episódio do podcast eu falo sobre o Stable Diffusion, um famoso algoritmo open source de geração de imagem. Link do grupo do wpp: https://chat.whatsapp.com/KJBSOV4IbHKIWmKudYiCeh Instagram of the podcast: https://www.instagram.com/podcast.lifewithai Linkedin of the podcast: https://www.linkedin.com/company/life-with-ai Stable diffusion paper: ⁠⁠https://arxiv.org/pdf/2112.10752⁠⁠...

Fala galera, nesse episódio eu falo sobre modelos de difusão, o algoritmo por trás de todos os modelos famosos de geração de imagem como o stable diffusion, dall-e e o midjourney. No episódio eu explico o processo de difusão e também alguns quesitos tecnicos relevantes pro problema, como o ruído branco e o processo de markov. Link do grupo do wpp: https://chat.whatsapp.com/KJBSOV4IbHKIWmKudYiCeh V...

Fala galera, nesse episódio eu falo sobre 3 modelos muito importantes que usam contrastive learning, CLIP, SigLIP e JinaCLIP. Eles são modelos de embedding de text-imagem que nos permitem de por exemplo faz retrieval em text e imagem ao mesmo tempo. Link do grupo do wpp: https://chat.whatsapp.com/KJBSOV4IbHKIWmKudYiCeh CLIP paper: https://arxiv.org/pdf/2103.00020 SigLIP paper: https://arxiv.org/pd...

Fala galera, nesse episódio eu falo sobre 2 conceitos tecnico muito importantes em Deep Learning, constrastive learning e similaridade de cosseno. Eles muito úteis pra treinar modelos de embedding ou fazer RAG. Link pro grupo do whatsapp: ⁠https://chat.whatsapp.com/KJBSOV4IbHKIWmKudYiCeh Ótimo blog post sobre contrastive loss: https://lilianweng.github.io/posts/2021-05-31-contrastive/ SimCLR paper...

Fala galera, nesse episódio do podcast eu falo sobre o dataset FineWeb, o melhor dataset open source de pre-treinamento existente até hoje. No episódio eu explico como eles fizeram a curadoria do dataset e um pouco dos resultados. Link pro grupo do whatsapp: https://chat.whatsapp.com/KJBSOV4IbHKIWmKudYiCeh Link do blog da huggingface: https://huggingface.co/spaces/HuggingFaceFW/blogpost-fineweb-v1...

Fala galera, nesse episódio eu falo com o João Batista, Technical Product Manager da Stackspot AI. No episódio a gente falou bastante sobre o uso de LLMs como um copilot usando os próprios documentos da empresa para dar as respostas usando RAG. A gente falou tanto de aspectos técnicos como de produto, como qual métrica de similaridade pro RAG, quantos documentos usar, como mostrar a resposta e com...

Fala galera, nesse episódio eu falo de 2 papers, BitNet e 1.58 Transformers. Esses 2 papers da Microsoft apresentar uma nova receita de como treinar Transformers com apenas 1 bit, diminuindo muito o consumo de memória e energia, assim como o tempo de inferencia. BitNet paper: https://arxiv.org/pdf/2310.11453 1.58 bit paper: https://arxiv.org/pdf/2402.17764 Instagram do podcast: https://www.instagr...

Episódio extra falando sobre o lançamento do Llama 3!!!

Fala galera, continuando a serie de episódios sobre PEFT, nesse episoódio eu falo sobre tecnicas de otimização de inferência em LLMs. Eu falo de layer pruning, onde a gente corta algumas camadas consecutivas da rede sem perder quase nada de qualidade do modelo. Eu falo também sobre Mixture of Depths, uma tecnica semelhante ao Mixture of Experts, onde a gente usa um routing pra escolher quais token...

Fala galera, esse é um primeiro episódio de uma série de episódios sobre PEFT, Parameter Efficient Fine Tuning. Nele eu falo sobre LoRA e QLoRA, que são 2 métodos muito importantes e amplamente utilizados que possibilitam o treinamento de LLMs bem mais rápido com o uso de apenas 1 GPU sem perder perfomance. Video sobre QLoRA: https://www.youtube.com/watch?v=6l8GZDPbFn8 LoRA paper: https://arxiv.or...

Fala galera, nesse expiódio eu falo sobre Retrieval Aware Fine Tuning (RAFT), um paper que propos uma nova técnica que utiliza tanto domain specific fine tuning quanto RAG pra melhorar a capacidade de recuperação da informação dos LLMs. Nesse epiódio eu também falo sobre um outro paper que também tem o nome de RAFT, mas dessa vez Reward rAnking Fine Tuning, que propoe uma nova técnica para fazer R...

Fala galera, nesse episódio eu explico como a gente consegue escalar a janela de contexto de um LLM pra mais de 1 milhão de tokens usando Ring Attention. Além disso eu discuto se a abordagem usando RAG está morta com esses avanços na janela de contexto. Paper Lost in the Middle: https://arxiv.org/pdf/2307.03172.pdf Gemini technical report: https://storage.googleapis.com/deepmind-media/gemini/gemin...

Fala galera, nesse episódio eu recebi o André, ele é AI expert na IBM e a gente falou bastante sobre como usar IA pra resolver diversos problemas na industria. Site da Brains: https://brains.dev/ Linkedin do Andre: https://www.linkedin.com/in/andrefelipelopes/ Linkedin da Brains: https://www.linkedin.com/company/brains-brazilian-ai-networks/ Instagram do podcast: https://www.instagram.com/podcast....

Fala galera, nesse episódio eu falo sobre Mixture Of Experts e mais espeicificamente sobre o Mixtral, que hoje é o melhor LLM open source disponível e ele também é melhor que ChatGPT 3.5 e o Gemini Pro. Mixtral paper: https://arxiv.org/pdf/2401.04088.pdf Mixtral model: https://huggingface.co/mistralai/Mixtral-8x7B-v0.1 Mixtral YouTube: https://www.youtube.com/watch?v=mwO6v4BlgZQ Instagram: https:/...

Fala galera, na versão em ingles do podcast eu entrevistei o Sergei e a gente falou bastante sobre NLP e mais especificamente o problem de Named Entity Recognition (NER). O Sergei e o time dele na NuMind publicaram um artigo sobre o modelo fundamental de NER deles que bateu e muito o estado da arte e a gente conversou sobre esse modelo na entrevista. Modelo em ingles: https://huggingface.co/numind...

Fala galera, nesse episódio eu explico tudo que sei sobre Transformers. Falo da arquitetura, explico a formula de atenção, encoder, decoder, self-supervised learning, positional encoding, tokenisation, inductive bias, Vision-Transformers, receiptive fields... Foi o episódio mais tecnico que eu ja gravei e eu espero que voces gostem! Vale a pena escutar esse episódio com o paper do transformer aber...

Fala galera, nesse episódio eu explico o que é RAG (Retrieval Augmented Generation) e o conceito de agentes que executam tarefas. Instagram: https://www.instagram.com/podcast.lifewithai/  Linkedin: https://www.linkedin.com/company/life-with-ai

Fala galera, nesse episódio eu entrevistei o Daniel, CTO da WeClever, e a gente conversou sobre como eles estão usando IA para melhorar a experiência dos chat bots. Durante a conversa a gente falou sobre fine tuning do ChatGPT, LoRA, RAG… foi uma conversa muito massa e eu espero que voces gostem! WeClever: https://www.linkedin.com/company/wecleverco/ Daniel Linkedin: https://www.linkedin.com/in/dm...