terça-feira, 8 de julho de 2025

What Is ChatGPT Doing... and Why Does It Work?


Stephen Wolfram (2023). What Is ChatGPT Doing... and Why Does It Work?. Wolfram Media.

Provavelmente, apenas os engenheiros da OpenAI sabem como é que o ChatGPT realmente funciona. Stephen Wolfram procura uma aproximação, pegando no seu saber como criador do Wolfram Alpha e do seu interesse no lado técnico da IA generativa. O livro é uma excelente e concisa introdução à tecnologia, mostrando como a conjugação de estatística e probabilidades, acesso a quantidades elevadas de dados, escalagem de parâmetros de treino e análise, e a possibilidade trazida pelos transformadores de criar tokens numéricos para qualquer tipo de dados permite às redes neuronais gerar informação. Vindo da computação mais clássica, Wolfram surpreende-se com a capacidade dos LLMs em gerar texto coerente, levantando a ideia que características humanas complexas, como a linguagem, são computacionalmente intensivas mas não inatingíveis.