Adaptive Recommender

Imagine uma distribuidora de roupas que vende no atacado para lojas: camisetas, calças, vestidos, roupas esportivas, acessórios. Cada loja é um cliente com gosto próprio — uma vende moda esportiva, outra só compra o que é barato, outra concentra as compras no verão. O vendedor da distribuidora quer abrir o sistema e ver, para cada loja, uma lista curta de produtos que ela ainda não comprou e que provavelmente compraria.

Isso é um sistema de recomendação: um programa que ordena os produtos do mais para o menos provável de interessar a um cliente e mostra os primeiros (aqui, os 10 primeiros). Repare em dois detalhes que mudam tudo:

• Só produtos novos para a loja. Recomendar o que ela já compra toda semana é fácil e inútil. A tarefa é de descoberta.
• Não existe um único jeito certo de adivinhar. Dá para olhar o que a loja já comprou, o que lojas parecidas compram, o que está vendendo bem, como ela reagiu a sugestões anteriores… Cada caminho acerta em situações diferentes.

A pergunta que me motivou foi: e se, em vez de escolher um método, eu usasse vários e deixasse o sistema decidir quanto confiar em cada um, cliente por cliente? Isso se chama mixture of experts (mistura de especialistas). O resto da página mostra como construí isso, um passo de cada vez, e o que aconteceu quando testei de verdade.

Antes dos detalhes, o mapa. O sistema é uma sequência de etapas; cada uma recebe o resultado da anterior. Clique em cada etapa para ver o que ela faz e por quê:

Dados inventados só servem para testar um modelo se tiverem estrutura: padrões que um bom método consiga encontrar e um método ruim não. Por isso o gerador não sorteia compras ao acaso. Ele funciona assim:

1. Cada loja ganha um tipo escondido (um arquétipo): especialista em moda esportiva, sensível a preço, moda social, sazonal (compra muito no verão), diversificada, de alto ticket, "migrante" (muda de gosto aos poucos ao longo do tempo) e "complementar" (compra calça junto com camisa, vestido junto com acessório). O tipo define o gosto por categoria, por estilo e o quanto o preço pesa.

2. Cada produto tem uma "utilidade" para cada loja — um número que diz o quanto ela gosta daquele produto naquele mês. De forma simplificada:

3. Os pedidos acontecem no tempo. Todo mês cada loja faz um número aleatório de pedidos (uma distribuição de Poisson, com mais pedidos na "sua" estação) e escolhe produtos sorteando com probabilidade maior para utilidade maior.

4. Existe um recomendador antigo mostrando 6 produtos antes de cada pedido. A loja reage num funil: às vezes clica, às vezes coloca no carrinho, às vezes compra, às vezes rejeita — e, na maioria das vezes, simplesmente ignora. Essas reações viram a tabela de interações.

5. Clientes novos de propósito. Algumas lojas se cadastram só no fim do período — algumas nem compram nada. Isso cria o problema do cold start: como recomendar para quem não tem histórico?

O ponto crucial: o tipo escondido de cada loja fica num arquivo separado que nenhum modelo lê. Os modelos precisam descobrir os padrões a partir das compras, como fariam no mundo real.

Cada método responde a uma pergunta diferente sobre a loja. Para cada um: a intuição, como funciona, a fórmula principal e onde ele brilha ou falha. Clique para alternar:

Esta é a parte que eu mais queria testar. Em vez de pesos fixos iguais para todo mundo, cada loja recebe seus próprios pesos. São cinco passos:

1. Colocar as notas na mesma régua. A nota do conteúdo é um cosseno, a do supervisionado é uma probabilidade, a da popularidade é uma contagem — misturá-las direto seria somar metros com quilos. Então, para cada loja, troco cada nota pela sua posição entre os produtos possíveis, convertida para 0–1 (percentil). Um especialista que dá a mesma nota para tudo vira 0,5 em tudo e não atrapalha a ordem.

2. Medir o que sabemos da loja. Número de pedidos e de produtos distintos, quantas sugestões já viu, quão parecida ela é com outras lojas, quão consistente é o histórico, se mudou de gosto recentemente, há quantos dias não compra.

3. Regras de bom senso. Cada sinal vira uma confiança entre 0 e 1 para cada especialista: poucos pedidos → pouca confiança no colaborativo; histórico consistente → mais conteúdo; muitos vizinhos parecidos → mais colaborativo; muitas interações → mais bayesiano e supervisionado; loja nova → mais popularidade. Os pesos são as confianças divididas pela soma.

4. Um ajuste aprendido por cima das regras. As regras são palpites meus. Então um pequeno modelo aprende correções a elas olhando o que funcionou num período passado:

Aqui \(r_e\) é a confiança dada pela regra, \(b_e\) um ajuste geral por especialista e \(\theta_e\) ajustes que dependem dos sinais \(\phi\) da loja. Se o aprendizado não encontrar nada, \(b = \theta = 0\) e o sistema volta exatamente às regras. O "softmax" garante pesos positivos que somam 100%.

5. Não confiar cegamente no ajuste. Com poucas lojas, um modelo de 60 parâmetros pode decorar ruído. Então comparo, por validação cruzada (treinando com parte das lojas e testando nas outras), três versões — só regras, só o ajuste geral, ajuste completo — e fico com a que vai melhor fora dos dados de treino. Com 50 lojas, venceram as regras; com 300, venceu o ajuste completo.

Cada recomendação mostra os pesos usados, a justificativa em português, os especialistas descartados e um nível de confiança (fig. 3).

Filtrar antes de ordenar. Ficam de fora produtos sem estoque, ainda não lançados, já comprados pela loja (há uma opção para permitir recompra depois de N dias) e rejeitados nos últimos 180 dias. Produtos mostrados várias vezes sem resposta perdem 15% da nota ("fadiga"), para a lista não ficar repetitiva.

Diversificar, se quiser. Com a Maximal Marginal Relevance, cada próximo item é escolhido equilibrando relevância e diferença em relação ao que já está na lista:

Com λ = 1 a lista é só relevância; valores menores trazem mais variedade.

Aprender com um clique — um exemplo. Suponha que, para "vestidos", a estimativa bayesiana de interesse de uma loja seja Beta(3, 7): média 3/10 = 30%. A loja vê uma sugestão de vestido e…

• …clica: vira Beta(4, 7), média 4/11 ≈ 36%;
• …ignora: vira Beta(3, 7,25), média ≈ 29% — quase nada muda, porque ignorar é uma evidência fraca;
• …rejeita: vira Beta(3, 8), média 3/11 ≈ 27%.

Se depois do clique a mesma loja compra o vestido, o sistema aplica só a diferença entre "clicou" e "comprou", para não contar a mesma sugestão duas vezes. Com isso, atualizar um evento por vez dá exatamente o mesmo resultado que recalcular tudo do zero — isso está verificado nos testes.

O que muda na hora e o que espera o retreino. Depois de um feedback mudam imediatamente: a estimativa bayesiana, as características da loja, o perfil de conteúdo, a linha da loja na matriz colaborativa e os pesos do motor. Já o modelo supervisionado, a fatoração, os segmentos e o motor treinável só são reajustados numa rotina controlada de retreino, que cria novas versões e nunca apaga dados.

O protocolo. Treino com dados até abril/2026, uso maio–julho para escolher hiperparâmetros e treinar o motor, e testo em agosto–outubro. No teste, os modelos são reajustados com tudo até 31 de julho, mas o motor usa os pesos aprendidos antes — ninguém vê o período de teste.

As métricas, para a lista dos 10 primeiros de cada loja:

• Precision@10: dos 10 sugeridos, quantos a loja comprou de fato.
• Recall@10: dos produtos novos que a loja comprou, quantos estavam na lista.
• NDCG@10: como o recall, mas premiando acertos no topo — acertar na 1ª posição vale mais que na 10ª. Vai de 0 a 1.
• Cobertura: que fração do catálogo aparece em alguma lista (sugerir sempre os mesmos 20 produtos é sinal ruim).

A incerteza. Com 273 lojas no teste, parte da diferença entre dois métodos é sorte. O bootstrap estima isso: sorteio 2.000 vezes um conjunto de 273 lojas com reposição, recalculo a média e vejo entre que valores ela varia (o intervalo de 95%). Para comparar dois métodos, faço o mesmo com a diferença entre eles loja a loja (bootstrap pareado): se o intervalo da diferença inclui zero, não dá para dizer que um é melhor.

As comparações que importam. A coluna "leitura" aplica a regra acima, sem interpretação minha:

Por quantidade de histórico. Uma das promessas do motor adaptativo era ir melhor para lojas novas. Os dados dizem:

O que eu concluo. Combinar especialistas ajuda de verdade: os híbridos superam qualquer especialista isolado com folga estatística. Mas o motor adaptativo — a parte mais sofisticada — empata com uma combinação simples de pesos fixos bem escolhidos (Δ = −0,003, intervalo de −0,019 a +0,014), e perde para ela nas lojas sem histórico. Por isso ele não é declarado superior.

A lição de que mais gostei. Comecei com 50 lojas. Ali, o motor treinável não conseguia aprender nada (a validação cruzada sempre escolhia as regras) e aparecia uma vantagem bonita do adaptativo em "lojas que mudaram de gosto" — com 7 lojas nesse grupo. Ao subir para 300 lojas, os intervalos de confiança ficaram mais de duas vezes mais estreitos, o motor passou a aprender… e a vantagem desapareceu. Era ruído. Se eu tivesse parado nas 50 lojas, teria uma conclusão bonita e falsa.

Dados sintéticos têm um problema de fundo: fui eu quem criou os padrões. Para checar, rodei o mesmo código, sem mudar nenhum modelo, sobre o Online Retail II (UCI Machine Learning Repository): transações reais de 2009 a 2011 de um atacadista online do Reino Unido, cujos clientes são em boa parte revendedores — um cenário B2B parecido.

• Limpeza: de 1.067.371 linhas, removi cancelamentos, devoluções, clientes anônimos e códigos que não são produtos (frete, ajustes, taxas bancárias), ficando 802.632.
• Adaptação: o dataset não tem categorias, então elas são derivadas das descrições por palavras-chave (bolsas, cozinha, velas, Natal…). Usei os 400 produtos com mais compradores antes do período de validação e uma amostra aleatória de 500 clientes — 58 deles só aparecem no período de teste (cold start real).
• O que falta: não há registro de recomendações, então o especialista bayesiano fica sem evidência própria.

Leitura. Todos os números caem — dados reais são muito mais esparsos (a mediana é de 3 pedidos por cliente) —, mas a história se repete: todos os métodos superam o acaso com folga, e as melhores estratégias (pesos fixos 0,094, supervisionado 0,091, colaborativo 0,085, adaptativo 0,084) ficam estatisticamente empatadas. O conteúdo sofre com descrições curtas e o bayesiano, sem interações, vira quase uma popularidade. Nenhuma mágica — e isso, para mim, é uma boa notícia sobre a honestidade da avaliação.

• A estrutura de avaliação vale mais que o modelo. Separar o tempo, comparar contra linhas de base justas e mostrar a incerteza foi o que me impediu de acreditar numa conclusão falsa.
• Tamanho de amostra decide o que dá para aprender. O mesmo motor treinável não aprendia nada com 50 lojas e aprendia com 300.
• Sofisticação não é garantia. Um motor adaptativo com regras, softmax e validação cruzada empatou com cinco pesos fixos bem escolhidos. Em produção, eu começaria pelos pesos fixos.
• Ignorar não é rejeitar. Tratar ausência de clique como "não gosta" teria distorcido o modelo bayesiano e o supervisionado.
• Limites: os dados principais são sintéticos (o gerador define a "verdade"); alguns modelos são complexos demais para ~300 clientes — de propósito, era um laboratório; os resultados de grupos pequenos (como cold start) são indicativos; o bayesiano só funciona onde existem registros de interação.

Projeto pessoal de fim de semana, feito para aprender. Dados reais: Online Retail II (Chen, D., UCI Machine Learning Repository, CC BY 4.0), baixado em tempo de execução e não redistribuído.