BeSIM

O artigo, com a participação da integrante do <labiia_lab> Vitória Sofia Vieira dos Santos, apresenta o BeSIM, um benchmark (conjunto de testes padronizado) criado para avaliar a capacidade de Modelos de Linguagem Multimodais de Grande Escala (MLLMs) de interpretar interações sociais entre brasileiros a partir de vídeos. Os autores partem da observação de que os MLLMs evoluíram para processar texto, áudio, vídeo e imagem de forma integrada, aproximando-se da cognição humana, mas que sua capacidade de compreender interações sociais em vídeo ainda é pouco explorada — uma lacuna herdada dos LLMs.

Fundamentação teórica

O conceito de interação social adota a definição de Erving Goffman (encontros físicos em que as ações de cada pessoa influenciam reciprocamente o comportamento das outras), incluindo noções como “consenso operacional”, “região de fachada” (front region), polidez e decoro. Para sistematizar a avaliação, usa-se a taxonomia APRACE, que decompõe a interação em seis componentes: Ator, Parceiro, Relação, Atividade, Contexto e Avaliação. Como os modelos atuam apenas como observadores, “ator” e “parceiro” foram unificados sob o termo “agentes”.

Metodologia

Inspirado no benchmark Video-MME, o BeSIM foi construído coletando 22 vídeos do YouTube (interações de brasileiros nos últimos 10 anos, até 600 segundos, divididos em curtos e médios), organizados em cinco categorias (Conhecimento; Cinema e TV; Competição Esportiva; Performance Artística; Registros de Vida). A partir deles foram formuladas 110 questões de múltipla escolha (quatro alternativas, uma correta), classificadas pelas categorias APRACE e respondíveis apenas com base no vídeo. Algumas perguntas eram padronizadas (relação, atividades, se a interação foi agradável) e outras individualizadas (contexto e emoções). Houve revisão por pares para eliminar questões respondíveis sem assistir ao vídeo e evitar ambiguidades. As perguntas foram feitas em português. Os autores priorizaram qualidade em vez de tamanho do conjunto de dados, o que, somado a limitações de recursos, restringiu o tamanho da amostra.

Modelos e principais resultados

Foram testados modelos proprietários via API (família Gemini, vídeos em 720p) e um modelo open-source rodado localmente (LLaVA, limitado a 16 frames por restrição de hardware, o que impede comparação direta). A métrica foi a acurácia (baseline aleatória de 25%, já que há quatro alternativas).

• O Gemini 2.5 Pro teve o melhor desempenho, com 90% de acurácia média no BeSIM — superior aos 84,8% que havia obtido no Video-MME, sugerindo competência semelhante (ou maior) na interpretação de interações sociais comparada a tarefas mais generalistas.
• Em seguida vieram Gemini 2.5 Flash (87,27%) e Gemini 1.5 Pro (85,45%); o LLaVA ficou em 70% (prejudicado pelas limitações de hardware).
• Notou-se um trade-off claro: o Gemini 2.5 Flash, focado em velocidade, perde acurácia em relação ao Pro.
• A categoria com pior desempenho geral foi Avaliação (se a interação foi agradável), com média de apenas 69,32%.
• Diferentemente do Video-MME, a duração do vídeo teve pouca influência (e até favoreceu vídeos mais longos), provavelmente pela pequena variação entre as faixas analisadas e pela maior quantidade de pistas contextuais.
  

Análise qualitativa

A maioria dos erros se concentrou em desafios de inferência. Exemplos: em um vídeo de gravação de esquete de comédia com uma festa de aniversário encenada, os modelos identificaram a atividade como “festa de aniversário”, ignorando que era parte da produção do humor; e uma pessoa demonstrando raiva foi classificada por alguns modelos como “confusão”. Já em cenas com pistas consistentes e sem necessidade de leitura emocional sutil (como um homem ajoelhado com uma caixa diante de uma mulher), todos acertaram que se tratava de um pedido de casamento.

Conclusão

Os MLLMs mostram-se tão competentes para interpretar interações sociais quanto para análise geral de vídeo, indicando bom potencial para aplicações especializadas em contextos sociais. Contudo, há uma limitação crítica: quando a tarefa exige avaliar se a interação foi agradável ou não, todos os modelos têm queda significativa de acurácia. Isso decorre da dificuldade de realizar inferências mais complexas que vão além da cena visual — interpretar intenções implícitas, nuances emocionais e contexto relacional. Essa limitação é especialmente preocupante em aplicações sensíveis, como a detecção de casos de violência ou assédio psicológico. Os autores sugerem, como trabalho futuro, ampliar o conjunto de dados e incorporar novos recursos de análise. Código e dados estão disponíveis publicamente no GitHub.