A geração de código está emergindo como uma das aplicações mais populares para grandes modelos de linguagem (LLMs), mas nem todos os agentes são igualmente bons em todas as tarefas de desenvolvimento. O Google criou um benchmark no início deste ano para avaliar o desempenho dos LLMs no desenvolvimento de aplicativos Android, e Banco Android está recebendo uma grande atualização hoje. A tabela de classificação agora inclui uma série de novos modelos, e o Google adotou uma nova estrutura que deve ser mais fácil de usar. Os desenvolvedores são convidados a realizar seus próprios testes e enviar comentários que possam moldar o futuro do Android Bench.
Embora sejam ferramentas de codificação populares, os LLMs não fazem tudo certo. Separar os resultados úteis do desperdício direto significa escolher a ferramenta certa. O Android Bench tem como objetivo demonstrar quais agentes de IA se saem melhor em um conjunto de 100 tarefas de desenvolvimento Android. Depois de lançar o Android Bench em março, o Google adicionou métricas como custo e eficiência, bem como modelos abertos.
Para manter o Android Bench relevante, o Google está atualizando o teste com oito novos modelos, incluindo todos os mais recentes pesos pesados: Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus e Qwen 3.7 Max.
Leia o artigo completo
Comentários
Leave a comment