- problema
Problema Inicial
Tendo um modelo de crédito relativamente antigo, a BPC (Bom para crédito) buscou a Poli Júnior para renovar seu modelo e conseguir insights importantes para criação efetiva de um novo o qual seria usado inicialmente para teste em uma das suas plataformas (ShaolinAgreste) e depois cabia a BPC aplicá-los para as outras três. Assim, com as informações dadas pela Bom para crédito, cabia à equipe PJ aplicar um novo modelo utilizando um algoritmo testado: o XGBoost, no lugar da antiga regressão logística.
- a solução
Nossa Solução
Pensando inicialmente na melhora do antigo modelo aplicado, primeiro precisávamos entender e definir quais métricas representariam melhora no modelo. Assim foram decididas três métricas principais que determinaram a qualidade do modelo: A ROC – AUC (area under curve), que representa um jeito de efetividade do quão correta foi nossa classificação entre bons e maus pagadores; o teste de KS para entender melhor essa distribuição; e por fim a métrica interna deles, os GHs, os percentis de 10% dos melhores aos piores pagadores.
Com isso definido já tínhamos toda informação deles para começarmos efetivamente o trabalho. Dessa forma, partimos para a parte de análise do modelo atual e noção das métricas. A principal, definida por eles, era a métrica de GHs, principalmente o GH – 10 (melhores pagadores), sobre a qual deveríamos focar em melhorar o máximo possível esses pagadores, o que resultaria para eles em um maior faturamento.
Dado isso, tínhamos que aplicar o algoritmo e garantir que ele fosse o melhor possível no GH10 e optamos pelo Grid Search com Validação Cruzada para garantir isso; além da validação out-of-time que mostraria que nosso modelo não passou por um processo de overfitting. Nesse ponto do projeto todos os métodos já estavam aplicados e só deveriam ser testados, o que pode ser feito mas exigiu grande capacidade computacional, já que para rodar o grid search precisávamos rodar o algoritmo dezenas de milhares de vezes. Assim no final conseguimos obter um algoritmo funcional com seus parâmetros otimizados.
- O RESULTADO
Resultados Finais
Com a mudança de algoritmo a Poli Júnior passou a clusterização do GH 10 (melhores pagadores) de 12,5% de mal pagantes para 8,5%, uma melhora de quase 50% no algoritmo de clusterização para a métrica mais importante dos clientes. Além disso, houve melhora em todos GHs e nas demais métricas. Com isso a Poli Júnior garantiu qualidade no algoritmo entregue e obteve os melhores resultados possíveis para nosso cliente.
