Angel Mansilla

WebScraping and Analysing Data on QuintoAndar
PARTE 3
Dashboard e Conclusão do Projeto
Nessa seção do projeto, apresento o dashboard interativo desenvolvido, destacando os gráficos mais interessantes e relevantes. Além disso, compartilho alguns pensamentos sobre as dificuldades enfrentadas, o que foi aprendido e outros comentários gerais, algo que também pretendo fazer nos futuros projetos.
1 - Dashboard Interativo
Visando tornar a visualização das informações mais intuitiva, nesse dashboard o usuário pode selecionar as capitais que deseja comparar, e terá acesso à um leque de informações importantes, como a média de preço por tipo de imóvel, ou como o preço costuma flutuar baseado no tempo de publicação.
É recomendável mudar o Zoom de 100% para "Ajustar à Página"
2 - Reflexões e Conclusão
Sendo a minha primeira experiência prática com WebScraping, creio que fiz um bom trabalho, localizei as
principais características de cada anúncio e consegui as extrair e analisar, com um bom grau de clareza e profundidade, porém, existem alguns pontos que devem ser lembrados e melhorados no futuro, seguem aqui
algumas reflexões sobre o presente e o futuros dos meus estudos e projetos:
-
Otimização do Código e Escolha da Página
-
Meu código para WebScraping não é muito otimizado, digo isso, pois as operações demoravam muito para serem realizadas. Preciso escolher melhor no futuro a página para realizar o WebScraping. A página do QuintoAndar, ainda que ótima em conteúdo, carregava todos os imóveis na mesma página, o que tornava tudo um tanto mais lento, graças ao alto consumo de memória RAM.​
-
​​
-
Planejamento das Informações à Serem Extraídas
-
Devo admitir que pensei que seria capaz de extrair mais insights com os dados que obtive. No projeto anterior, consegui gerar 15 insights de qualidade satisfatória, mas neste apenas consegui realizar 8. Isso se deve tanto à minha inexperiência com técnicas que agreguem valor aos dados quanto à falta de dados para trabalhar. No entanto, já estou trabalhando para melhorar ambos os pontos.
-
​
-
Melhoria nas Técnicas para Análise e Ciência de Dados
-
Nos dois projetos que realizei, utilizei principalmente tecnologias do campo da análise de dados, como SQL e Power BI. No entanto, em breve, pretendo realizar análises mais profundas, utilizando algumas técnicas de Machine Learning que estou aprendendo com Python. Acredito que isso tornará as análises mais envolventes, detalhadas e estimulantes.
-
​
​