Please use this identifier to cite or link to this item:
http://hdl.handle.net/11612/8367| Authors: | Lima, Sósthenes Oliveira |
| metadata.dc.contributor.advisor: | Meira, Janeisi de Lima |
| Title: | Inteligência artificial e educação: estratégias para avaliar a eficácia do chatbot educacional Educachat |
| Keywords: | Inteligência Artificial. Chatbot Educacional. Engajamento Discente. Avaliação de Tecnologias Educacionais. Artificial Intelligence. Educational Chatbot. Student Engagement. Educational Technology Evaluation |
| Issue Date: | 17-Dec-2025 |
| Citation: | LIMA, Sósthenes Oliveira. Inteligência artificial e educação: estratégias para avaliar a eficácia do chatbot educacional Educachat. 2025.161f. Dissertação (Mestrado em Ensino em Ciência e Saúde) – Universidade Federal do Tocantins, Programa de Pós-Graduação em Ensino em Ciência e Saúde, Palmas, 2025. |
| metadata.dc.description.resumo: | Este estudo avaliou o desempenho técnico-operacional do chatbot educacional EducaChat, com base em métricas extraídas de registros de uso (logs) e nos critérios de qualidade do modelo ISO/IEC 25010, discutindo seu potencial como ferramenta de apoio a práticas pedagógicas mediadas por tecnologia. Trata-se de uma pesquisa de natureza aplicada, com abordagem exploratória e descritiva, caracterizada como estudo técnico-documental do sistema. A metodologia envolveu a análise de registros de interação, métricas de uso e desempenho, além da categorização temática das mensagens, com apoio de estatística descritiva e mapeamento de evidências aos atributos de qualidade de software. Os resultados indicaram elevada disponibilidade operacional do sistema, com tempo médio de resposta compatível com uso em contexto educacional, além de padrões de interação concentrados majoritariamente em dúvidas conteudistas, especialmente nas áreas de Matemática e Ciências da Natureza. Observou-se estabilidade do serviço ao longo do período analisado, com baixa incidência de falhas críticas e recorrência de sessões registradas. Também foram identificadas limitações relacionadas à usabilidade e à transparência dos mecanismos de adaptação, apontando desafios técnicos para a ampliação da profundidade das interações. Ressalta-se que os indicadores analisados correspondem a proxies técnicos de uso e desempenho, não permitindo inferências diretas sobre aprendizagem ou mediação didática. Conclui-se que o EducaChat apresenta desempenho técnico satisfatório como ferramenta educacional de apoio, embora demande aprimoramentos em aspectos de usabilidade e personalização para favorecer interações mais ricas e alinhadas às práticas pedagógicas. |
| Abstract: | This study evaluated the technical and operational performance of the educational chatbot Ed- ucaChat, based on metrics extracted from usage logs and the quality criteria defined by the ISO/IEC 25010 model, discussing its potential as a support tool for technology-mediated ped- agogical practices. The research adopted an applied, exploratory, and descriptive approach, characterized as a technical-documentary study of the system. The methodology involved the analysis of interaction records, usage and performance metrics, as well as thematic categoriza- tion of messages, supported by descriptive statistics and evidence mapping to software quality attributes. The results indicated high system availability, average response times compatible with educational use, and interaction patterns predominantly focused on content-related ques- tions, especially in Mathematics and Natural Sciences. Service stability was observed through- out the analyzed period, with a low incidence of critical failures and recurring session records. Limitations related to usability and transparency of adaptation mechanisms were also identified, pointing to technical challenges in promoting deeper interactions. It is emphasized that the an- alyzed indicators correspond to technical proxies of system usage and performance and do not allow direct inferences about learning outcomes or instructional mediation. It is concluded that EducaChat demonstrates satisfactory technical performance as an educational support tool; however, improvements in usability and personalization are required to foster richer interac- tions aligned with pedagogical practices. |
| URI: | http://hdl.handle.net/11612/8367 |
| Appears in Collections: | Mestrado em Ensino em Ciência e Saúde |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| Sósthenes Oliveira Lima - Dissertação.pdf | 4.05 MB | Adobe PDF |  View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.