A engenharia por trás do Jabuticaba
Foi adotado um fluxo de processamento no qual cada fase atua como um filtro de qualidade: da identificação do idioma à remoção de toxicidade, da normalização ao controle de duplicidade. Esse processo assegura que os textos utilizados representem de forma fiel e responsável a língua portuguesa em toda a sua diversidade.
1. Detecção de idioma - uso de modelos como fasttext e langdetect para garantir que apenas textos em português fossem mantidos.
2. Filtragem de conteúdo - exclusão de documentos irrelevantes, duplicados ou com material inadequado, incluindo páginas de baixa qualidade ou domínios com conteúdo explícito.
3. Controle de qualidade - métricas estatísticas e heurísticas eliminaram textos incoerentes, placeholders e repetições excessivas, evitando ruído nos dados.
4. Redução de toxicidade - aplicação do modelo detoxify para remover passagens com linguagem nociva ou discriminatória.
5. Normalização - padronização dos textos para corrigir problemas de codificação, eliminar redundâncias e preparar os dados para tokenização eficiente.
6. Deduplicação avançada – técnicas como ExactSubstr e MinHash asseguraram a eliminação de documentos redundantes ou muito similares, prevenindo o overfitting.
7. Tokenização - segmentação do texto bruto em sequências de tokens individuais.
O que torna o Jabuticaba único
Pensado exclusivamente para refletir as nuances do português falado no Brasil, ele traz mais precisão, melhor desempenho em tarefas específicas e maior adequação ao contexto cultural brasileiro.
- Escala: superando os dados em português do CulturaX, posiciona-se como uma das maiores bases de dados do mundo nessa língua.
- Qualidade garantida: cada etapa do pipeline seguiu critérios técnicos rigorosos, garantindo solidez e precisão ao dataset.
- Uso autorizado: com uma licença revisada juridicamente, permite aplicações em ambientes comerciais e institucionais.
O resultado é um dataset que não apenas rivaliza com os melhores do mundo, mas que os supera em representatividade para o português do Brasil.
Impacto científico, tecnológico e social
O Jabuticaba é um marco para a ciência brasileira e tem potencial para transformar diferentes áreas.
Ele oferece à comunidade acadêmica uma base inédita para estudos em Processamento de Linguagem Natural (PNL); abre espaço para que o setor público desenvolva aplicações em educação, saúde, justiça e atendimento ao cidadão, com modelos que realmente compreendem o português; e ainda cria oportunidades para que o mercado privado lance produtos e serviços inovadores - tudo isso sustentado por dados de alta qualidade e uso autorizado.
Além disso, o Jabuticaba tem capacidade de democratizar os avanços tecnológicos em regiões de língua portuguesa historicamente menos atendidas, em especial no Brasil, onde o acesso a ferramentas de IA tem sido limitado.
A oferta de um conjunto de dados extenso e diverso, coletado a partir do uso real da língua portuguesa falada no Brasil, pode capacitar desenvolvedores e pesquisadores a criar modelos de linguagem mais inclusivos, que reflitam a rica diversidade linguística e cultural do português.
Um verdadeiro símbolo da capacidade do país de inovar, liderar e afirmar sua soberania na era digital.
