formato alternativo ao “plain text”

[arademaker]

The TEI is an international and interdisciplinary standard used by libraries, museums, publishers, and academics to represent all kinds of literary and linguistic texts, using an encoding scheme that is maximally expressive and minimally obsolescent.

A todo commit, sempre acho algumas pequenas correções a serem feitas em relação a

1. codificação de carácteres
2. Separação meta informações e textos
3. Quebra de linhas

manter os documentos em plain text também dificulta:

1. Links
2. Estruturas como tabelas, listas, seções, citações etc

Para resolver 2, estamos usando markdown “parcialmente”.

A vantagem de plain text é a facilidade de processamento por ferramentas de NLP. Mas podemos construir alguns scripts auxiliares.

outra vantagem é a operação de “diff” sobre versões no repositório. Com plain text, se mantivemos linhas curtas, conseguimos localizar facilmente diferenças entre versões. Isso também deve ser possível com formatos como TEI ou mesmo HTML, se também mantivemos linhas de até 80-100 caracteres.

Este issue é para começarmos a discutir possíveis novos caminhos para manutenção mais robusta dos verbetes.

[suemi-higuchi]

Sim. Como você mencionou, a vantagem de adotarmos o plain text - e o markdown em especial -, é a facilidade para o PLN, além da sintaxe simples e de ser totalmente human-readable, independente de editores, sistemas ou plataformas. É muito fácil de criar, manter e editar, especialmente a parte de metadados. Lembro que esses foram nossos pontos na época.

Quanto às tabelas e citações, de fato, isso pode ser um problema. Apesar de raro (se não me engano, encontrei apenas um verbete lá no início com o "lixo" da conversão e adequei o texto, tanto na base quanto no git), é um ponto a considerar.

Quando você diz que sempre encontra correções a serem feitas após cada commit com relação à codificação de caracteres e quebra de linhas, talvez devêssemos criar um guideline. Por exemplo, ainda tenho dúvidas se devo continuar substituindo todas aspas por «». Sobre "separação meta informações e textos", pode dar um exemplo? Não entendi muito bem.

O TEI me parece uma solução bem interessante. Talvez fosse legal começar a discussão elencando os possíveis benefícios e cenários de mudança no caso da sua adoção. Meu receio é chegar naquele velho ditado... um tiro de canhão para matar uma formiguinha.

Mas discutir ideias novas é sempre bom.

[arademaker]

Definitivamente devemos rever estas aspas «», não acho que vale a pena continuar com elas. Se não me engano, a ideia inicial era ajudar o PALAVRAS, o que para mim hoje não faz mas sentido. Mas seria bom usarmos aspas Unicode que marquem abertura e fechamento talvez. Lembro que quando mudei das aspas duplas e simples ASCII, detectei vários erros de balanceamento.

De qq modo, mesmo o formato atual usado não está 100% documentado. Estamos no meio do caminho entre markdown e plaintext sem restrições e com livres escolhas, o que não é bom.

Mas talvez, para tomar decisões bem informadas, devamos esperar para quando o conteúdo estiver ativamente sendo atualizado e mantido. Com base na natural necessidade de balanceamento entre preservação de informação e simplicidade de edição. As conversões feitas e estado atual dos dados pode não refletir a demanda real por soluções de formatação.

[arademaker]

Sobre "separação meta informações e textos", pode dar um exemplo? Não entendi muito bem.

As linhas que iniciam e terminam os metadados devem ter apenas 4 carácteres "---\n", mas como a quebra de linha não é visível, muitas vezes encontro espaços antes da quebra de linha. Mas isso pode ser "verificável", podemos implementar um código de validação a cada commit.

[suemi-higuchi]

O que você usa para quebrar as linhas em 80-100 caracteres?

[arademaker]

Faço no editor https://www.gnu.org/software/emacs/

[suemi-higuchi]

Uma iniciativa que pode nos inspirar quanto à criação do corpus em formato TEI: https://ceur-ws.org/Vol-3128/paper4.pdf

O Carolina é um corpus aberto do português brasileiro, com informações de tipologia e proveniência dos textos e que se utiliza de um desenvolvimento versionado para oferecer um cuidado especial com as licenças de uso de cada texto. O corpus possui cabeçalhos para cada texto, com vários metadados concebidos para serem úteis para diversas aplicações e investigações em processamento de linguagem natural e em linguística.
https://huggingface.co/datasets/carolina-c4ai/corpus-carolina