Статистика по корпусу

Оригинальный текст

Общее количество токенов: 208911

Общее количество токенов без знаков пунктуации: 172354

Уникальных токенов: 31634

Скорректированный текст

Общее количество токенов: 210794

Общее количество токенов без знаков пунктуации: 179678

Уникальных токенов: 24982