[Python] Скрипт чистки текста

Складчина: [Python] Скрипт чистки текста

Предлагаю свой скрипт написанный на Python 3, который обрабатывает текст, собранный парсером и сохраняет только качественные предложения, устраняя в них различные ошибки.
Скрипт работает аккуратно, сохраняя максимальное количество предложений. В очищенных текстах вы не найдете китайских иероглифов, знаков, изображающих кеды, смайликов и прочих ненужных символов, вы увидите только нормальный текст, знаки пунктуации и необходимые символы.
По окончании работы скрипт выводит сообщения о времени работы, первоначальном и конечном размерах всех обрабатываемых файлов.
Участники складчины получат скрипт на 920 строк (открытый код с комментариями), 3 словаря к нему (один словарь на 970 строк), двухстраничный документ, в котором описана установка интерпретатора Python, порядок работы со скриптом и словарями, бонус в виде 2 небольших полезных скриптов. Также я предлагаю настроенную портативную программу для написания/редактирования и выполнения кода.
Материал рассчитан на тех, кто никогда не писал скриптов и программ.
Я доволен качеством работы скрипта, предлагаю посмотреть 10 образцов обработанных текстов:

Может получиться так, что после обработки своих текстов вы обнаружите какие-то "дефекты", что-то вам не понравится. Я готов буду рассмотреть такие тексты и внести изменения в код в ходе обсуждения после закрытия складчины. Длительную поддержку не обещаю, но если будут пожелания со стороны складчиков, внесу изменения в код.

 

Какие зависимости есть у cкрипта? Scrapy? Или все стандартной библиотекой делается?

 

Скрипт использует стандартную библиотеку

 

мне вообще это все незнакомо, то что касается установки скриптов на питоне, по этому появились вопросы, возможно глупые

У скрипта имеется какой нибудь интерфейс?

Скрипт будет работать только на винде? и на какой?

 

Скрипты не имеют интерфейса, скрипт - это текстовый файл. Я даю настроенную программу с красивой темной темой, скрипт открывается в ней и нажимается клавиша F7, скрипт печатает какие он выполняет операции и сообщает о завершении.

Питоновские скрипты можно выполнять на Windows, Linux, MacOS. Версии систем любые, кроме древних. В отличие от PHP не требуется серверная программа, устанавливается только интерпретатор, который выполняет код.

 

@Roman_77, теперь общий смысл, более понятен
благодарю за пояснение!

 

Как скрипт определяет качественное предложение или нет?

 

Срипт не делает анализ предложений. Хорошего результата я добился за счет большого количества фильтров и использования внешних словарей. Т.е. все строки с большим процентом мусора удаляются, а оставшиеся очищаются.

 

Хорошо бы чтобы скрипт еще удалял предложения без точки, двоеточия, вопрос. или воскл. знака.

 

Можно подробнее. Почему надо удалять строки без двоеточия, вопросит. и восклицат. знака? Это реализовать просто, но не понятно зачем. Если очень нужно, то я могу в ходе обсуждения написать такой код.
Мой скрипт ставит точки в конце строк, где их нет.

 

Roman_77
Очень интересно!
Сколько людей собирать планируете?

 

У меня первая авторская, надо дождаться получения статуса партнера, не знаю когда дадут. Долго ждать не планирую, примерно неделю, дней 10.

 

Это решает вопрос

 

@Roman_77
Качество очистки вполне приемлемое в примерах.

• Скрипт же не "интеллектуальный", чем лучше словарь соответствует теме тем лучше результат, правильно понимаю?
• Вопрос что за словари подключаешь?
  
• Какая скорость обработки/очистки текста?
• Пакетная обработка есть?
• Где этот скрипт сам используешь и где рекомендуешь использовать?

 

В приведенном вашем примере, в папке Обработанные тексты, все предложения с новой строчки, то есть без абзацов, так и должно быть, я правильно понимаю что потом надо все это еще и руками перебирать ?

 

Основной словарь содержит минус-слова для удаления строк. В него уже включены слова, сокращения, обрывки слов из разных тем. Конечно составлять идеальный словарь для всех тем рунета можно долго, но добавлять к существующему при работе с какой-то новой темой много не придется. Можно в ходе обсуждения предложить свои тексты, я обработаю и сразу выложу, посмотрите результат. Лучше по вечерам.
Два другие словаря выполняют замены. Про всё не буду говорить, есть правила для замены спецсимволов типа »=». Т.е. спецсимволов на выходе не будет.
Сейчас повторно запустил обработку 10 файлов из примера в первом посте. Скрипт выдал:
- Обработано 10 файла(ов). Исходный размер: 4187381 байт. После обработки: 2910081 байт
- Затраченное время: 15.06 сек
Скорость зависит от производительности машины. У меня ЖД, если работать с SSD, будет быстрее.
Скрипт обрабатывает все txt файлы в той папке, где находится сам.
Я использую тексты для дорвеев. Можно добавить синонимизацию и использовать на СДЛ.

 

Генераторам дорвеев именно такой текст и нужен, они сделают из него абзацы с разным количеством предложений.
Если нужно делать абзацы, то в ходе обсуждения в приватной теме могу добавить код.

 

Скрипт написан с применениемООП? Интересуюсь в плане обучения - подчерпнуть идеи и механизмы работы с текстовыми данными.

 

Нет, ООП в этой теме не требуется.

 

Зря ты доры упомянул
Ща набежим с хотелками...
Стыковку по запятым (Панченко, как в пандоре) прикрутить сможешь? Ну или на крайняк перестановку слов аля "алгоритм Йоды"?