[Python] Скрипт чистки текста

Файл, залитый на Я.Диск, пустой. У меня не получилось с парсингом в какой формат делать экспорт, там нет текстового? что-то из настроек по умолчанию надо менять?
Можно еще файл залить?

 

Ага)

@Roman_77, хотелось бы увидеть результат обработки этого файла, вашим скриптом

 

Надеюсь дядя Вася перезальет. Жду.
Кстати, можете выкладывать свои файлы, я обработаю, выложу.

 

Сорри, почему-то не сохранился. Перезалил по той же ссылке:

Датаколом, конечно, жестко сниппеты парсятся. Парсятся и урлы, и хлебные крошки. Лучше всего парсить сеодором. Там базовая обработка текстов сниппетов есть из коробки. Но цельные предложения без мусора тут есть, думаю, скрипт ваш справиться должен.

 

Там только по умолчанию - эксель. С него скопировать в текстовый файл можно. В произвольном не сохраняет.

И еще вопрос - на своем сервере можно будет запустить или какой-то эмулятор питона на винду нужен?

 

А вот еще поинтереснее файлик. Реальная текстовка с сайта. Интересно также, как его обработает софт:

 

ссылка была на морду складчины... сорри, как то не так скопировалась ((

 

Обработал. Думаю, результат понравится. Использовал скрипт без изменений, такой отдал проверяющим. Шероховатости легко устранимы.

 

У Питона интерпретатор, который выполняет скрипт - по сути это обычная программа. Есть версии для Windows, Linux, MacOS. Я запускал скрипты на VDS под CentOS, в приватной ветке могу рассказать как, никаких сложностей.

 

Тоже неплохо. &hellip надо внести в словарь и он тоже будет удаляться. По скобкам есть отдельный мощный фильтр, исчезнут тоже.

 

Неплохо было бы предложения, без знаков окончания вовсе удалять, а не оставлять, ставя в конце точку. А то получаются обрывочные, типа такого:

Но в целом хорошо работает скрипт.

 

Я тоже за это. В тексте бывает много подзаголовков из 2х 3х слов.

 

В приватной ветке могу показать что изменить в скрипте, чтобы такие строки удалялись. В большинстве случаев предложения без точки качественные.

 

Короткие все удаляются, скрипт оставляет строки от длинной 46 символов.

 

@Roman_77, может имеет смысл немного закомментировать код, чтоб каждый мог править под себя то, что ему необходимо?
Или все вопросы будем через приватную ветку решать?

 

В коде достаточно комментариев, разберетесь. В приватной ветке разберем то, что непонятно.

 

@Roman_77 как дела с проверкой?

 

Трое человек нашлись несколько дней назад и похоже у всех мало свободного времени. Сегодня им напомню, хорошо бы хоть на выходных проверили.

 

а куда торопиться? скрипт то уже на руках ...

Автор, вот скажите, сколько времени нужно на проверку скрипта в реале ???
несколько часов ведь вполне хватит?
Я думаю - Да!

поправьте, если не права....

 

На проверку достаточно 40 минут