Июн 19
Text Duplicate Killer - программа, предназначенная для удаления из текста повторяющихся строк (не обязательно смежных). В результате создается новый текстовый файл, в котором каждая строка встречается только один раз.
Как найти дубликаты
- У Вас должен быть готов файл формата ASCII, содержащий текст, в котором Вы хотите удалить дублирующиеся строки. Если Вам нужно обработать текст из файлов DOC или RTF, то экспортируйте его в ASCII.
- После запуска утилиты tdk.exe выберите пункт меню Файл|Открыть исходный файл и укажите файл, в котором необходимо удалить дубликаты.
- Затем с помощью пункта меню Файл|Задать целевой файл укажите имя нового файла. В этот файл утилита поместит обработанный текст, который уже не будет содержать дубликатов. Вы можете автоматически создать новое имя. Для этого нажмите кнопку с “волшебной палочкой”.
- Для запуска процесса поиска и удаления дубликатов выберите пункт меню Операции|Убрать дубликаты!. В любой момент Вы можете прервать работу, нажав на кнопку Стоп, находящуюся в правом нижнем углу. При большом объеме текста обработка может занять некоторое время.
Также работает из командной строки, более подробную информацию можете найти в файле справки к программе.
Text Duplicate Killer (365 kb) Скачать
Если интересует удаление неявных дубликатов строк на php wellcome в блог SHAman'a.
Интересно почитать: 10 ошибок в Adwords
Теги: дубли, обработка текста
Записи по теме:
Июнь 23rd, 2008 at 08:12
Кто автор программы? По названия похоже на прогу Duplicate Killer, которая удаляет одинаковые файлы. Может от тех же разработчиков.
Июнь 23rd, 2008 at 08:28
Сайт программы http://gyraboo.com/
Июль 1st, 2008 at 12:56
Полезная софтина..
Июль 28th, 2008 at 19:38
Большое спасибо автору. Срочно нужна была эта прога.
Август 4th, 2008 at 02:28
Гуглил и нашел! Спасибо, то что искал!
Август 5th, 2008 at 13:19
Огромное спасибо. А то я уже отчаявшись начал Google AdWords качать
)
Август 9th, 2008 at 07:49
Спасибочки за информацию, буду юзать.
Август 11th, 2008 at 17:33
Спасибо за программку, очень помогает теперь.
Август 12th, 2008 at 15:07
Спасибо за обзор программки, теперь часто стал её использовать
Октябрь 21st, 2008 at 21:22
Под доры отличная тема. Правда написал её аналог на php, но десктопник явно круче.
Январь 19th, 2009 at 18:00
Ни знаю не работает ета программа, то ли я не так чё то делаю, но факт есть факт на выходе после обработки даёт абсолютно пустой файл TEST.txt.no_dupes_w_i_tos.txt
и всё хоть убейте, потратил не мерянео времени и сил и всё не как вожет кто скажет как он работает,
В ASCII как сохраняете файл DOC, RTF к примеру я через txEdit, может я не прав но прога пустышка на мой взгяд так как работает и дёт пустой файл.
Ноябрь 22nd, 2009 at 22:13
Прога отлично работает, не гони. Исходный файл в формате txt а не Doc или rtf. Автору СПАСИБО!
Февраль 1st, 2010 at 14:24
удинственный косяк-он все строки в конечном файле по алфавиту упорядочивает, что не всегда есть гуд=)
Сентябрь 9th, 2010 at 15:14
rainmaker, читай лучше, там все настраивается и упорядочивание отключать можно.
Октябрь 14th, 2010 at 22:18
Прога супер,мне очень понравилось,это то,что я искал !
Вы молодец !
Март 19th, 2011 at 18:51
Автор, благодарю за публикацию! Софтина в в определенный момент избавила от ручной работы. Счастья тебе и твоей семье!
Март 26th, 2011 at 18:58
Выходной файл всё время ноль байт. Исходный файл на несколько тысяч строк в вин-кодировке. Дубликатов процентов 10.
Август 30th, 2011 at 14:55
Спасибо, очень полезная вещь!