Сканфільтр - програма обробки і парсинга оголошень

Программа Скания-Антипосредник.

• Введите (добавьте вручную или импортируйте) в базу номера телефонов и другую информацию. Номера телефонов следует вносить только цифрами (не допускаются тире, пробелы и другие символы).
• Информацию в базу можно импортировать из формата *.xlsx (Microsoft Excel ©, версия MS Excel долждна быть не ниже XP (2002) также лицензия на MS Excel не должна называться Starter). Посмотреть пример файла для импорта можно в папке "\Документы\Скания\Примеры исходных файлов\". В этой папке примеры для импорта и примеры текстовых файлов для "прогонки и тестирования" через программу. Все данные в этих файлах вымышленные, любые совпадения следует считать случайными.
• После добавления или импорта посредников можно перейти непосредственно к работе по обработке текстовых объявлений на наличие посредников.

Читайте также:

Начальные понятия и термины >>

Узнать больше >>

Скания. Видеоурок "Обработка текстового файла" >>>

Скания. Видеоурок "Обработка текстового файла 2" >>>

Смотреть (скачать) видеоукроки, переход на форум>>

Обязательно сохраните у себя установочный дистрибутив, активационные данные на случай переустановки системы.

Не забывайте выполнять резервное копирование папки \Документы\Скания\

Для активации программы "Скания-Антипосредник":

1. Установите и запустите программу, на запрос имени и ключа активации нажмите Отмена (close, закройте окно регистрации).

2. Выберите в главном меню программы "Справка/Активация" или "Справка/Регистрация".

3. Программа выдаст специальный HID-ключ (ключ компьютера, т.к. программа имеет привязку к компьютеру).

3. Этот HID-ключ требуется прислать в службу технической поддержки по электронной почте или через страницу Контакты.

4. В ответ Вам отправят активационные имя и код (name и code).

5. После получения активационных данных запустить программу Скания.

6. Введите полученные имя и код активации.

Внимание! Обязательно сохраните где-нибудь отдельно от компьютера, например, на флешке или на другом компьютере: активационные данные и установочный дистрибутив на случай переустановки системы.

Внимание! Обязательно периодически выполнять резервное копирование базы данных и всех настроек программы. Для этого при закрытой программе нужно скопировать папку "Скания" на флешку, диск или другой носитель, в облако. Папка "Скания" находится в папке "Документы".

Примечание. В папке \Документы\Скания\ хранятся все настройки и база данных (SF.FDB).

Демоверсия, скачанная с сайта, активации не подлежит. Срок работы в демонстрационном режиме ~30 дней.

Полную версию можно скачать на форуме в разделе для покупателей.

Описание и пример работы программы Скания.

Скания и Сканфильтр - это программы для поиска и отсеивания/фильтрации телефонов посредников из текстовых файлов (обработка частных объявлений). Вы можете сами постепенно создавать базу посредников, хозяев, а можете импортировать уже существующую, если она у Вас есть. В программе не поставляется база посредников. Мы не торгуем информацией.

У программы Скания, в отличие от Сканфильтра, своя база данных. Поэтому Скания не нуждается в обязательном наличии базы данных программы Квартал ПРО. А вот программа Сканфильтр нуждается в обязательном наличии на компьютере или в локальной сети организации установленной программы Квартал ПРО с базой данных.

Программа Скания-Антипосредник позволяет хранить разную информацию о посредниках: телефон, адрес, www, e-mail, ICQ, примечание, имя контакта, дата попадания в базу, счётчик совпадений, дата последнего изменения (ДПИ).

Пример.

Допустим, что у Вас есть много информации по объектам недвижимости в виде текстовых файлов, полученных из газет путём сканирования или из интернета, или другим способом. В таких объявлениях очень много бесполезной информации и информации от посредников. Задача программы Скания получить из этих файлов нужную полезную информацию об объектах недвижимости с выявлением порседников. На основе своей базы (вернее Вашей базы) телефонов программа фильтрует/отсеивает нужную полезную информацию, при этом отмечая посредников специальной меткой.

Пример одного объявления:

3 из. кв., с телефоном, на Салтовке по ул.Блюхера, 4/9, "чешка", не углов., с кап. рем., балк. заст., обит пластиком, экв. 50 тыс. долл., срочно. 778-52-50, 8-069-755-41-00

Скания может определить - посредническое это объявление или нет, а потом и разбить объявление на части, выделив из него тип, район, цену, площади, этижность и т.д. Телефон в объявлении может быть написан с использованием пробелов, тире, скобок и т.д. Программе не важно. Важно, чтобы было что-то похожее на телефон. Точность нахождения телефона почти 100%.

После запуска Скании нажмите кнопку Открыть. Выберите текстовый файл (простой текст *.txt). Программа начнёт обработку данных: вверху появится полоса процесса.

Примечание: файлы редактора Microsoft Word НЕ являются текстовыми (*.txt). Если у Вас информация в программе MS Word или MS Excel, то нужно выполнить следующее. В программе MS Word или MS Excel выберите меню Файл-Сохранить как... В появившемся окне внизу есть выбор типа файла, выберите тип файла Обычный текст (*.txt) и сохраните. Сохранённый файл, как обычный текст (TXT), можно открывать в программе Скания. Файл должен быть в кодировке ANSI. Юникод, UTF-8 не поддерживается на данный момент.

Когда программа закончит обработку данных, она выведет результаты в нижнюю таблицу:

Это первый и главный этап. Скания обработала все строки текстового файла и пометила хозяев и посредников. Хозяев жирным шрифтом, а посредников - красным.

Что дальше можно делать с полученной информацией? Можно выделить всех посредников и удалить. Для этого щёлкните по таблице правой кнопкой мышки и выберите меню "Удалить всех с пометкой Посредник":

Неопределённые данные (без пометок вообще) программа удалять не будет.

Эту информацию из таблицы результатов можно экспортировать, распечатать или подвергнуть синтаксическому анализу, т.е. разбору/разделению на части. Что такое "Синтаксический анализ"? Это когда Скания выделяет из объявления: тип, район, цену, телефоны, количество комнат, балконы, площади и т.д., при этом, она структурирует это всё в табличном виде так, что в дальнейшем такую информацию можно распечатать, экспортировать, чтобы внести в Вашу базу по недвижимости или отправить парнёрам.

Добавление телефонов в базу посредников.

Выделите мышкой или клавиатурой те строки (записи) таблицы, телефоны которых требуется добавить в базу посредников.

На снимке видно, что пользователь выделил 6 записей.

Щёлкаем по выделенному и выбираем нужный пункт меню:

Появится окно добавления, где можно выбрать или внести новое наименование, а также адрес и примечение.

Если это телефон хозяина, то щёлкаем правой кнопочкой мышки по строке с этим объявлением и выбираем пункт меню "Хозяева -> Добавить телефон в базу хозяев".

Таким образом обе таблицы (хозяева и посредники) постепенно наполняются телефонами. Со временем в итоговой таблице у Вас будут в основном телефоны частных лиц (хозяев) и телефоны, которых ещё нет в базе.

Данные итоговой таблицы можно экспортировать в самые разнообразные форматы (почти 20 разных форматов). А также импортировать в итоговую таблицу из формата Microsoft Excel, распечатать или просто скопировать в буфер обмена и вставить в другое любое приложение.

Поиск и фильтрация по тексту объявления.

Как отобразить в итоговой таблице только продажу или только аренду (работа с фильтром таблицы)?

После сканирования нажмите справа/внизу главного окна Скании кнопку "Настройка". Появится окно "Построителя фильтра."

Используйте кнопку "Нажмите кнопку для добавления нового условия". Каждый раз нажимая эту кнопку можно добавлять новые условия к фильтру. Нажмите её один раз. Появится шаблон нового условия. Нажмите зелёную ссылку и из выпадающего списка выберите "Текст", нажмите коричневую ссылку и из выпадающего списка "Содержит", нажмите синюю ссылку и введите текст со знаками процентов:%продам%.

Обратите внимание на рисунок. По этому условию будут показаны только те объявления, в тексте которых есть слово: продам, при чём без знаков процента. Знак процента заменяет несколько символов, как звёздочка * при поиске файлов. Знак нижнего подчёркивания _ может заменить один любой символ.

Если Вам нужно добавить несколько условий, то нажмите ещё раз кнопку "Нажмите кнопку для добавления нового условия".

Обратите внимание на то, что вверху расположена красная ссылка И. Это означает, что если Вы добавили 2 или более условия, то они будут работать примерно так: показать все записи, где есть слово продам и слово аренда. Т.е. будут показаны объявления, в которых встречаются сразу оба слова: продам и аренда

Как отобрать объявления о продаже и аренде одновременно? Очень просто: щёлкните по  красной ссылке И и выберите условие ИЛИ. Теперь будут показаны все объявления, где встречается слово аренда или слово продажа, или оба сразу.

Смотрите также: работа со встроенным фильтром >>

Редактор телефонов можно вызвать, используя меню  "Справочники -> Телефоны посредников и хозяев".

Вверху телефоны посредников. Внизу телефоны хозяев.

В программе Скания реализовано шифрование номеров телефонов. Перед тем, как начать работу с программой "Скания", нужно сгенерировать ключ шифрования.

Как это сделать? Очень просто:

1. откройте редактор телефонов;

1. удалите ВСЁ из обеих таблиц;

1. выберите меню "База -> Ввести код шифрования телефонов посредников";

1. введите число от 1 до 65000 и нажмите ОК.
2. перезапустите программу.

Пока Вы не ввели код шифрования с программой работать нельзя.

Всегда выполняйте резервное копирование папки Скания. Папка Скания находится в папке Мои документы. Файл базы данных - это файл SF.FDB, который  находится в папке \Мои документы\Скания\Data\.

Если вы распознаёте газету с помощью программы Finereader, то в настройках сохранения нужно выбрать кодировку TXT - Windows 1251.

В программе Finereader выберите меню "Сервис/Опции", закладка "Сохранить", закладка TXT.

Программа для поиска посредников "Скания-Антипосредник" имеет некоторые параметры, которые определяют логику её работы при проверке и фильтрации телефонов по базе

Если параметр "Показывать все телефоны объявления"  ОТКЛючен, то в колонке "Тлф." будут показаны только чистые телефоны, т.е. те телефоны, которых нет в базе посредников.

Важно. Если этот параметр ОТКлючён. Если в объявлении только один номер телефона и он был найден в таблице посредников, то Скания такое объявление вообще не будет добавлять в таблицу результатов. Нет смысла добавлять объявления без телефонов.

* * * * * * * * * *

Удалять первые символы из номера телефона перед проверкой:. Параметр предначзначе для удаления кодов городов и операторов. Если вначале номера телефона окажется группа цифр, которая указана в строке, например, 062 или 8062, 056, то программа удалит из номера телефона это значение и проверит по базе номер телефона без кода города. Пример. В объявлении встретился номер 80627572588. Программа удалит 8062 и проверит по базе только номер 7572588.

Примечание.

Вот правильный пример: +38057,38057,8057,057

Вот НЕправильный пример: 8, +7, 057,+38057,8057,38057

Все номера должны быть в убывающем порядке, через запятую, без пробелов.

* * * * * * * * * *

Пропускать одинаковые объявления (дубликаты).... Для того, чтобы уменьшить количество строк в результирующей таблице можно включить этот переключатель. Принцип простой. Программа, допустим, добавила объявление в результирующую таблицу. Но точно такое объявление может опять встретиться в исходном файле.. Зачем его дублировать в результатах? Вот для этого и был придуман такой параметр.

* * * * * * * * * *

Определять посредников так же  и по e-mail.... Скания умеет также определять и электронные адреса в текстах объявлений. Для того, чтобы Скания фильтровала объявления по электронным адресам, пользователь должен в базе посредников заполнять также и столбец E-Mail. Включение этого параметра может значительно снизить скорость обработки объявлений. Если включен этот параметр, то программа использует одновременно два выражения для поиска телефонов и эл. адресов в текстах объявлений. Это выражение можно посмотреть/изменить в меню "Параметры->Образец поиска e-mail".

* * * * * * * * * *

Пропускать объявления, содержащие текст.... Скания может пропускать объявление, если в нём содежится хотябы одно ключевое слово из этого списка. Ключевые слова должны быть разделены между собой точкой с запятой ;. Например пользователя не интересуют объявления посуточной аренды. Введите в список: посуточная;сдам посуточно;посуточно и в результатах работы программы (в таблице) объявления, в которых содержатся слова посуточная или сдам посуточно, или посуточно, будут отсутствовать.

* * * * * * * * * *

Игнорировать телефоны, начинающиеся с.... Скания может пропускать номера телефонов, которые начинаются с указанных символов (не обязательно цифр). Для включения этой настройки отметьте соответсвующий флажок. Рядом с флажком нажмите кнопку "Настроить". Программа откроет окно. Одна строка - это одна настройка:

В каждую строку введите часть телефона, Используйте только цифры. например:

8095

095

09567

8044

8067

10

11

После редактирования этого параметра нажмите кнопку ОК

В процессе обработки телефонов каждого объявления будет происходить следующее: программа находит в объявлении телефон, удаляет из номера всё кроме цифр, левую часть телефона сравнивает с каждым значением этого параметра и, если было совпадение, то такой телефон в результаты не попадёт.

Удалить строки, где кол-во символов меньше, чем: Этот параметр введен в программу для ускорения обработки объявлений. Программа не будет обрабатывать объявления с количеством символов в объявлении меньше указанного в этом параметре. После сканирования газеты и распознавания часто в результирующих текстовых файлах появляется "мусор". Например, если в строке с объявлением содержится не боле 5 символов, то такое объявление будет пропущено. Это параметр направлен на удаление мусора из исходного файла. Когда пользователь сканирует и распозначет газету (печатное издание), то в исходном текстовом файле появляет много строк, где отсутствет текст объявления, есть какие-то обрывки фраз и слов, например, здесь выделены красным несколько строк с мусором:

Поэтому пользователь сам может указать какое минимальное количество символов в одной строке объявления должно быть, чтобы программа посчитала эту строку нормальным объявлением.

ВНИМАНИЕ! Этот параметр НЕ связан с количеством цифр в номере телефона и действует на весь текст объявления.

Обработка многострочных объявлений.