Сканфільтр - програма обробки і парсинга оголошень

По умолчанию обе программы (Сканфильтр и Скания) в тексте объявления ищут группы цифр, похижие на телефон, т.е. определённое количество цифр, разделённых между собой, например, такими символами, как пробел, тире, скобки и т.д.
Для задания или изменения образца поиска телефонов в тексте объявлений откройте папку "\Документы\Scanfilter4\", откройте текстовый файл RegExp.txt (или reg2.txt для Скании), первая строка файла - это и будет рабочий образец поиска телефонов (регулярное выражение). Остальные - для примера.

Заказывайте, какие условия поиска нужны. Постараемся сделать.

Сканфильтр - это программа поиска телефонов посредников, обработки телефонов с последующим импортом в программу Квартал ПРО

Примечание!

Если вы сканируете печатную газету на сканере с последующим распознаванием в текст, то обязательно прочтите эту тему на форуме >>

Стоп-список телефонов

В программе Сканфильтр есть игнор-лист (стоп-список). Это файл SkipPhones.txt "\Документы\Scanfilter4\". Он тоже состоит из регулярных выражений, но в этом файле все строки рабочие.

Для чего нужен стоп-список? Бывает так, что цена объекта оцень похожа на номер телефона или в тексте объявления есть WWW-ссылка на объявление, а в ссылке есть длинный ID, который тоже состоит из цифр и тоже похож на номер телефона. Получается, что такие группы цифр нужно временно удалить, проигнорировать перед началом поиска телефонов в тексте объявления.

Например, ссылка вида: https://site-name.ua/id/06855191254. Сканфильтр группу цифр "06855191254" примет за номер телефона, а чтобы этого не произошло, в стоп-список можно добавить выражение "id\/\d+" без кавычек.

Программа обработки обхявлений "Сканфильтр - Антипосредник" имеет некоторые параметры, которые определяют логику её работы.

1. Игнорировать группу цифр, если в конце этой группы [0000]: Сейчас на недвижимость цены такие, что не разобрать, является ли группа цифр "125000" номером телефона либо это цена. Если ввести три нуля то Сканфильтр будет проверять каждый телефон объявления на присутствие в нём этих трёх нулей и, если они встречаются в конце номера телефона, то такой набор цифр не будет расценен, как номер телефона и не будет проверен по базе Квартал ПРО. Чтобы отключить этот параметр, просто очистите это поле - пустой параметр не влияет на обработку телефонов.
2. Удалять код города перед проверкой телефона. Если в начале номера телефона окажется группа цифр, которая указана в строке, например, 38062 или 062, то программа Сканфильтр удалит из номера код города и только потом проверит по базе номер телефона, т.е. без кода города.
   Пример. В объявлении встретился номер 38-062-757-25-88. Программа удалит 38062 и проверит по базе только номер 7572588.
3. Удалять телефоны из текста. Из текста объяления будут удалены все номера телефонов. Это сделано для того, что в Квартал ПРО был импортирован текст объявления без номеров телефонов.
4. Форматировать телефон перед проверкой. Программа Сканфильтр находит в тексте объявления телефон, например, 951-694-01-30. Но в базе программы Квартал ПРО такой же номер телефона хранится с восьмёркой, т.е. 8-951-694-01-30. Если этот параметр будет отключен, то Сканфильтр не обнаружит соврадений. Поэтому вначале требуется добавить восьмёрку вначало телефона, и только потом искать этот номер в базе программы Квартал ПРО.

   Откройте меню "Сервис/Параметры форматирования телефонов...". В появившемся окне нужно добавить такую строку, если её нет:
   
   Это означает, что если в номере телефона 10 цифр (левая колонка), то Сканфильтр добавит в начало номера цифру 8 (правая колонка). Можно указывать несколько разных условий, опираясь на количество цифр в номере телефона.

5. Пропускать объявления, где кол-во символов меньше, чем [10]. Если весь текст объявления содержит менее указанного кол-ва символов, то такое объявление обрабатываться не будет и в результаты тоже не попадёт.
6. Проверять телефоны. По всей базе или толькор по базе посредников. Если выбран параметр "По всей базе", то в поиске участвуют все модули программы: Квартиры, Аренда, Новостройки, Посредники, Коммерческая, Покупателя (клиенты). Иначе - только по базе посредников.

Примечание.

Вот правильный пример: +38057,38057,8057,057

Вот НЕправильный пример: 8, +7, 057,+38057,8057,38057

Все номера должны быть в убывающем порядке и без пробелов, и через запятую.

Обработка (парсинг) объявлений + импорт в базу Квартал ПРО

Ссылка на статью и видео урок: Квартал + Сканфильтр обработка и парсинг объявлений по недвижимости >>

В программу встроен небольшой эвристический анализатор для выявления новых посредников.

После нажатия на кнопку Старт и полной обработки всех объявлений, нажмите кнопку "Эвристика" или выберите меню "Результаты/Эвристический анализ совпадений...". Сканфильтр проверит все объявления в таблице результатов. Выявит количество совпадений одинаковых телефонов в разных объявлениях. И отсортирует таблицу по полю "Макс. совпадений"

Пример.

В текстовом файле 5000 объявлений. В сотне объявлений содержится один и тото же телефон, например, 777-07-77. И все объявления с этим номер Сканфильтр не обозначил, как посреднические, т.к. в базе Квартал ПРО такого номера нет. Но логика наводит на мысль, что 100 разных объявлений не могут быть на один и тот же номер телефона, т.е. скорее всего, что этот номер принадлежит посреднику.

Т.е. этого телефона нет в вашей базе посредников в Квартал ПРО. Поэтому программа не покажет, что все эти 100 объявлений принадлежат тому или иному посреднику и визуально в таблице это может быть незаметно.

После эвристического анализа результирующа таблица автоматически  отсортирована по полю "Max совпадений", т.е. вверху указаны вероятные посредники.

И сразу будет видно, что телефон 777-07-77 встречается 100 раз, к примеру. Может ли собственних дать такое количество объявлений по продаже квартир и домов? Не значит ли это, что телефон 777-07-77 является посредническим?