Обробка первинної інформації в Сканфільтре з подальшим імпортом оголошень в базу програми Квартал ПРО

парсинг

Програма-парсер оголошень Сканфільтр і програма по нерухомості Квартал ПРО підключені до однієї і тієї ж бази даних, тобто працюють в парі. Програма "Квартал ПРО" дозволяє зберігати і редагувати всю інформацію по нерухомості, посередникам, заявками та покупцям. А програма-парсер "Сканфільтр-Антипосередник" на основі всієї цієї інформації з бази Квартал ПРО, виконує обробку (парсинг) текстових оголошень з інтернету та скан-копій газет. Основне призначення Сканфільтра - первинна обробка текстових файлів з оголошеннями.

Програма по нерухомості Сканфільтр допоможе обробити оголошення по нерухомості з номерами телефонів та імпортувати їх в базу програми Квартал ПРО, попередньо видаливши дублі.

Як взаємодіють ці дві ріелторські програми: Квартал ПРО і Сканфільтр?

Перед першим запуском Сканфільтра слід запустити програму "Квартал ПРО", щоб вона прописала в системі шлях до своєї бази даних.

Вся інформація по посередниках і об"єктах нерухомості зберігається і редагується в програмі Квартал ПРО. А Сканфільтр вже, як додаткова програма, працює з інформацією із бази.

Програма-парсер Сканфільтр-Антипосередник - це програма для обробки і аналізу текстових (*.txt) файлів з оголошеннями, де 1 рядок = 1 оголошення. Неважливо, як ви отримали текстовий файл: чи то відсканували газету і потім розпізнали в текст, то чи отримали файл ел. поштою, то чи завантажили оголошення програмою Береста з таких сайтів, як "Авіто", "Авізо", "OLX", "ДОМ РІА" і т.д.

ВАЖЛИВО! Попередньо потрібно правильно налаштувати довідники типів, операцій, районів і вулиць в програмі Квартал ПРО, тобто, як мінімум, - додати базу Квартал ПРО вулиці і райони.

Крок 1. У програмі Сканфільтр користувач натискає кнопку Відкрити, а потім вибирає текстовий файл з оголошеннями, у вікні вибирає файл і натискає кнопку "Відкрити" справа внизу.

Крок 2. Розпочнеться обробка телефонів оголошень. Після обробки буде показаний результат в таблиці. У стовпці "Знайдено в базі" відображені телефони оголошень, які Сканфільтр знайшов в базі Квартал ПРО.

Кожен знайдений в оголошенні телефон Сканфільтр буде шукати в базі даних програми Квартал ПРО. Якщо є збіги, то Сканфільтр покаже їх в таблиці результатів. Таким чином, користувач буде бачити в стовпці "Знайдено в базі" які саме телефони збіглися із оголошення з базою даних Квартал ПРО. Телефони таких оголошень будуть виділені червоним кольором в стовпці "Знайдено в базі". Скафнільтр може виконувати пошук відповідників або тільки по посередниках бази Квартал ПРО, або по всіх телефонах об"єктів нерухомості: квартири, будинки, новобудови, комерційна, а також і посередники, і покупці. Архівні об"єкти, клієнти і посередники не обробляються.

Редагування таблиць.

Можна вибрати будь-яку клітинку таблиці і натиснути там клавішу F2 або Enter. Ви перейдете в режим редагування. Для збереження даних потрібно натиснути клавішу Enter на клавіатурі або перейти на сусідній запис/рядок (вгору або вниз). Тобто дані в таблиці результатів можна редагувати прямо в таблиці перед відправкою у вікно попереднього перегляду (перед імпортом в базу програми по нерухомості Квартал ПРО).

Крок 3 (необов"язковий). Тепер можна виконати невеликий евристичний аналіз результатів для пошуку нових невизначених посередників. Для цього натисніть кнопку Евристика на панелі кнопок. Програма виконає аналіз таблиці результатів і заповнить два додаткових поля: "Збіги" і "Макс. збігів":

Сканфільтр відсортує колонку "Max збігів" по спадаючій і прокрутить таблицю на перший запис, щоб користувач побачив оголошення з максимальною кількістю збігів одних і тих же телефонів.

Вгорі виявляться ті оголошення, телефони яких зустрічаються найбільш часто в поточному текстовому файлі. Як видно на зображенні вище, телефони перших оголошень зустрічаються порівняно часто, тобто один і той же номер телефону зустрічається в 52-х різних оголошеннях.

Зверніть увагу на знімок вікна, який розташований вище. Можна сміливо припустити, що телефон 0673813638 є посередницьким, тому що по цьому телефону в таблиці результатів дуже багато оголошень по різних районах і по різних об`єктах нерухомості, хоча цього номера телефону в базі Квартал ПРО ще НЕМА. Таким способом можна виявляти нових, ще невизначених посередників.

Крок 4. На цьому кроці користувач може видалити деякі рядки (оголошення) з результатів і залишити тільки найбільш цікаві варіанти для того, щоб на наступному кроці імпортувати їх в базу даних програми Квартал ПРО. Видаляючи непотрібні варіанти, користувач може скоротити час наступного імпорту оголошень.

Можна виділити клавіатурою і/або мишкою кілька записів і клацнути по виділеному правою кнопкою мишки або натиснути клавіші Ctrl+Del на клавіатурі. Потім видалити виділені рядки (оголошення) або вибрати інший спосіб видалення. Наприклад, щоб видалити оголошення із непустим полем "знайдено в базі", не потрібно їх виділяти, досить виконати цю команду.

Крок 5. Тепер можна виконати парсинг оголошень з того, що залишилося і підготувати дані для імпорту в базу даних програми Квартал ПРО. Натисніть кнопку "В базу Квартал" на панелі кнопок:

Програма Сканфільтр запропонує вибрати профіль обробки оголошень, джерело інформації, свій логін в програмі Квартал ПРО:

Виберіть профіль, інші параметри і натисніть кнопку Далі. Завдяки різними профілями можна використовувати різні настройки парсинга оголошень.

Примітка.

Джерело інформації та Список користувачів знаходяться в програмі Квартал ПРО (в програмі Квартал ПРО відкрийте меню "Довідники->Загальні довідники ..." і зайдіть на вкладку "Дж. інф." (джерело інформації), там можна редагувати джерела інформації, додавати нові або видаляти непотрібні, а працювати зі списком користувачів можна в меню "Довідники->Користувачі та права...".

Після вибору натисніть "Далі" і чекайте поки програма Сканфільтр виконає синтаксичний аналіз (парсинг) оголошень. Синтаксичний аналіз оголошень (парсинг) - це поділ оголошень на складові: тип нерухомості, район, ціна, вулиця, кількість поверхів, площі, телефони, примітка, номер будинку і т.д.

Після того, як Сканфільтр виконає аналіз оголошень (залежить від потужності комп"ютера і кількості оголошень), програма покаже " Вікно попереднього перегляду ".

У більшості випадків програма Сканфільтр може правильно визначити всі параметри оголошень. Але іноді потрібна додаткова настройка та плюс редагування даних у вікні попереднього перегляду перед імпортом даних в базу програми Квартал ПРО.

ВАЖЛИВО! Попередньо потрібно правильно налаштувати довідники: типів, операцій, районів, вулиць і т.д. в програмі Квартал ПРО. Додайте потрібні райони. Як імпортувати вулиці, читайте тут >>

Примітка.

Програма Сканфільтр вміє визначати назву району за назвою вулиці, подробиці читайте тут >>

 

Крок 6. Перевірка і зміна парметрів: тип, операція і район перед імпортом оголошень в базу Квартал ПРО.

Увага!Це важливо.

У деяких оголошень програма Сканфільтр не може правильно визначити ТИП об`"єкта нерухомості (квартира це чи будинок або кімната). Слід виділити всі такі записи і вибрати команду "Змінити тип", щоб вибрати підтип, наприклад, "Ізольована" або "Квартира". Це слід зробити для того, щоб вибрати цілком певний тип квартири: ізольована, індівідуалка, гостинка, комуналка, хрущовка і т.д., але ніяк не назва Супертипа (узагальненої назви - "Квартири"). Користувач може в одних записів вибрати "Ізольована", а у інших "Гостинка", щоб в базу програми Квартал ПРО була імпортована правильно сформована інформація.

Клацніть по виділеним записам правою кнопкою мишки і виберіть потрібний пункт меню.

У вікні виберіть правильний тип і натисніть Далі:

У записів, у яких правліьно зазначений тип об`єкта нерухомості, можна тип не міняти.

 

Примітка.

Сканфільтр найчастіше обирає тип об`єкта нерухомості (квартира, гостинка або будинок) коректно при правильних налаштуваннях типів в базі програми Квартал ПРО. Але якщо Сканфільтр вибирає тип некоректно, то користувач повинен в таблиці попереднього перегляду сам змінювати типи на правильні, наприклад, на "Ізольована" або "Гостинка", або "Дача". І назва супертіпа (нульового рівня) не повинна бути обраною. А краще - це в програмі Квартал ПРО відредагувати довідник типів так, щоб Сканфільтр правильно визначав типи, написані в оголошеннях по різному.

До того ж в Квартал ПРО є довідник уточнюючих типів , який допоможе правильно визначати типи в програмі Сканфільтр.

Для більш правильного вибору типу можна відобразити стовпець "Повний тип":

Крок 7. Обробка даних у вікні попереднього перегляду. У вікні попереднього перегляду можна виконати додатковий аналіз оголошень візуально, можна редагувати оголошення прямо в таблиці, тобто редактірова ть дані в осередках. Наприклад, вибір вулиці або матеріалу стін, зміна ціни, тексту і т.д. А також занесення частини даних з тексту оголошення в стовпець "Примітка", "Примітка-2" або в стовпець "Орієнтир".

При обробці оголошень, Сканфільтр намагається знайти в базі Квартал ПРО схожі об`єкти нерухомості, щоб попередити про наявність дублів.

Як Сканфільтр визначає наявність дублікатів в базі, читайте нижче, в розділі "Є в базі".

 

Крок 8. Після закінчення редагування, коли закінчили всі підготовчі роботи, виберіть меню "Дані-> Надіслати в базу відмічені записи".

Програма Сканфільтр почне імпорт підготовлених оголошень. Будуть імпортовані тільки ті оголошення, у яких включена галочка в полі "В базу".

Після імпорту програма Сканфільтр зніме галочки в цьому полі у тих записів, які успішно імпортовані в базу Квартал ПРО. Якщо якийсь запис не було імпортовано, то галочка після імпорту залишиться. Слід перевірити, чи заповнені обов"язкові поля: Операція, Тип, Район, Дж. інф., телефони. Якщо ні, то заповнити і повторити імпорт. Оскільки у інших успішно імпортованих записів прапорці в полі "У базу" вже будуть зняті, то повторно вони імпортовані не будуть. Сканфільтр спробує імпортувати тільки ті оголошення, у яких все ще проставлені прапорці (галочки) в стовпці "У базу".

Примітка.У демоверсії можна імпортувати тільки 5 записів за один сеанс роботи програми. Тобто потім доведеться Сканфільтр перезапустити і повторити імпорт знову.

 

Редагування таблиці

Для редагування таблиці у вікні попереднього перегляду можна в будь-якому осередку натиснути F2 і відредагувати дані або клацнути лівою кнопкою мишки по потрібному осередку. Наприклад, якщо в стовпці "Район" натиснути F2, то з`явиться випадаючий список районів, в якому можна відразу почати набирати текст для швидкого пошуку і вибрати потрібний район, а після редагування слід натиснути Enter або перейти на сусідню строку таблиці.

На знімку нижче видно, що таблиця в режимі редагування і користувач набрав на клавіатурі букви "но" для пошуку вулиці:

За замовчуванням для редагування таблиці мало одного клацання мишкою по осередку. Просто відбудеться вибір осередку, а не редагування. Тобто буде потрібно виконати ще один клік. Над таблицею є перемикач "Швидке редагування таблиці". Якщо його включити, то при виборі осередка буде автоматично вмикатися режим редагування за допомогою одного кліка - швидке редагування.

ВАЖЛИВО! Щоб програма Сканфільтр могла визначати оголошення посередників, в базі Квартал ПРО повинні міститися телефони посередників. Телефони посередників можна імпортувати в базу Квартал ПРО. Як це зробити, можна подивитися відеоурок, ось посилання на форум >> або прочитати тут >> і тут >>

ВАЖЛИВО! Щоб програма Сканфільтр могла найбільш коректно розпізнавати типи нерухомості, вулиці і райони, в програмі Квартал ПРО повинні бути заповнені довідники вулиць, районів і типів, які зустрічаються в оголошеннях, а також довідник операцій (продам, куплю і т.д.). А для довідника "Типи" можна ще й уточнюючій довідник заповнити. Всі довідники знаходиться в програмі Квартал ПРО, меню "Довідники/Загальні довідники...".

 

У Сканфільтрі, у вікні попереднього перегляду є кілька стовбців для визначення площ: "Площа загальна", "Площа житлова", "Площа кухні", "Площа земельної ділянки". Поле "Площа земельної ділянки" актуально тільки для модулів: "Комерційна нерухомість" та "Будинки й ділянки".

 

Поле "Номер будинку"

Параметр "Номер будинку" розпізнавати в текстах оголошень непросто. Можливо, що це поле не буде заповнюватися, а якщо і буде, то рідше, ніж ви цього очікуєте. Зрештою, в деяких оголошеннях взагалі немає номера будинку. Параметр "Номер будинку" не буде розпізнано у тих оголошень, де не розпізнана назва вулиці.

 

Поле "Є в базі"

У вікні попереднього перегляду існує поле (стовпець) "Є в базі", що визначає наявність того чи іншого оголошення в базі програми Квартал ПРО. Якщо в цьому полі зазначено число (цифра), то це означає, що в базі програми Квартал ПРО вже є така кількість схожих об"єктів в залежності від налаштувань парсинга. Наявність об`єкта нерухомості визначається різним параметрами >> . Такий запис в таблиці попереднього перегляду буде вказана червоним шрифтом:

Як вибрати параметри, за якими визначати чи існує об`єкт в базі програми Квартал ПРО, читайте тут >>

 

Поле "Посередник"

У головному вікні Сканфільтра на етапі первинної перевірки телефонів присутнє поле (стовпець) "Посередник".

У головному вікні, де визначаються посередники по телефону, виводиться тип та ім`я посередника, якщо програма визначила, що телефон оголошення належить посереднику. Програма показує першого знайденого посередника, хоча в базі посередників може бути 2 або більше однакових по найменуванню та типу посередників і з однаковими номерами телефонів.

Але у вікні попереднього перегляду, де оголошення розділені на типи, райони, вулиці, програма Сканфільтр визначає посередника вже по імені, а не по номеру телефону, тому що ім`я вже визначено при первинній обробці початкового текстового файлу. І якщо в Квартал ПРО буде 2 і більше однакових посередника, то програма візьме першого - ліпшого. Це пов`язано з продуктивністю, особливо на слабких ПК. Тому старайтесь тримати базу посередників в ідеальному стані, ну хоча б щоб не було двох однакових найменувань.

 

ВАЖЛИВО! Поля: Тип, Операція, Район, Телефони, Джерело інформації - є обов"язковими для заповнення.

ВАЖЛИВО! Чим більше вулиць і районів в базі програми Квартал ПРО, тим повільніше буде відбуватися сінтіксіческій аналіз (парсинг) оголошень по нерухомості.

ВАЖЛИВО! Початковий текстовий файл повинен бути в такому форматі: 1 оголошення - це 1 рядок файлу.

Список параметрів оголошення, які програма Сканфільтр може знаходити в тексті оголошення:

Дивіться також:

Імпорт вулиць в базу Кварталу >>

Сканфільтр не розпізнає тип об"єкта нерухомості, як налаштувати розпізнавання типу >>

Управління таблицями і стовпцями - як приховати / показати колонки таблиці >>

Діаграма взаємодії програм >>

Інформація про програму Квартал ПРО >>

Сканфільтр-Антипосередник >>

Ще одна стаття по імпортування даних в базу Квартал ПРО >>

Завантаження програмного забезпечення по недвіжісмості для ріелтера беплатно FREE >>

 

Завантажити відеоурок >>

Квартал ПРО + Сканфільтр. Відеоурок 1. Обробка оголошень і імпорт в базу Квартал ПРО >>

Подивитися відео уроки на форумі >>>