Программа Сканфильтр антипосредник умеет разбирать объявления "на запчасти", т.е выделять из объявления некую информацию, например, тип объекта недвижимости, цену, телефоны, площадь, этажность, район, количество комнат - это называется синтаксический анализ текста или по простому - парсинг.
Поиск такой информации в тексте объявления осуществляется специальными функциями. Такие функции поддаются небольшой корректировке. Для чего корректировка. В одном городе стиль написания объявлений такой-то, а в другом свой. Т.е. как бы можно подстроить Сканфильтр.
Т.е. берём объявления в текстовом виде:
Цитувати101 2-комн. кв., Алексеевка, ул. Ахсарова, 8/9, "полька", тел., 49/28/7, газ, балкон заст., жилое сост., код под., 36000 у. е. Тел. 775-21-20, 067 579-51-15.
и получаем (программа выполняет синтаксический
анализ текстов объявлений):
(https://kvartal.pro/forum/proxy.php?request=http%3A%2F%2Fwww.makeit-team.com%2Fimages%2Fstories%2Fsf%2Fsf_ad1_min.png&hash=7df898b702f7a0af5a579a9f4f2120b0c4d1b772)
Подробнее здесь>>> (http://www.makeit-team.com/othermnudocs/10-kmanualscanfilter/126-m-scanfilter-kvx.html)
Если у кого есть вопросы по этой теме - задавайте здесь, не стесняйтесь.
поисковые тэги:
анализ частных объявленийфильтр телефоновдетектор телефоновфильтр посредниковобработка объявленийсканфильтр ключ крякпрограмма скачивания объявленияСканфильтр. Скачивание и импорт объявлений в базу Квартал ПРО
Очень бы хотелось чтобы программу можно было бы уметь "настраивать на структуру" импортного файла.
формат файла который они представляют для загрузки *.ads? при рассмотрении которого видим что это текстовый файл со своеобразной структтурой.
Как бы предусмотреть этот момент??
Этот момент уже учтён ;)
Ведётся доработка Сканфильтра на работу с профилями.
Отправьте пример такого файла в техподдержку.
link=topic=18.msg26#msg26 date=1249675796]
Отправьте пример такого файла в техподдержку.
[/quote]
...
Цитата: Akella
Здравствуйте Сергей, перед отправкой объявлений из скаанфильтра мы видим текст объявления,
когда я открываю квартал, поиск вижу объявления в таком виде
1. Включите для отображения колонку "Текст объявления". Как управлять таблицами - есть в документации к программе.
2. Какое отношение имеет данные вопрос по Кварталу к теме про Сканфильтр?
Сергей в программе сканфильтр перед отправкой объявлений в базу появляется список, почему в объявлении стоит дом, а программа определяет тип квартира?
В объявлении написано п. Мелентьевка, программа определяет автозавод, в объявлении п.Тургояк определяет автозавод. И ещё хотелось бы чтобы программа по названию улицы определяла район.
Цитуватипочему в объявлении стоит дом, а программа определяет тип квартира?
Иногда немного сложнее определить тип объекта недвижимости.
Советую при выборе профиля выбирать не Универсальный, а конкретный профиль Квартира или Дома.
ЦитуватиИ ещё хотелось бы чтобы программа по названию улицы определяла район.
В программе нет связи между улицами и районами.
ЦитуватиВ объявлении написано п. Мелентьевка, программа определяет автозавод, в объявлении п.Тургояк определяет автозавод.
нужно рассматривать конкретные случаи, тем более Вы не хотите приводить полных текстов объявлений, а что там написано ещё, сами понимаете, отгадать сложно.
выбрала профиль квартира получила (https://kvartal.pro/forum/proxy.php?request=http%3A%2F%2Fs010.radikal.ru%2Fi313%2F1109%2Fa8%2F87b3c7bac328t.jpg&hash=87dc73f3a4f0374019fc522b3c9c0b805cc68479) (http://radikal.ru/F/s010.radikal.ru/i313/1109/a8/87b3c7bac328.jpg.html) 3 графа снизу видно дом, а тип стоит квартира. И ещё если я выбиру тип квартира и все квартиры пойдут в базу квартал, а дома как останутся не в базе?
Цитувати3 графа снизу видно дом, а тип стоит квартира
Ну правильно, Вы же выбрали профиль Квартира?
Если у Вас в текстовых файлах все типы объектов недвижимости вперемешку, то конечно же выбирайте профиль Универсальный. Я думаю, что тут и так понятно для чего эти профили были созданы, разве нет?
А потом уже, где Сканфильтр неправильно определил тип или район, то выставляйте непосредственно в таблице предварительного просмотра, а потом только импортируйте в базу.
почему тогда если я выбираю тип универсальный, некоторые дома определяются как квартира. Потом даже если я вручную исправлю, в базе они не показываются по улицам.
Я уже давал ответ
Сергей попробуйте сделать так, чтоб объявления которые уже есть в базе можно было бы как то пометить.
Сначала нужно с улицами разобраться.
Вопрос в том, зачем Вы обрабатываете Скафильтром и импортируете в Квартал одни и те же объявления?
Выходит новая газета, некоторые объявления повторяются, люди дают объявы пока не продадут квартиру, поэтому бывает что повторяется
Ясно. Будем думать.
Обращайте внимание на этот пункт: https://kvartal.pro/kvxandscanfilter.html#supertype
Многие читают документацию "по диагонали", а потом говорят, что у них ничего не получается и в Квартале не те данные, которые они импортировали через Сканфильтр, или не все данные, или не там отображаются. В общем обращайте внимание, какой тип выбираем программа Сканфильтр в окне предварительного просмотра.
nataly-oz, для Вас предлагаю небольшую инструкцию, чтобы Сканфильтр более точно и правильно определял типы объектов недвижимости при синтаксическом анализе.
Исходя из текстов Ваших объявлений:
Цитувати
1-комн. `брежн.` по ул. Уральской, 1 (4/5, балкон, жел. дверь, космет. ремонт) -- 850 т. р. Варианты обмена. Тел.: ...
1-комн. `сталин.` (точнее полуторку) по ул. Калинина, 33 (кирп. д., без балкона, жел. дверь, душ. кабина, кухня 8 кв. м, квартира уютненькая, в тихом дворе, центр автозавода)....
Можно выполнить следующее:
1. Откройте общие справочники в программе Квартал (меню "Справочники/Общие справочники...").
2. Зайдите на вкладку Типы и создайте 2 типа "хрущевка", и "сталинка"
у супертипа КВАРТИРЫ, если они ещё не созданы:
(https://kvartal.pro/forum/proxy.php?request=http%3A%2F%2Fi27.fastpic.ru%2Fbig%2F2011%2F0909%2Fd2%2F38c12717ceb33de30a3eb4f42461b7d2.png&hash=a903ee3a2a05e5a3dda461e83dec3d1cbfb5e808)
3. Теперь выберите тип "хрущевка" и перейдите вниз, в таблицу уточняющих типов.
4. Создайте здесь несколько записей типа "
1-комн. `брежн." без кавычек:
(https://kvartal.pro/forum/proxy.php?request=http%3A%2F%2Fi30.fastpic.ru%2Fbig%2F2011%2F0909%2Fea%2F3a8c5471716f199b95b0a5bca75870ea.png&hash=e44e54ec32cc386ad9d9ca2afbef955aaaf093e5)
5. Теперь тоже самое и для сталинок:
(https://kvartal.pro/forum/proxy.php?request=http%3A%2F%2Fi29.fastpic.ru%2Fbig%2F2011%2F0909%2F10%2Fb48235f9d293c892fa0ef1c34f7c0610.png&hash=86a349193b74fe75d5334df12b2af7151f961a59)
6. Теперь скачайте zip-архив из этого сообщения (я прикрепил файл
uni_profile.zip к сообщению), распакуйте этот архив, там будет 1 файл - "
Универсальный.regs". Это профиль "
Универсальный". Скопируйте файл "
Универсальный.regs" с заменой в папку
\Мои документы\Сканфильтр\ProfilesParsing\7. Запустите Сканфильтр и попробуйте обработать текстовый файл, удалите лишнее, а потом выполните синтаксический анализ. У меня вот что получается:
(https://kvartal.pro/forum/proxy.php?request=http%3A%2F%2Fi30.fastpic.ru%2Fbig%2F2011%2F0909%2F14%2F324d41ea5a72ba3ace2bd77c69d20f14.png&hash=fc0958f7d94606684438920f4d1c9ad4017a41f9)
Как видите, Сканфильтр правильно определил типы.
Теперь по поводу района "автозавод".
Вы писали, что у Вас Сканфильтр неправильно определяет районы, и указывает автозавод, вместо реального района.
Я бы на Вашем месте для начала, потратив совсем немного времени, просто проанализировал тексты таких объявлений, что я и сделал.
В них часто встречается слово "автозавод" или "автозаводе".
Также в Вашем справочнике районов присутствует район под названием "Автозавод".
Я надеюсь, что Вы догадались теперь в чем дело ;)
Совет. Переименуйте район в справочнике, или перед началом обработки с помощью текстового редактора, например, в Блокноте, сделайте замену слова "автозаводе" на другое, например, на "авто-заводе" или вообще на пустоту, чтобы Блокнот удалил это слово:
(https://kvartal.pro/forum/proxy.php?request=http%3A%2F%2Fi30.fastpic.ru%2Fbig%2F2011%2F0909%2F4a%2F8dec8680ee37913e16f34f5cdfd2e24a.png&hash=098943adaacd8b31e285ed1c4d31e3490c2b21d4)
Но есть вероятность того, что Сканфильтр теперь перестанет корректно определять район у тех объявлений, которые реально относятся к району "Автозавод". Тут уж ничего не поделаешь. Кто ж виноват, что люди именно так подают объявления.
Сергей спасибо за проделанную работу, у меня была мысль, что надо несколько вариантов написать в районах подтипы, теперь поэкспериментирую на неделе.
Здавствуйте Сергей, продолжим ликбез? Продолжаю разбираться, районы написала по несколько вариантов, потом наверно и улицы все пропишу. Сейчас после обработки почему то иногда дома попадают в квартиры, посёлки не видит, в район их не пишет, а посёлок Строителей пишет как улицу.
И ещё Вы смотрели по квартирам, которые уже есть в базе, что нибудь придумали чтоб они не повторялись?
Цитувати Сейчас после обработки почему то иногда дома попадают в квартиры,
Я уже говорил на эту тему. Читайте внимательнее.
Цитувати посёлок Строителей пишет как улицу
Неужели трудно догадаться, что программа встретила слово Строителей при определении улицы и нашла такую же улицу у Вас в справочнике улиц?
Или Вы думаете, что у программы при определении улиц и районов такой же мощный интеллект, как и у человека. Программа просто сравнивает слова. И программа ещё должна догадаться, что слово "Строителей" - это ни что иное, как название района в одном объявлении, а в другом объявлении - это название улицы. :)
ЦитуватиИ ещё Вы смотрели по квартирам, которые уже есть в базе, что нибудь придумали чтоб они не повторялись?
Ещё не готово.
Но учтите, что если это будет реализовано, то данный функционал может снизить скорость работы программ Сканфильтр и Квартал. :(
Пришлите мне на почту тексты объявлений. Если Вы делали какие-то изменения в базе в справочниках улиц и районов, то и базу заархивируйте и пришлите тоже.
Сергей Вы разбирались, почему не отображаются посёлки (п. Мелентьевка), и при импорте район не отображается с квартале, хотя перед отправкой в сканфильтре район указывается.
Я ж говорил, что в Сканфильтре типы, районы и улицы устанавливаются на совпадение по наименованию. Ну и если мне не изменяет память, то Вы не ответили на последние мои несколько писем, я и подумал, что проблема решена.
Если нет, то пришлите мне снова Вашу базу и текстовый файл для импорта.
проблема всё та же совпадает там только п. Строителей с улицей Автомобилестроительной, а не видит программа все посёлки файлы пришлю завтра
Вы просто отвечаете на письма и сообщения раз в неделю. Пока дождёшься ответа, уже всё забудешь, что там у Вас за проблема.
Я уже не знаю, в который раз я Вам это пишу, но напишу ещё раз. :(
Сканфильтр ищет в объявлениях только те районы, которые есть в справочнике районов Квартала.
Что здесь непонятного?
Пример.
Смотрим объявление:
Цитувати9517910074 * Дом в п. Первомайский (45 кв. м, 2 комн. + кухня, вода -- слив в доме, газ по огороду, 12 сот., нов. баня) -- 1600 т. р. Тел. 8-951.....
Покажите мне в своём справочнике районов "
Первомайский" без кавычек.
Я нашёл только "
пос. Первомайский", вот программа и будет искать "
пос. Первомайский" в тексте объявления.
Неужели в справочнике районов обязательно писать районы с приставкой
пос.?
Сделайте район ПРИГОРОД и в него перенесите все посёлки, удалите там "пос.".
Зачем приписывать слово "пос."? Ведь при вводе домов с клавиатуры легче начать набирать первые буквы района, чтобы программа спозиционировала Вас на нужный район, нежели мышкой тыркать несколько раз для поиска района. Ну это уже Ваше дело, конечно же :) .
Что мешает сделать так?(https://kvartal.pro/forum/proxy.php?request=http%3A%2F%2Fi30.fastpic.ru%2Fbig%2F2011%2F1025%2F3f%2Fbc044b272bd00339d178605d35e4093f.png&hash=a9dc640a6d9f8e746b134ee111afd0b3eed7e475)
По поводу района Автозавод я тоже уже отвечал раза два.
В новых версиях Сканфильтра слово "пос." буду отсекать перед проверкой района.
Теперь смотрите, что у меня получилось:
(https://kvartal.pro/forum/proxy.php?request=http%3A%2F%2Fi28.fastpic.ru%2Fbig%2F2011%2F1025%2F24%2F404a12732bad5018b299e2cd035a0324.png&hash=8024d3e5fb7990f2b26087dee6d2ac8890039980)
Программа Сканфильтр определил 103 объявления, где указаны районы. В остальных 193 объявлениях районы не указаны или их нет в справочнике районов. :)
Спасибо за разъяснение, Сергей а Вы посмотрели что можно сделать чтоб объявления которые уже есть в базе как то выделялись?
Сергей в объявлении написано 1/2 дома, тип есть 1/2 дома почему определяется как дом или квартира (видно на таблице, которую Вы разместили выше)? Земельный участок тоже пишет как дом в графе тип.
В форме поиска по домам нет типа зем. уч-к, а участков много и их тоже хотелось бы как то выделить.
Цитата: nataly-oz від Жовтня 25, 2011, 08:12:50 PMа Вы посмотрели что можно сделать чтоб объявления которые уже есть в базе как то выделялись?
В процессе, так сказать :)
Цитата: nataly-oz від Жовтня 25, 2011, 08:12:50 PMЗемельный участок тоже пишет как дом в графе тип.
Вроде всё правильно.
(https://kvartal.pro/forum/proxy.php?request=http%3A%2F%2Fi27.fastpic.ru%2Fbig%2F2011%2F1026%2F97%2F9799732d17a84d828f84dacca41b6597.png&hash=dad7e256f7c1545c0b043f0861ae0c08eb8911ea)
Цитата: nataly-oz від Жовтня 25, 2011, 08:12:50 PMВ форме поиска по домам нет типа зем. уч-к, а участков много и их тоже хотелось бы как то выделить.
Кто мешает добавить?
Цитата: nataly-oz від Жовтня 25, 2011, 08:12:50 PMСергей в объявлении написано 1/2 дома, тип есть 1/2 дома почему определяется как дом или квартира (видно на таблице, которую Вы разместили выше)?
Нужно смотреть, сравнивать, выяснять. Я уже говорил, что 100%-ый результат программа не выдаст.
Сергей ещё вопрос программа просканировала объявы, но когда отправляются в базу не видно какие из них принадлежат посредникам. Можно это как то показывать?
Можно, это показывается на главной форме Сканфильтра, ДО того как Вы отправите информацию на форму предврительного просмотра. И вообще-то это ГЛАВНАЯ и ОСНОВНАЯ задача Сканфильтра - показывать и отсеивать посредников и те объекты, которые уже есть в базе. Странный вопрос )))
Не знаю просканировала, программа определила посредников, я отправила объявления в квартал, а там негде не видно что это объявления посдедников.
Поймите, Сканфильтр это программа НЕ для импорта информации в базу Квартала. Импорт - это второстепенное назначение. Это понятно?
ОСНОВНОЕ и ГЛАВНОЕ предназначение Сканфильтра - это определение посредников на этапе обработки (загрузки) текстов объявлений, т.е. до импорта в Квартал.
При чем здесь Квартал, не могу понять.
Честно, я уже в который раз это пишу. Вы или не читаете, или не понимаете для чего нужен Сканфильтр и как с ним работать. :'(
А программа Квартал - это программа для хранения разной информации об объектах недвижимости, покупателях (заявках на покупку), посредниках.
Ну и в конце концов, Квартал всё-таки показывает то что Вас интересует, на формах поиска есть внизу вкладка "Похожие записи".
(https://kvartal.pro/forum/proxy.php?request=http%3A%2F%2Fi29.fastpic.ru%2Fbig%2F2011%2F1101%2Fdf%2Fbe0de07954fc7023e56d8dc50c6782df.png&hash=200e4147e66ceb6b98dbc2d74c759d777cdd97b9)
А почему нет если это удобно ???
Что "нет"? Или чего нет?
сканфильтр удобно использовать для импорта в базу, я все объявы только так и добавляю. прогнал и отправил :crazy
Ну перед отправкой в базу Квартала, требуется очистить импортируемую информацию от посреднических объявлений. Разве это не логично? А Вы, получается, отправляете в базу всё. Всё вместе с мусором. Зачем?
Сергей иногда у других агенств бывают интересные объекты
Понятно.
Почему то перед отправкой в Квартал ну никак не видит тип "зем. уч-к" и "1/2 дома", хотя в справочниках они есть прописывает тип как дом. Что сделать чтоб тип определялся правильно.
Цитата: nataly-oz від Листопада 05, 2011, 01:11:59 PM
Почему то перед отправкой в Квартал ну никак не видит тип "зем. уч-к" и "1/2 дома", хотя в справочниках они есть прописывает тип как дом. Что сделать чтоб тип определялся правильно.
хорошо, посмотрим, спасибо за замечание
Сергей объясните принцип определения.
В квартале есть например тип дома--подтипы--дом
--зем. уч-к
--коттедж
--усадьба
--1/2 дома
при определении типа определяется и дома, и коттедж, и дом, хотя казалось бы открываю в квартале меню--дома--поиск--дальше должен выбираться подтип.
В квартале тип квартиры--подтипы--гостинка
--улучшенная
--общежитие
--хрущёвка
опять перед отправкой в квартал выбирается тип квартиры, а удобнее было бы чтоб выбирался подтип. Может я опять что то не поняла?
ЦитуватиСергей объясните принцип определения.
Программа определяет тип не только с помощью справочника типов. Есть специальные выражения, с помощью которых программа определяет типы.
Сообщите в чем именно проблема. Укажите что не так определяется.
Ну, допустим, в тексте объявления есть сочетание "1-кв.", программа посчитает это за квартиру. Если есть слово "дом", то программа может посчитать это, как дом.
Ну к каждому типу объявлений нужно индивидуально подходить, бывает так.
Непосредственно сам справочник типов Квартала никак не влияет на выбор типов в Сканфильтре.
Программа Сканфильтр вначале определяет тип с помощью спец. выражений с ключевыми словами, потом ищет ключевые слова во вспомогательном справочнике типов.
Тип объекта недвижимости иной раз весьма сложно определить
программно в объявлении. Поэтому нужно рассматривать конкретно Вашу ситайцию, где и почему Сканфильтр некорректно определяет Тип.
Вспомогательный справочник типов в Квартале находится ниже справочника типов, если открыть закладку Типы в программе Квартал, в общих справочниках.
Поймите, это человек, прочитав всё объявление полностью, может определить, что это квартира или дом, но программно определить сложновато. Поверьте. Иначе нужно использовать нейронные сети, что не представляется возможным на данный момент в принципе.
Поэтому в Сканфильтре, на форме предварительного просмотра и добавлена возможность изменять тип выделенных записей.
Вы сообщите, что и где Сканфильтр неправильно определяет, попробуем "подкрутить болтики" :)
А у меня вот такая проблема случилась. Скачал объявления. Нажимаю кнопку "Отправить в квартал" получаю окно с сообщением об ошибке. Во вложении пример
Скорее всего это из-за номера дома. Там может быть максимум 5 символов, а ту да попадают сразу названия улиц. Пришлите несколько проблемным объявлений, для решения проблемы и тестирования. Спасибо