Веб сайт для парсинга объектов недвижимости.
Обзор
Мне нужен «инструмент», вебсайт или приложение, которое может запрашивать, получать, анализировать и отображать данные с нескольких веб-сайтов государственных органов Нью-Йорка, с настраиваемой панелью инструментов. Этот инструмент также должен содержать следующие возможности: синхронизация с календарем, базы данных для хранения информации или метод получения данных, отображение и обновление данных (без перезапуска программы); отслеживание предстоящих событий (продление и дата окончания срока действия); уведомления и оповещения; извлечение документов, распознавание текстов в формате PDF; и возможность экспортировать все данные в различные форматы отчетов и макетов. Кроме того, хранилище необходимых данных (строительные кодексы, Кодекс об административной ответственности, ссылки на документы и т.д.) для сравнительного анализа и перекрестных ссылок. Наконец, функции управления проектом, который позволит слежение по карте, нечто подобное GANTT или FLOW.
Если выбранный метод решения поставленной задачи будет реализован через веб-сайт, тогда он должен быть защищен паролем и совместим с мобильными устройствами.
Специфика
- Веб-сайт департамента строительства Нью-Йорка – это публичный сайт, который предоставляет детальную информацию о конкретных строительных объектах. Первые свои усилия я сконцентрирую на ссылке “jobs/filings” на странице ‘property profile page’. На сайте есть два варианта перемещения по вкладкам – (а) через ссылки и (б) при помощи выпадающего меню. Ссылка ‘job/filings’ ведет на страницу ‘job overview’, где будет указана общая информация о проекте – также там будет выпадающее меню, которое позволяет вам фильтровать результаты так, чтобы получить уникальные объекты и/или показать все результаты – каждая ссылка ведет к уникальной странице ‘application details’. Мне нужны различные ‘work types’, а также ‘violations’, ‘permits in process/issued’, ‘electrical applications’, а также количество элементов, содержащих другие ссылки на панель инструментов.
- Часто необходимо применить определенное действия к нескольким объектам, и для этого необходима опция загрузки нескольких объявлений через загрузку файла. В моем понимании, веб-сайты агентств ограничивают большие запросы от одного источника.
- Сведения, содержащиеся во вкладке ‘job/filings/job overview/applications detail’, а также числа, полученные из нескольких объектов, используются для составления детальных отчетов, которые я позже смогу представить моим коллегам и/или клиентам. Эта информация позволяет моим партнерам и мне визуализировать данные в чистом виде без формата веб-сайта. Данная информация не меняется, меняется только статус. Также информация, связанная с другими страницами, может быть обновлена агентством — на сайте встроена возможность менять основные ‘applicant’, ‘work types’, ‘filing representative’. Чтобы было удобнее составить финальный отчет, данные должны быть извлечены с сайта и должны где-то храниться — в отчетах будут указаны владельцы интересующих объектов, которые будут включены в отчет.
- Мне нужно отслеживать обновление данных, а также, все НОВОЕ, что появляется на сайте о конкретном здании. Департамент строительства Нью-Йорка отслеживает все аспекты строительства и согласования зданий. Есть конкретные сроки, которые должны быть соблюдены. Это требование ежегодной проверки, необходимо для продления разрешений и т.д. Кроме того, есть и другие агентства, веб-сайты, которые позволяют отслеживать даты судебных заседаний, и даты новых нарушений. Создание функции синхронизации календаря очень важно, нужно успевать идти в ногу с этими изменениями. Точно так же, требуется мониторинг других сайтов. Есть открытая городская программа, которая может предоставить эти данные через API; однако, она не обеспечивает информацию об исторических нарушениях, и используется для мониторинга актуальной информации, так как она постоянно обновляется.
- Отчеты, которые я создаю, могут быть во многом похожи, однако решение для каждого элемента зависит от внешних факторов, которые не могут основываться только на данных. Часто я изучаю местные административные кодексы, чтобы понять, что требуется для устранения проблемы. Также я должен помнить кодекс на то время, когда были начаты работы и когда этот кодекс изменился. Есть определенные ссылки на кодекс, которые могут быть подключены при помощи простого анализа данных, полученного по ссылке ‘application detail’, например, ‘items required’, ‘work types’, а также ссылки на документы на сайте. Хранилище кодексов полезно для быстрого анализа данных и включения их в отчет.Начало формыКонец формы
- Когда я закончил анализировать информацию на сайте и составил полный отчет, я использую приложение на рабочем столе, чтобы следить за прогрессом. Мне нужно следить за каждым проектом таким образом, чтобы обновление не занимало много времени и сразу попадало в отчет – можно использовать формат таблицы с полями для дополнительной информации для каждого проекта, за которым я слежу. На этот счет у меня нет фиксированных требований. Приоритет этой функции не такой высокий, но она поможет сотрудникам, владельцам и мне следить, на каком этапе находятся проекты.
- Эта опция, в основном, нужна для меня и моих коллег; однако, если опыт будет успешным, я бы хотел предложить это решение моим клиентам; поэтому, опция должна быть масштабируемой, с небольшим редизайном и обслуживанием.
Основные этапы
Анализ данных
UI & UX
Интеграция календаря
Заметки & предупреждения
Экспорт и отчеты
Создание базы данных / репозиторий кодов
Распознавание текста PDF
Додатки 1
-
70 Здравствуйте, Евгений!
Команда разработчиков B2-B4 готовы взяться за эту работу.
Наш сайт b2-b4.com
Пишите обсудем
-
72 Готов выполнить проект. Пишите обсудим.
-
1234 57 0 привет у меня очень много опита по парсеру начну прям щас уже. напиши мне
-
Если упростить Ваше Т3.
То на выходе Вы хотите получить сайт, который посылает запросы на иные сайты. После чего полученный ответ обрабатывается, сохраняется в БД. А у Вас в админки есть возможность корректировать и менять ставки и лоты спарсенные с других сайтов?
-
ОГО : ), к бюджету нолик добавьте...
-
или два ... 🙂
-
Актуальні фриланс-проєкти в категорії PHP
Автоматизація переадресації листів для домену (MX forward)Є необхідність розробити MX переадресацію для поштового домену (усі листи що приходять на домен). Це має бути аналог: https://improvmx.com/ Наразі мова йде про саме технічну частину пересилання листів, без білінгу. На скільки я розумію є схоже рішення з GitHub:… PHP, Веб-програмування |
Телеграм отримати смс php
12 345 UAH
потрібно витягувати, наприклад, в блокнот на сайт повідомлення з бота. Бот не мій - сторонній. Сайт на php. PHP ∙ 2 ставки |
Gmail отримати повідомлення php
12 345 UAH
потрібно отримувати листи з пошти [email protected] через api gmail з сайту (php) завдання полягає лише в отриманні нових листів, обробку зроблю самостійно PHP ∙ 4 ставки |
Адмінка для статейного сайтуДобрий день. необхідно написати адмін панель для ігрового статейного сайту (сайт цей - https://themeforest.net/item/goodgames-portal-store-html-gaming-template/17704593) В адмінці повинно бути: 1. **Управління користувачами:** - Створення нових користувачів. -… HTML та CSS верстання, PHP ∙ 8 ставок |
Laravel + VueJS + InertiaJS ``` Ларавель + В'юДжеС + ІнерціяДжеСGood day, the project is written, it is working and ready to launch. Except for one nuance. SSR(Server Side Rendering) works very slowly, when launching a bot to check the load - the site crashes after 3-4 minutes. If you restart SSR during the check, it works but very slowly.… Javascript, PHP ∙ 2 ставки |