Поддержка плагинов от z_a_s

Описание: Вопросы, связанные с каталогизатором фильмов All My Movies
Модераторы: datasource, Автор

ynkas M
Опытный пользователь
Аватара
ynkas M
Опытный пользователь
Репутация: 236
С нами: 15 лет 9 месяцев
Откуда: Россия, Москва

Сообщение #796 ynkas » Пн марта 08, 2021 6:15 pm

Решение нашел, но оно пока громоздкое

Добавлено спустя 7 часов 15 минут:
Перспективы не радужные...
Время загрузки данных на странице увеличилось в разы из-за подгрузки во время прокрутки и доп. кликов...
Данные целиком можно получить только:
    1. Если есть "Знаете ли..." и оно показано не полностью, задействовать кнопку "Показать еще", иногда несколько раз
    2. Для получения фильмографии:
      1. Прокрутить всю страницу до конца
      2. Прокликать все доп. кнопки (Режиссер, Продюсер и т.д.) и также прокручивать всю страницу до конца

Попробуйте прокрутить до конца страницы например у этой персоны: https://www.kinopoisk.ru/name/32453/, прокручивайте пока полностью не прекратиться подгрузка данных...
Все это время займет получение данных, только где эта персона работала как актриса, а есть еще продюсер, режиссер и т.д. ...

Сейчас получение всей информации тестовым плагином занимает от 10 до 20 сек
И это я еще не учитывал награды и связи, это еще где-то 3-5 сек

И ускорить это я никакой возможности не вижу...

Еще одна неприятная тонкость для тех, у кого интернет медленный, тут нужна еще большая задержка на проверку появления данных при прокрутке, с той задержкой что сейчас, они просто не получат данные, нужна настраиваемая задержка...

ДерьмоЯндекс КП изгадил до безобразия своими жадными ручонками :evil:
Win 10 x64 ru

I'll be back (Возможно)

Grey_S
Пользователь
Grey_S
Пользователь
Репутация: 4
С нами: 3 года 3 месяца

Сообщение #797 Grey_S » Вт марта 09, 2021 8:43 am

Это всё печально, но лучше так (подождать), чем никак (оформление данных от встроенной качалки очень уж не нравится). :(
Windows 10 Pro x64

Nikola
Пользователь
Nikola
Пользователь
Репутация: -1
С нами: 4 года 11 месяцев

Сообщение #798 Nikola » Вт марта 09, 2021 2:47 pm

Срабатывает защита от роботов

denisfes
Пользователь
Аватара
denisfes
Пользователь
Репутация: 0
С нами: 7 лет 1 месяц

Сообщение #799 denisfes » Вт марта 09, 2021 3:25 pm

То что говнояндекс окончательно сведёт в могилу удобный когда-то сервис не вызывает сомнений, я думаю, уже ни у кого. Нужно с этим просто смириться. В связи с этим возникает вопрос: а можно ли парсить инфу с kino-teatr.ru например? Там по русскоязычным фильмам, как минимум, наполнение значительно точнее, чем у КП.

Pooh1966 M
Пользователь
Аватара
Pooh1966 M
Пользователь
Возраст: 58
Репутация: -5
С нами: 3 года
Откуда: Москва

Сообщение #800 Pooh1966 » Ср марта 10, 2021 12:13 am

И когда ждать обновления плагинов? Пусть долго, главное чтобы работало.
Россия, Москва, Win 10 Pro x64

ynkas M
Опытный пользователь
Аватара
ynkas M
Опытный пользователь
Репутация: 236
С нами: 15 лет 9 месяцев
Откуда: Россия, Москва

Сообщение #801 ynkas » Ср марта 10, 2021 3:53 pm

Когда ждать? Когда доделаю :)
Win 10 x64 ru

I'll be back (Возможно)

Pooh1966 M
Пользователь
Аватара
Pooh1966 M
Пользователь
Возраст: 58
Репутация: -5
С нами: 3 года
Откуда: Москва

Сообщение #802 Pooh1966 » Ср марта 10, 2021 9:10 pm

ynkas писал(а):Когда ждать? Когда доделаю :)
И когда доделаете? :D
Россия, Москва, Win 10 Pro x64

ynkas M
Опытный пользователь
Аватара
ynkas M
Опытный пользователь
Репутация: 236
С нами: 15 лет 9 месяцев
Откуда: Россия, Москва

Сообщение #803 ynkas » Чт марта 11, 2021 5:34 am

В общем изменений куча...
Основные изменения:
    1. Обязателен к установке Google Chrome, при обновлении Google Chrome нужно также обновить ChromeDriver и положить с заменой в папку с плагинами

    2. В архив с плагинами добавлены 3 новых exe файла (распаковывать архив как и раньше, в папку с плагинами)

    3. 3. В папке ..\Documents\AllMyMovies\plugins теперь должна появиться папка Temp и новый рабочий перезаписываемый файл для плагина

    4. И самое печальное изменение - это увеличившееся в несколько раз время загрузки данных...

Есть и плюсы, ни разу, пока тестировал не увидел капчи защиты от роботов...

Захватыванием прав и прочей дребеденью с модификациями не балуюсь, так что:
Если используется win файрвол, то появится предупреждение...
Антивирус у меня стандартный десяточный, не срабатывал, тут ничего не могу сказать, какой-то другой может и сработать (параноикам в помощь https://www.virustotal.com/)

Добавлено спустя 24 минуты 55 секунд:
И самое главное забыл, нужно еще много тестировать (и обязательно сделайте бэкап базы!!!), у меня времени нет все проверять

Кому интересно для чего новые exe файлы и для чего Google Chrome, пишите в личку, тут не хочу светить, возможно дольше продержимся...
Win 10 x64 ru

I'll be back (Возможно)

Grey_S
Пользователь
Grey_S
Пользователь
Репутация: 4
С нами: 3 года 3 месяца

Сообщение #804 Grey_S » Чт марта 11, 2021 6:48 am

Попробовал новый плагин - не работает почему-то. Доступ при первом запуске разрешил, папка Temp создалась, хромодрайвер последний, но загружается только имя актёра и ссылка на страницу на Кинопоиске, ни фото, ни фильмографии. Ошибок никаких тоже не выдаётся. :(
Windows 10 Pro x64

ynkas M
Опытный пользователь
Аватара
ynkas M
Опытный пользователь
Репутация: 236
С нами: 15 лет 9 месяцев
Откуда: Россия, Москва

Сообщение #805 ynkas » Чт марта 11, 2021 2:04 pm

А в файле, который в папке temp что?
бросайте на почту ynkas собака mail.ru для анализа
Win 10 x64 ru

I'll be back (Возможно)

Grey_S
Пользователь
Grey_S
Пользователь
Репутация: 4
С нами: 3 года 3 месяца

Сообщение #806 Grey_S » Чт марта 11, 2021 2:26 pm

ynkas писал(а):А в файле, который в папке temp что?
data_file
На почту можно даже не кидать, там одна строчка со ссылкой на последнего актёра, которого я пытаюсь загрузить (при попытке выбрать другого - строчка заменяется). Выглядит вот так: name_url@@@@@https://www.kinopoisk.ru/name/290400/#####
Windows 10 Pro x64

ynkas M
Опытный пользователь
Аватара
ynkas M
Опытный пользователь
Репутация: 236
С нами: 15 лет 9 месяцев
Откуда: Россия, Москва

Сообщение #807 ynkas » Чт марта 11, 2021 3:28 pm

Похоже не отрабатывает хромдрайвер
Оба exe файла из архива в папке (C:\Program Files (x86)\AllMyMovies\plugins) с плагинами?
Google Chrome точно последней версии?
Win 10 x64 ru

I'll be back (Возможно)

Grey_S
Пользователь
Grey_S
Пользователь
Репутация: 4
С нами: 3 года 3 месяца

Сообщение #808 Grey_S » Чт марта 11, 2021 5:08 pm

ynkas писал(а):Google Chrome точно последней версии?
Mea culpa, протормозил. :oops: Обновлял пару недель назад и Хром больше обновлений не просил. А оказалось, что он всё это время ждал перезапуска вручную.
Спасибо. Всё заработало.
Windows 10 Pro x64

denisfes
Пользователь
Аватара
denisfes
Пользователь
Репутация: 0
С нами: 7 лет 1 месяц

Сообщение #809 denisfes » Пт марта 12, 2021 1:00 am

У меня ситуация аналогичная Grey_S. Подгружает только имя и URL персоны. В data_file только одна строка
'name_url@@@@@https://www.kinopoisk.ru/name/462584/#####' :cry:
Chrome установил. Последний zas_mod_Ynkas скачал и развернул. Настройки плагина проверил: все нужные галочки стоят.

ynkas M
Опытный пользователь
Аватара
ynkas M
Опытный пользователь
Репутация: 236
С нами: 15 лет 9 месяцев
Откуда: Россия, Москва

Сообщение #810 ynkas » Пт марта 12, 2021 3:29 am

Тут напрашивается 3 варианта:
    1. нет хромдрайвера в нужной папке
    2. не работает хромдрайвер (конфликт версий с Google Chrome)
    3. файл "helper.exe" не пускает файрвол/антивирь
    4. медленный интернет, для этого есть новая настройка: Прочие параметры / Ожидание загрузки при прокрутке страницы (по умолчанию ползунок стоит в начале, это 1 секунда - максимум 5 секунд)

Придется видимо тестовую версию helper'a сделать, чтобы отсечь некоторые варианты возможных проблем...
Win 10 x64 ru

I'll be back (Возможно)


Вернуться в «All My Movies»

Кто сейчас на форуме (по активности за 5 минут)

Сейчас этот раздел просматривают: 75 гостей