Оптимизация изображений товаров с помощью конволюционной...

Оптимизация изображений товаров с помощью конволюционной нейронки Chrome

Деян Петрович "взломал" Chrome и использовал его классификатор намерений покупателей для создания инструмента оптимизации изображений в eCommerce: https://dejanmarketing.com/tools/shopping-intent/.

Эта тулза получает URL-адрес, извлекает изображения и пропускает их через классификатор "Google's shopping intent", который затем определяет, оптимизировано ли изображение для целей покупки или нет.

Это особенно полезно для оптимизации изображений и страниц товаров/категорий на сайтах электронной коммерции.

Поскольку модель не содержит определений меток, Деяну пришлось разработать их на основе реверс-инжиниринга, протестировав их на различных типах товаров.

На данный момент они выглядят следующим образом:

— LABEL_1: Нет намерения покупать

— `LABEL_`2: Мода и стиль

— LABEL_3: Дом и сад

— LABEL_4: Инструменты и электроника

Вы можете посмотреть Google Таблицу с готовыми данными: https://docs.google.com/spreadsheets/d/1PpbjjiFNIAxF9pbRLNB8fqZTtPfAq086J9w2ZAFn1NU/edit?gid=129673969#gid=129673969.

Было бы очень интересно провести классификацию такого типа на тысячах изображений и определить степень общей возможности оптимизации на основе истинного несоответствия лейблов.

Существует как минимум три практических применения этого классификатора.

Его можно использовать для определения того, является ли анализируемое изображение:

1. неправильно классифицировано по намерению совершить покупку (изображение 59)

2. Ошибочно классифицировано по категории покупок

3. Неоднозначно по намерению и категории (изображения 10, 35).

Да, это пользовательская конволюционная нейронная сеть Google в формате TensorFlow Lite v3, основанная на малой модели mobilenet V3.

Деян извлек ее из Chrome.

Модель принимает предварительно обработанное изображение (224×224) и выдает два набора вероятностей:

— намерение совершить покупку (4 метки)

— чувствительное (sensitive) изображение (2 метки).

Полная архитектура модели доступна в формате SVG: https://dejanmarketing.com/wp-content/uploads/2024/06/model.svg

https://dejanmarketing.com/product-image-optimisation-with-chromes-convolutional-neural-network/