Пошук товару за фото: як додати візуальний пошук в інтернет-магазин

Що таке пошук товару за фото та як він працює

За доби ШІ текстовий пошук перестав бути єдиним порталом у e-Commerce. Покупці дедалі частіше починають пошук не зі слів, а з картинки: скриншот з Instagram, фото з вітрини, знімок симпатичної вази у кафе. Місця для тексту у таких сценаріях просто немає: класичний пошук працює зі словами, а не з фото. Відтак на зміну класичному пошуковому рядку приходить візуальний пошук товарів: користувач завантажує зображення чи фото в інтерфейс, а рушій онлайн-магазину розпізнає річ та знаходить щось схоже у каталозі. У цьому блозі ми розкажемо, як працюють такі інструменти, в яких сценаріях вони особливо корисні, та як правильно вбудувати їх у UX онлайн-магазину.

Як система розпізнає товар на зображенні

На відміну від людини, комп'ютер сприймає фотографію не як цілісну картинку, а як матрицю пікселів. Тому за розпізнавання товару на фото (image recognition) відповідають алгоритми глибокого навчання: спочатку вони сегментують зображення, відокремлюючи фонові елементи від цільового об'єкта. Далі нейромережа виділяє ключові візуальні характеристики: геометрію, силует, силуетні лінії, текстуру, візерунки, колірну гаму та конструктивні деталі (наприклад, тип коміра, форму каблука чи наявність фурнітури).

Чим візуальний пошук відрізняється від текстового пошуку

Текстовий пошук спирається на лексику та семантику — точний збіг слів у запиті користувача з назвою, атрибутами та описом товару в базі даних (метаданими). Якщо товар неправильно тегований або користувач сформулював запит нетиповими словами, пошук видає нерелевантні результати. Пошук за зображенням працює безпосередньо з візуальними характеристиками об'єкта, оминаючи текстову інтерпретацію. Це дозволяє знаходити товари навіть тоді, коли у товару немає детального текстового опису або коли покупець не знає професійної термінології для позначення предмета.

Які дані використовуються для пошуку схожих товарів

Система порівнює вектор фото покупця з векторами зображень товарного каталогу, які рахують заздалегідь. Відстань зазвичай вимірюють косинусну, а для швидкодії на великих каталогах застосовують індекси наближеного пошуку (ANN). Метадані (категорія, колір, матеріал, бренд, наявність, ціна) відсікають нерелевантне, наприклад чоловічі кросівки у відповідь на фото жіночих туфель. Чим кращі фото товарів і точніша категоризація, тим точніший результат. 

Як покупець може знайти товар по фото в інтернет-магазині

Зручність візуального пошуку значною мірою визначається тим, наскільки легко та природно користувач може задіяти його у своєму повсякденному шопінгу. Інтерфейс інтернет-магазину чи мобільного застосунку має надавати кілька сценаріїв взаємодії для типових ситуацій з досвіду покупця. Зокрема: 

Завантаження фотографії з пристрою. Класичний та найбільш універсальний сценарій для десктопних і мобільних браузерів. Користувач натискає іконку камери в пошуковому рядку, обирає збережене на комп'ютері чи смартфоні зображення (у форматах JPEG, PNG, WEBP) або просто перетягує файл (Drag-and-Drop) у спеціальну зону на екрані.

Пошук за фото з камери смартфона. Оптимізований мобільний сценарій, що дозволяє задіяти вбудовану камеру телефона безпосередньо з інтерфейсу магазину. Покупець наводить об'єктив на цікаву йому річ у реальному житті (наприклад, меблі в кафе чи одяг на манекені) та робить знімок, після чого система миттєво запускає обробку зображення. 

Пошук конкретного об'єкта на зображенні. На складних фотографіях часто зображено одразу кілька речей (наприклад, інтер'єр вітальні з диваном, журнальним столиком та торшером). Сучасні інтерфейси візуального пошуку дозволяють користувачеві виділити рамкою (Crop) конкретну зону на завантаженому фото, щоб система шукала саме обраний об'єкт, ігноруючи решту оточення.

Від фотографії до картки товару: сценарій користувача 

Як на практиці працює пошук товару за фото? Повний цикл взаємодії може виглядати наступним чином

1. Покупець бачить іконку камери в пошуковому рядку й натискає її.
2. Інтерфейс візуального пошуку дозволяє покупцю завантажити фото чи зробити миттєвий знімок.
3. Система визначає об'єкти на фото. Якщо їх декілька, ШІ-агент пропонує користувачу обрати потрібний.
4. Пошуковий інтерфейс виводить сторінку результатів: найближчі за виглядом товари з ціною та наявністю, з можливістю уточнити запит фільтрами за ціною, розміром, кольором, брендом.
5. Покупець відкриває цікаву йому картку товару, а далі — або додає товар у кошик, або повертається до результатів, щоб подивитися інші варіанти.

Для яких інтернет-магазинів візуальний пошук найбільш корисний?

Загалом візуальний пошук дає результат там, де покупець “обирає очима”, а назву товару знає погано або не знає зовсім. Що важливіший зовнішній вигляд і що більший каталог, то помітнішим буде ефект від застосування технології. Найбільшу конверсійність варто очікувати в таких нішах:

Одяг, взуття та fashion e-Сommerce

Найбільш очевидна та висококонверсійна ніша для технології. Покупці часто шукають конкретні фасони, принти, крої чи трендові луки, побачені у блогерів або на Pinterest. Спроба сформулювати текстовий запит для опису «сукні в дрібну квітку з рукавами-ліхтариками» займає багато часу та рідко дає точний результат, тоді як завантаження знімка миттєво виводить потрібну модель або її стилістичні аналоги. 

Меблі, декор та товари для дому

У сегменті Home & Living покупці орієнтуються на геометрію, колірну гаму, матеріал та сумісність із поточним інтер'єром. Візуальний пошук дозволяє легко знайти диван конкретної форми, фактурне крісло чи світильник за фотографією з дизайн-проєкту або реальної кімнати, оминаючи потребу розбиратися в професійних назвах стилів та конструкцій. 

Косметика та аксесуари

У категорії б'юті-товарів, ювелірних виробів, годинників та сумок ключову роль відіграють дрібні деталі: відтінок помади чи тіней, форма оправи окулярів, плетіння ланцюжка або фактура шкіри. Пошук за фото допомагає миттєво підібрати косметику потрібного тону або знайти аксесуар, який гармонійно доповнює обраний образ. 

Електроніка, запчастини та товари зі складною номенклатурою

У технічних сегментах (автозапчастини, сантехніка, кріплення, електротовари) покупці нерідко стикаються з відсутністю маркування чи знання точного артикула деталі, яка потребує заміни. Фотографія зламаного вузла чи комплектувальної частини дозволяє алгоритмам розпізнати її геометрію та специфічні контури, знаходячи точну технічну заміну в каталозі. 

Маркетплейси та магазини з великим каталогом

Для майданчиків із сотнями тисяч або мільйонами SKU текстова навігація часто ускладнена через перенасиченість категорій та різнотипний опис товарів від різних продавців. Візуальний пошук дає змогу обійти проблеми некоректної тегізації чи опису в базі даних, миттєво виділяючи потрібну позицію серед величезного масиву товарних карток. 

Які технології використовуються для пошуку товарів за зображенням 

Перетворення піксельного зображення на релевантний список товарів вимагає послідовного виконання кількох складних обчислювальних етапів — від сегментації об'єкта до порівняння математичних моделей у багатовимірному просторі. Цей процес став можливим завдяки розвитку технологій штучного інтелекту, комп'ютерного зору та спеціалізованих векторних обчислень. 

Технологічний фундамент візуального пошуку складається з таких елементів:

• Computer Vision та AI для розпізнавання товарів. На першому етапі згорткові нейронні мережі (CNN) або сучасні архітектури Vision Transformers (ViT) аналізують вхідне зображення. Алгоритми комп'ютерного зору виконують завдання виявлення об'єктів (Object Detection) та сегментації, локалізуючи межі товару на фото, очищаючи його від сторонніх фонових шумів та визначаючи базову категорію (наприклад, верхній одяг, взуття чи аксесуари).

• Embeddings та векторний пошук схожих товарів. Очищене зображення пропускається через глибоку нейромережу (наприклад, модель на базі CLIP або ResNet), яка вилучає його візуальні атрибути та трансформує їх у ембеддинг (Embedding). Ембеддинг являє собою математичний вектор — числовий масив у багатовимірному просторі, який унікально кодує всі візуальні особливості товару (форму, колір, текстуру, візерунки).

• Image similarity: як система визначає візуальну схожість. Порівняння зображень відбувається не за пікселями, а шляхом обчислення відстані між їхніми векторами. Для вимірювання ступеня візуальної схожості (Image Similarity) застосовуються спеціальні математичні метрики: косинусна подібність (Cosine Similarity), евклідова відстань (Euclidean Distance) або скалярний добуток (Dot Product). Чим менший кут або відстань між векторами в багатовимірному просторі, тим більш візуально схожими є товари.

• Векторні бази даних та пошукові індекси. Для векторного пошуку по мільйонах товарів у реальному часі традиційні реляційні бази даних не підходять. Натомість застосовуються спеціалізовані векторні бази даних (Vector Databases), такі як Qdrant, Milvus, Pinecone, FAISS від Meta або Elasticsearch із підтримкою kNN (k-Nearest Neighbors). Вони будують спеціальні пошукові індекси (наприклад, HNSW — Hierarchical Navigable Small World), що дозволяє знаходити найближчі векторні збіги за кілька мілісекунд навіть у каталогах на мільйони позицій.

Готові API чи власна AI-модель: що обрати?

Технологічно пошук товару по фото можна реалізувати в онлайн-магазині двома шляхами: через впровадження готового хмарного API від провайдерів ШІ-рішень (Google Cloud Vision Product Search, Amazon Rekognition, Azure AI Vision, сервіси на кшталт Algolia чи Syte), або ж розгортання й навчання власної відкритої ШІ-моделі. Кожен шлях має свої переваги та обмеження. 

Готові хмарні рішення чи API добре підходять для швидкої перевірки гіпотез, невеликого чи середнього каталогу та стандартних товарів, як-от одяг, взуття чи декор. Запуск займає лічені тижні і потребує мінімальних витрат. Кастомна модель виправдана для нішевих каталогів (запчастини, фурнітура, промислові товари), магазинів з великими обсягами запитів та складною логікою ранжування. Також кастом має сенс, коли пошук має інтегруватися з PIM, ERP чи B2B-процесами, що не підтримуються готовими сервісами.

Одна з ключових переваг кастомної системи — власна інфраструктура гарантує бізнесу повний контроль над даними й логікою ранжування товарів. Це знижує граничні витрати при великому трафіку та забезпечує необмежене масштабування системи під зростання каталогу. 

Як додати візуальний пошук в інтернет-магазин

Інтеграція візуального пошуку в наявну архітектуру інтернет-магазину вимагає низки послідовних кроків, що охоплюють як підготовку бази даних товарів і налаштування моделі комп'ютерного зору, так і розробку зручних елементів інтерфейсу для кінцевого користувача. У цьому процесі можна виокремити такі ключові кроки: 

1. Аналіз каталогу, фотографій та атрибутів товарів. На початковому етапі проводиться аудит наявного контенту. Оцінюється якість, роздільна здатність і ракурси фотографій у каталозі, наявність маркування товарів, а також структура метаданих. Для коректної роботи алгоритмів комп'ютерного зору критично важливо, аби зображення товарів були чіткими, мали нейтральний або однорідний фон і відображали продукцію без сторонніх спотворень.

2. Підготовка та індексація зображень. Зображення з каталогу проходять процедуру нормалізації: приводяться до єдиного формату, оптимізуються за розміром і очищаються від шумів. Після цього пакет зображень передається на обробку до нейромережі, яка генерує унікальні цифрові відбитки (ембеддинги) для кожного товару чи окремих ракурсів.

3. Вибір моделі комп'ютерного зору. На основі бізнес-вимог, бюджету та технічних можливостей команди обирається оптимальний архітектурний підхід — використання готових хмарних API візуального пошуку (наприклад, Google Cloud Vision чи сумісних PaaS-рішень) або розгортання власної відкритої ML-моделі (Open Source) на власних серверах.

4. Створення векторного індексу товарів. Згенеровані векторні представлення всіх товарів каталогу завантажуються до спеціалізованої векторної бази даних (наприклад, Qdrant, Milvus чи FAISS). На базі цих даних будується високопродуктивний пошуковий індекс (наприклад, HNSW), який забезпечує миттєвий пошук за схожістю (kNN).

5. Розробка API для пошуку за фото. Створюється бекенд-сервіс (API), який приймає вхідне зображення від фронтенду, передає його на попередню обробку, звертається до векторної бази даних для знаходження найближчих векторних збігів і повертає назад список релевантних товарів із числовими мірками схожості (score).

6. Інтеграція пошуку із сайтом або мобільним застосунком. На фронтенді реалізується зручний користувацький інтерфейс: іконка камери в пошуковому рядку, модальне вікно для завантаження файлів (Drag-and-Drop) та інтеграція з камерною системою мобільних додатків (iOS / Android). Також створюється сторінка результатів візуального пошуку з можливістю фільтрації.

7. Тестування релевантності результатів. Перед офіційним релізом проводиться серія контрольних тестів. Перевіряється якість видачі за різними типами вхідних зображень (фотографії низької якості, знімки під кутом, зашумлені фони, скріншоти екрана), калібруються порогові значення схожості (threshold) для виключення «сміттєвих» результатів і досягнення максимальної релевантності.

Як інтегрувати пошук за фото з каталогом товарів

Для того щоб пошук за фото працював як ефективна частина e-Commerce, його необхідно тісно пов'язати з наявною інфраструктурою управління товарами. Мало просто знайти візуально схоже зображення — система має віддавати покупцеві актуальну інформацію про наявність, ціну, варіації та характеристики товарів в реальному часі. 

Інтеграція візуального пошуку з каталогом вимагає урахування таких ключових технічних аспектів. 

• Синхронізація з CMS, PIM та ERP. Візуальний пошуковий сервіс не функціонує як ізольована система. Через REST API або брокери повідомлень (наприклад, RabbitMQ чи Apache Kafka) він підключається до платформи управління контентом (CMS / e-Commerce Engine), PIM-системи (Product Information Management) та ERP. Так вибудовується глибока інтеграція з каталогом, забезпечується єдине джерело правди про товари та їхні атрибути.

• Зв'язування зображень з SKU та характеристиками товарів. Під час генерації векторних ембеддингів кожен вектор у базі даних супроводжується метаданими (Payload). До вектора прив'язується унікальний артикул (SKU), ID товару, категорія, ціна, бренд, колір, розмірна сітка, а також поточний статус наявності на складах.

• Автоматичне оновлення індексу при зміні асортименту. Каталог e-Commerce постійно змінюється: з'являються нові позиції, оновлюються фотографії, знімаються з продажу застарілі моделі. Для підтримки актуальності пошукового індексу налаштовуються фонові черги оновлень (Event-driven Architecture). При додаванні нового фото товару в PIM/CMS система автоматично генерує для нього вектор і додає в векторну базу даних, а при видаленні чи знятті з продажу — видаляє або маркує відповідний запис.

• Фільтрація результатів за ціною, брендом, категорією та наявністю. Результати лише на основі візуальної схожості часто потребують бізнес-калібрування. Завдяки збереженим метаданим у векторному індексі (Payload Filtering) система дозволяє покупцеві накладати додаткові класичні фільтри на візуальну видачу — наприклад, показувати лише товари у діапазоні цін, вибраного бренду або ті, що є у наявності для негайного замовлення.

Як підвищити точність візуального пошуку

Перший запуск візуального пошуку рідко дає ідеальний результат. Точність зростає поетапно, вона вимагає якісних вхідних даних, налаштування ранжування й аналізу дій покупців із видачею. Покращити точність пошуку можна через низку технічних напрямків: 

• Робота над якістю та кількістю фотографій товару. Точність побудови векторного відбитка (ембеддинга) залежить від вхідних даних. Для кожного товару в каталозі необхідно мати кілька якісних фотографій під різними кутами та ракурсами (анфас, профіль, деталі, фото на моделі чи в інтер'єрі). Використання чітких студійних знімків із високою роздільною здатністю та нейтральним фоном дозволяє нейромережі детально зчитати текстові й геометричні особливості об'єкта.

• Розпізнавання кількох об'єктів на одному фото. Покупці часто завантажують складні знімки (наприклад, повноцінні fashion-образи чи інтер'єрні фотографії кімнат). Інтеграція алгоритмів Object Detection (таких як YOLO або Mask R-CNN) дозволяє автоматично сегментувати зображення на окремі предмети — система підсвічує інтерактивними маркерами всі знайдені елементи (куртку, штани, взуття, сумку) та пропонує окремий пошук за кожним із них.

• Поєднання візуального пошуку з текстом та фільтрами (Multimodal Search). Найкращі результати забезпечує мультимодальний пошук, який поєднує комп'ютерний зір із текстовими підказками або категоріальними фільтрами. Користувач може завантажити фотографію та уточнити запит словами (наприклад, «такі ж кросівки, але чорні») або обмежити видачу вибраним брендом чи діапазоном цін.

• Ранжування схожих товарів у пошуковій видачі. Математичної схожості векторів (Cosine Similarity) недостатньо для побудови комерційно ефективної видачі. Під час підсумкового ранжування результатів застосовуються бізнес-правила: пріоритет віддається позиціям у наявності, популярним товарам із високим рейтингом, маржинальним та/або акційним пропозиціям.

• Аналіз пошукової поведінки користувачів. Точність системи покращується через збір даних та аналітику (кліки, переходи до картки товару, додавання в кошик та покупки після візуального пошуку). Ці дані використовуються для зворотного зв'язку (Relevance Feedback) та донавчання (Fine-tuning) ML-моделей під специфіку каталогу й поведінкові патерни аудиторії.

Скільки коштує впровадження пошуку товару за фото

Реалізувати візуальний пошук можна по-різному: інтеграція готового хмарного сервісу чи API вочевидь обійдеться дешевше, ніж розгортання власної системи з донавчанням моделі та окремою інфраструктурою. В реаліях українського IT-ринку станом на кінець 2026 року орієнтири можуть виглядати так: 

 На бюджет проєкту найбільше впливають п'ять факторів: вибір між готовим API та власною моделлю, розмір і стан каталогу (якість фото, атрибути), складність інтеграцій (CMS, PIM, ERP), кількість платформ (сайт, iOS, Android) та вимоги до ранжування й фільтрації. 

Як розмір каталогу впливає на бюджет? Кількість SKU та унікальних зображень визначає обсяг необхідних обчислювальних потужностей. Для каталогу на 10 000 товарів генерація та зберігання векторних ембеддингів потребує мінімальних серверних ресурсів. Проте для масштабних майданчиків із 500 000+ товарів та мільйонами зображень зростають вимоги до оперативної пам'яті (RAM) та графічних процесорів (GPU) для швидкого індексування. Це суттєво збільшує щомісячний чек хмарного хостингу. 

Залежно від обраного формату реалізації відрізняється і структура витрат на підтримку. 

• При використанні готових API (Google Cloud Vision, ViSenze тощо): Основна стаття витрат — оплата за кожен запит (в середньому $1.50-3.00 за 1 000 запитів) або фіксований щомісячний SaaS-тариф ($300-1500/місяць залежно від трафіку).

• При власному розгортанні (Self-hosted): хостинг векторної бази даних (Qdrant, Milvus, Pinecone) та серверів обробки зображень у хмарі (AWS, Google Cloud, Hetzner) може коштувати від $150 до $800+/місяць залежно від розміру каталогу й навантаження.

Варто пам`ятати, що низька вартість запуску не завжди означає низьку сукупну вартість (TCO): при зростанні трафіку оплата за запити може перевищити витрати на власне рішення.

Систему не можна «запустити й забути». Каталог товарів оновлюється, поведінка покупців змінюється, а моделі й API еволюціонують. Підтримка (моніторинг, виправлення помилок, оновлення індексу, аналіз невдалих запитів) зазвичай обходиться в 15–25% від вартості розробки на рік. Окремо в бюджет закладають розвиток: нові категорії, донавчання, A/B-тести ранжування. Відтак бюджет варто оцінювати принаймні за перші 12 місяців, а не лише за вартістю запуску. 

Як оцінити ефективність пошуку за фото після запуску

Найголовніше після запуску технології — з’ясувати, як можливість знайти товар по фото впливає на конверсію. Оцінка ефективності здійснюється на двох рівнях: якість роботи ML-алгоритмів (технічна релевантність) та вплив нового інструменту на продуктивність воронки продажів (поведінкові та фінансові метрики). 

• Точність і релевантність пошуку. Технічна якість видачі оцінюється за метриками Precision@K та Recall@K (відсоток дійсно схожих товарів серед перших K позицій у видачі), а також за Mean Reciprocal Rank (MRR). Висока точність означає, що затребуваний об'єкт або його максимально близькі аналоги знаходяться на першому екрані видачі без потреби тривалого скролінгу.

• Частка пошуків, що приводять до перегляду товару (Click-Through Rate / CTR). Показник CTR візуальної видачі відображає відсоток пошукових сесій, у яких користувач натиснув хоча б на одну картку товару після завантаження фото. Високий CTR свідчить про те, що запропоновані алгоритмом результати візуально зацікавили покупця та відповідали його початковому задуму.

• Конверсія користувачів візуального пошуку (Conversion Rate & AOV). Для оцінки бізнес-ефекту порівнюється поведінка двох сегментів аудиторії — користувачів, які задіяли пошук за фото, та тих, хто користувався лише класичною навігацією чи текстовим пошуком. Як правило, конверсія у покупку (CR) та середній чек (AOV) серед користувачів візуального пошуку вищі, оскільки вони мають чітко сформований намір придбати конкретну річ.

• Запити без результатів та способи їх оптимізації (Zero-Result Searches). Аналіз випадків, коли система видала порожню сторінку або результати з занадто низьким порогом схожості (Score threshold). Оптимізація включає розширення асортименту каталогу на основі аналізу популярних «незнайдених» фотографій, зниження жорсткості векторних фільтрів та показ рекомендацій схожих товарів замість порожньої сторінки.

Побудова якісного досвіду візуального пошуку в e-Commerce на сьогодні вимагає рідкісної експертизи — на стику володіння провідними технологіями ML та глибокого розуміння бізнес-логіки в онлайн-комерції. Відтак подібні проєкти краще не віддавати на аутсорс невеликим IT-командам без досвіду — в даному випадку “економний” прайс має всі шанси обернутися неочікуваними перевитратами та довготривалими проблемами для бізнесу. Як показує практика, впровадження інструментів машинного навчання краще довірити великому розробнику з репутацією та релевантними кейсами, який розглядає розгортання AI для e-Commerce як стратегічний напрямок свого розвитку. 

FAQ