Затраты на использование большой языковой модели (LLM, Large...

Затраты на использование большой языковой модели (LLM, Large Language Model) в поиске

Интересное исследование от SemiAnalysis, из которого мы узнаем, что:

- Google обрабатывает около 320 000 поисковых запросов в секунду

- Выручка бизнес-юнита поиска в 2022 году составила $162,45 млрд, таким образом средняя выручка на запрос составляет 1,61 цента

- Операционная маржа бизнес-юнита Google Services составляет 34,15%. Если мы распределим себестоимость/эксплуатационные расходы на запрос, получим стоимость 1,06 цента за поисковый запрос, что принесет 1,61 цента выручки. Это означает, что поисковый запрос с LLM должен быть значительно меньше <0,5 цента за запрос, иначе поисковый бизнес станет для Google чрезвычайно убыточным

- Если бы модель ChatGPT была неуклюже внедрена в существующий поисковый бизнес Google, последствия были бы разрушительными. Операционная прибыль сократится на 36 миллиардов долларов. Это 36 миллиардов долларов затрат на вывод LLM

- Microsoft знает, что внедрение LLM в поиск снизит прибыльность поиска и потребует огромных капиталовложений. Вот, что Сатья Наделла говорит о валовой марже: "Отныне валовая прибыль поиска упадет навсегда".

Также Microsoft: "Рост на каждый пункт доли рынка поисковой рекламы дает нашему рекламному бизнесу возможность заработать 2 млрд долларов".

- Google играет в защиту c меньшей языковой моделью - облегченной версией LaMDA. Они могли бы развернуть свою полноразмерную модель LaMDA или гораздо более мощную и большую модель PaLM, но вместо этого они выбрали что-то гораздо более легкое.

Это из-за необходимости.

Google не может выкатить эти масштабные модели в поиске. Это слишком сильно подорвет их валовую прибыль.

—————

Это вполне может быть одной из причин сокращения персонала в Гугле.

Источник новости https://t.me/notjohnmu/253...