Привіт, колеги! Стало цікаво порівняти апетити наших проектів та особистого використання ШІ.
Хто скільки токенів у середньому 'спалює' за добу? Які моделі зараз у вашому фаворі за співвідношенням ціна/якість?
Я почну: у мене зараз активна розробка декількох агентів, тому на день йде близько 300-500к токенів, переважно GPT-4o та Claude 3.5 Sonnet. По грошах виходить відчутно, але швидкість розробки того варта. А як у вас?
Цікава тема! У мене основний фокус на SEO та генерації контенту.
Для 'чернеток' та мета-даних використовую GPT-4o-mini — він настільки дешевий, що я навіть не рахую. Але в обсягах це десь 1-1.5 млн токенів на день.
Для фінальної вичитки та складних статей беру Claude 3.5 — там витрати менші, до 200к токенів, бо модель дорожча і я її використовую економніше.
Я переважно використовую ШІ як копайлот при написанні коду.
За день Claude 3.5 Sonnet 'з'їдає' десь 150к токенів. Раніше пробував GPT-4o, але Клод якось краще розуміє структуру React-компонентів.
Щодо витрат — це десь $5-10 на тиждень при активній роботі. Поки що це найкраща інвестиція в продуктивність.
Працюю над корпоративним рішенням (RAG система для великої компанії). Там цифри зовсім інші.
Через Azure OpenAI у нас проходить по 10-15 мільйонів токенів щодня. Працюємо переважно з GPT-4o.
Основна проблема не в ціні, а в лімітах (Rate Limits), доводиться розподіляти навантаження між декількома регіонами.
Друзі, а хтось пробував переходити на локальні моделі для економії?
Я зараз тестую Llama 3.1 (70B) на власному сервері. Для простих задач типу класифікації запитів або витягування сутностей працює не гірше за GPT-4o-mini, зате токени безкоштовні (якщо не рахувати електрику і залізо).
За моїми підрахунками, при моїх обсягах (біля 2 млн токенів/день) власний сервер окупиться за півроку.