Українська edtech-компанія Preply, продуктом якої зараз користуються в понад 150 країнах, з літа 2023 займається інтеграцією ШІ. Зокрема тисячі репетиторів на платформі вже використовують Teacher Assistant, що готує домашні завдання, квізи та матеріали до уроків.
У колонці для Laba CTO та співзасновник Preply Дмитро Волошин розповідає:
— як сталося, що Teacher Assistant розробила команда з 5 людей, а зараз майже кожен працівник Preply долучений до інтеграції ШІ в продукт
— чому для їхнього бізнесу краще працює старіша версія ChatGPT
— чому ШІ все ще потрібна людина
— як нам всім треба змінити погляд на ШІ, щоб максимально використати його потенціал
*Цей матеріал є частиною спецпроєкту Laba «Інсайт за донат», де українські топменеджери діляться своїм досвідом у нашому журналі, а Laba у вдячність за їхній час донатить на ЗСУ. Ми опублікуємо 10 матеріалів та зберемо кошти на DJI Mavic 3 Fly More Combo, який передамо до 3 ОШБр.
Чому обрали саме ChatGPT від Open AI, а не Bard чи Anthropic
Ми тестували різні API. У нас є фреймворки, які можуть майже з науковою точністю визначити, наскільки хороші результати дає модель саме в наших юзкейсах. Зокрема порівнювали ChatGPT, Anthropic, Bard, розглядали опенсорсні моделі, які на той момент були наявні, як-от Vicuna від Data Bricks. ChatGPT в цьому контексті дає найвищу якість та швидкість, яку зараз можна отримати на ринку за таку ціну.
Ще ми експериментували з різними версіями ChatGPT. Тут є цікавий інсайт. ChatGPT 4 видає дуже хорошу якість аутпуту. Але ми помітили, що з ним була дуже висока latency, тобто користувачі мусили довше чекати на відповідь. А коли, наприклад, викладачу потрібно прямо після уроку підготувати домашнє завдання, затримка навіть у 30 секунд — це гірше, ніж просто трохи слабша якість цього завдання. Для нашого юзкейса швидкість була принципово важливою, тому ми зупинилися на GPT 3 Turbo, і нам дуже подобається.
Як працює Teacher Assistant і чим допомагає викладачам
Спершу наша команда методології глибоко попрацювала з API Open AI, щоб зібрати найчастіші запити, які викладачі можуть надсилати ШІ. На основі цього ми зробили френдлі інтерфейс, в якому викладачі не мають самостійно писати запити, а можуть просто наклацати щось, що потім конвертується в якісні запити для ШІ.
Після цього ми надсилаємо запит в Open AI та одержуємо відповідь. Але ніколи її одразу не відправляємо викладачу назад. Ми використовуємо модель Human in The Loop (HITL), коли робота ШІ все одно перевіряється людиною: чи немає в ній галюцинацій, помилок або зайвої інформації.
Як викладачі сприйняли нову ШІ-фічу
Від викладачів у нас хороші метрики використання, зараз на регулярній основі Teacher Assistant користуються тисячі репетиторів, і це одна з найбільш використовуваних функцій в екосистемі.
У викладачів був вау-ефект, бо всі вони чули про ChatGPT, але не всі розуміли, як саме він може поміняти їхню професію. Ми показали, як ШІ здатний спростити їхню роботу і дали їм змогу самим автоматизовувати рутину.
Ми не рахували конкретний час, який викладачам заощаджує ШІ. Але навіть якщо йдеться всього про 10–15 хвилин на день, на масштабі тисяч людей це великі цифри. Та для нас важливіша не кількість часу, а те, який саме процес ми спрощуємо. В моєму світі готувати домашні завдання або перевіряти їх — це найнеприємніша праця. Передаючи її ШІ, ми не просто вивільняємо час, ми забираємо у вчителів нудну роботу.
Що довелося допилювати після фідбеку користувачів
Багато роботи пішло на те, щоб інтегрувати оці запити, що ми розробляли, з інформацією, яку ми вже знаємо про навчальний процес. Наприклад, щоб у промпті одразу враховувати рівень учня, обсяг завдання чи його складність. Допилювання були й на технічному рівні, і на рівні UI/UX. Зараз ці та інші параметри викладачі можуть регулювати кількома кнопками.
Також є багато юзкейсів, які помічаєш лише в роботі. Наприклад, ти знаєш, що стабільність Open AI — 99,9 %. Але коли ним користуються тисячі викладачів водночас і їхня продуктивність залежить від ефективності ШІ, потрібно продумувати й розв’язувати edge-кейси. Наприклад, що робити, коли відповідь від Open API не повертається: показати помилку викладачу, зробити retry запиту до ChatGPT чи спробувати альтернативні API? Два останніх пункти — те, як ми вирішуємо це зараз.
А ще без вебінару з поясненням, як саме працює інструмент, не обійтися. Було недостатньо просто зарелізити кнопку, яку треба натиснути, щоби почалася магія. Лише коли наша команда Tutor Operations провела масштабний вебінар, метрики використання рішення різко виросли.
Як працюватиме Learning Assistant і чим допомагатиме учням
Learning Assistant ми розробляємо впродовж кварталу і ще не зарелізили. У грудні 2023 плануємо першу ітерацію, а у 2024 — другу. Загалом у Learning Assistant ми хочемо пов’язати те, що відбувається на уроці між студентом і викладачем, з тим, що відбувається між уроками: з домашніми завданнями, побудовою словника тощо.
Ми бачимо, що наші користувачі між уроками вчаться в інших self-learning apps, бо в нас на платформі цей функціонал не дуже великий. У нас є словник, вправи, але цього не так багато, як у додатків, які сфокусовані суто на самонавчанні. І ми хочемо закрити цей пробіл у рамках екосистеми Preply — щоб в одному й тому ж місці можна було і займатися з викладачем, і практикувати мову самостійно. І обидва процеси будуть пов’язані між собою, все працюватиме в комплексі.
Можливо, в першій ітерації ми, за згоди викладача та учня, будемо записувати уроки, і на основі цього ШІ формуватиме перелік слів, які одразу заноситиме у словник студента. У наступних — розширимо функціональність, щоби побудувати ідеальний learning experience між уроками.
Чому інтеграція ШІ для учнів — складніший та триваліший процес
З Learning Assistant є особливість. ШІ має давати якість. Тобто досвід із ШІ має бути кращим, аніж без нього, щоб люди не дратувалися. Якщо викладач — це human in the loop, і побачивши помилку, він її просто виправить, то зі студентом так не вийде. Користувачі платять нам саме за якість, і тому навіть якщо в одному випадку зі 100 станеться помилка чи неточність — це буде критично.
Загалом технологія зараз не є сильним бар’єром для того, щоб робити AI-продукт. Ба більше, всі використовуватимуть приблизно одні й ті самі API. В чому різниця, то це в якості продукту, побудованого на AI. Ми дуже віримо саме в якість. І я певен, що далі компанії будуть диференціюватися за тим, наскільки добре ШІ-фічі інтегровані в їхній продукт.
Простий приклад: може бути мільйон різних інструментів на основі AI, які перевірятимуть граматику у твоїх текстах. А є Grammarly, який дає тобі набагато якісніший сервіс не лише тому, що вміє перевіряти текст найкраще. А й тому, що дуже нативно інтегрований в робочий процес, тому, що всюди з тобою, і тому, що ти не маєш переходити в інше вікно, щоби перевірити написане.
Яка команда потрібна, щоб інтегрувати ШІ в продукт
У нас перший серйозний успішний функціонал із ШІ — Teacher Assistant — зробила команда з 5 людей. Насправді достатньо і 2–3 мотивованих спеціалістів. Але на тому етапі, на якому ми зараз, вимальовується інший патерн: майже всі в компанії залучені в процес, просто на різних рівнях.
Зокрема в роботу залучені:
- Команда методології, яка працює над тим, щоб інтегрувати промпт інжиніринг із сучасними методиками навчання.
- Команда Tutor Operations, що пояснює вчителям, як користуватися інструментами з найбільшою ефективністю.
- Data-відділ, який працює зі збором та обробкою даних: data pipeline, data lakes тощо.
- Команда Machine Learning, що була в нас і до буму на ШІ. Зараз вона готує дані до того, щоб їх можна було потім використовувати в моделях.
- Команда інженерів, яка займається саме інтеграцією ШІ. Зараз ми бачимо, що її вже недостатньо, і тому створюємо ще одну.
- Продукт і дизайн. Це теж суперважливо, бо навіть у найпростіших механізмах роботи з ШІ потрібні дизайнери та проєктні менеджери.
Як виглядає ідеальна інтеграція ШІ в продукт
У багатьох зараз є хибне відчуття, що треба будувати продукти з ШІ. Але я бачу це інакше. Бо користувачам не важливий штучний інтелект, їм важливий користувацький досвід. І ми хочемо не просто інтегрувати ШІ, а зробити так, щоб він розв’язував певні проблеми. І в ідеалі я бачу, що бізнес трошки… проживе цей хайп на штучний інтелект і почне думати про те, яку реальну проблему користувача можна розв’язати за допомогою ШІ.
Так, компанії зі сфери ШІ суперуспішні та мають мільярди доларів інвестицій, але на рівні споживача — індустрії чи всієї економіки — вони поки не роблять суттєвих зрушень. Або принаймні ці зміни не такі масштабні, як хайп навколо них.
Наприклад, всі казали, що ШІ знищить роботу customer support. Але зараз ШІ закриває всього 15–20% тікетів і все одно потрібна людина, щоб опрацювати серйозніші кейси. А бізнес і далі наймає людей в сапорт, бо юзкейс виявився складнішим за можливості ШІ.
Або ще 10 років тому ми думали, що ось-ось — і будемо їздити в автівках без водія. Це ніби проста проблема: картинка, камери — і машинка їде. Але досі цього не відбувається. Десь у Сан-Франциско є авто, яке вже може їздити без водія. Але все одно є певні регуляції, споживацька поведінка та інші фактори, які не дозволяють цій технології стати супермейнстримною. Можливо, через 2–3 роки це зміниться, але наразі навіть найпростіші юзкейси не розв’язуються ШІ повністю.
Що має відбутися, то це або суттєві економічні зміни (наприклад, ми зможемо сказати, що 50% запитів у customer support розв’язуються ШІ), або хайп має зменшитися, щоб наші очікування та можливості ШІ заметчилися.
Тоді ми наблизимося до того, що я формулюю як ідеальний кейс використання ШІ. Коли користувачі мають проблему, бізнес її ідентифікує — і найкращим способом її розв’язання з точки зору ціни, якості та швидкості є саме ШІ.
Та перш ніж це станеться, потрібна зміна майндсету. З підходу в стилі «Ось у нас є ШІ, яку проблему він може розв’язати?» ми маємо перейти до запитання «Яку проблему ШІ може розв’язати краще, ніж будь-хто або будь-що інше?»
Бажаєте отримувати дайджест статей?
