Налаштування промпту для переписування тексту з LLM-суддею: 4 раунди, $3 і чому ми зупинилися на v02

Lirnyk переписує виділений текст у будь-якому застосунку на Mac одним сполученням клавіш. Кожен профіль — це просто промпт. Ми перестали гадати, чи добрий наш промпт для профілю Corporate, і виміряли його.

Навіщо взагалі вимірювати промпт

Профіль у Lirnyk — це коротка інструкція, яка йде до ШІ разом із виділеним текстом. Профіль Corporate, який ви натискаєте, коли чернетка має звучати по-робочому, вийшов з таким промптом:

Fix typos and grammar. Be polite and professional, follow corporate communication style. Keep the original language. Output only the rewritten text.

Його написали вручну й перевіряли лише щоденним користуванням. Так видно, коли щось зовсім не так, але не видно, чи одна версія краща за іншу. Поганий промпт дає погані результати на будь-якій моделі, тож перш ніж порівнювати моделі, ми вирішили довести до ладу сам промпт.

Як відбувається вимірювання

Ми зібрали невеликий стенд на Python. Один раунд триває кілька хвилин і виглядає так:

  1. Незмінний тестовий набір. Claude написав 12 коротких текстів, 6 англійською і 6 українською: повідомлення в чаті, листи, баг-репорти, технічну документацію й дописи з думкою. Вони сердиті, тривожні, захоплені, пасивно-агресивні або нейтральні, і в них є помилки, як у справжніх чернетках. Два тексти вже написані добре — щоб упіймати промпт, який псує гарний текст. Ми переглянули набір і заморозили його, тож кожен раунд вимірюється на тих самих текстах.
  2. Письмові критерії. Claude також описав, що таке добре переписування в діловому стилі: 7 критеріїв з оцінкою від 0 до 10. Чотири стосуються будь-якого профілю: зберігає мову, зберігає зміст і факти, видає лише переписаний текст і виправляє помилки без зайвих правок. Три — лише для Corporate: ввічливий професійний тон, діловий стиль, довжина й структура, близькі до оригіналу.
  3. Запуск промпту так само, як у застосунку. Кожен текст іде до дешевої популярної моделі на OpenRouter, DeepSeek V4.1 Flash, з промптом у системному повідомленні — точно так, як його надсилає Lirnyk. Ми записуємо результат, токени, вартість і час.
  4. Оцінювання кожного результату. Claude Opus 5.5 оцінює кожне переписування за кожним критерієм і пише однорядкове пояснення. Кожен результат оцінюється окремим викликом, щоб один текст не впливав на оцінку іншого.
  5. Пропозиція кращого промпту. Claude читає оцінки й коментарі судді та пише наступну версію. Він бачить назви критеріїв, але не їхній повний текст, і має тримати промпт коротким і загальним, тож не може просто переписати критерії чи додати правила під конкретні тестові тексти.

Перед кожним наступним раундом людина переглядає результати попереднього. Мету ми поставили таку: 10 з 10 за кожним критерієм для кожного тексту, двічі поспіль.

Раунд 1: промпт із застосунку має 9,13, але найнижча оцінка — 3

Середні 9,13 з 10 звучать непогано. Найнижчі оцінки показують, що за ними ховається:

  • Сарказм пройшов без змін (3/10 за тон). Лист із нагадуванням про прострочений звіт містив фразу «Розумію що у вас багато важливіших справ ніж наш спільний проект». Переписування розставило коми й залишило шпильку дослівно.
  • Вигаданий зміст (5/10 за збереження змісту). Сердитий допис про ями на дорозі отримав звертання до міської ради та прохання наприкінці. Жодного з них автор не писав.
  • Зайві правки в доброму тексті (6/10 за виправлення помилок). Англійський лист без жодної помилки повернувся з «I'm sorry», заміненим на «I apologize», і «The updated version is attached», заміненим на «Please find the updated version attached».
ОригіналСкільки ще мешканці Вербівки будуть терпіти цей жах на дорогах?! Вулицю Садову обіцяли відремонтувати ще два роки тому а там і досі ями по коліно. […] Ми платимо податки і маємо право на нормальні дороги!
Результат v01Шановні представники міської ради! Скільки ще мешканці Вербівки будуть змушені терпіти незадовільний стан доріг? […] Ми сплачуємо податки й маємо право на належний стан доріг. Просимо вжити конкретних заходів для вирішення цього питання.
Раунд 1, промпт v01. Виділених звертання й прохання в оригіналі не було. Суддя поставив 5/10 за збереження змісту.

Після раунду автоматичний редактор промпту залишив початковий текст і додав інструкції: нейтралізувати сарказм і ворожість; не чіпати формулювань, які вже правильні; зберігати всі факти; не додавати привітань, підписів, адресатів, прохань чи тверджень.

Раунд 2: v02 піднімає найнижчу оцінку з 3 до 7

Fix typos and grammar. Be polite and professional, follow corporate communication style: rephrase rude, emotional, sarcastic or passive-aggressive wording as neutral, direct business language, and leave wording that is already correct and professional unchanged. Preserve all facts and specific details. Do not add greetings, sign-offs, addressees, requests or claims that are not in the original, and keep its structure and approximate length. Keep the original language. Output only the rewritten text.

Середня оцінка зросла до 9,31, і жоден критерій ні для якого тексту не опустився нижче 7. Допис про ями зберіг гнів у вигляді фактів, без вигаданих звертань і прохань. Саркастична фраза в листі перетворилася на «Розумію, що у вас багато справ». Суддя все ще почув шпильку в «якщо ви знайдете хвилинку» — це найнижча оцінка раунду, 7 за тон.

ОригіналВулицю Садову обіцяли відремонтувати ще два роки тому а там і досі ями по коліно.
Результат v02Вулицю Садову обіцяли відремонтувати ще два роки тому, але там досі ями завглибшки по коліно.
Раунд 2, промпт v02. Кома на місці, і ями по коліно теж; v01 перетворив їх на «ями, що становлять небезпеку».

Раунди 3 і 4: більше правил, кращих результатів немає

Редактор промпту продовжував. Щораунду він додавав правила під те, що отримало найнижчі оцінки: зберігати функцію фрази, пом'якшувати надмірну ввічливість, а не видаляти її, не замінювати правильні слова синонімами, зберігати імена й підписи. Промпт виріс з 504 символів до 742, а потім до 1079.

Оцінки за цим не встигали. v03 у середньому мав 9,21 — менше, ніж v02. v04 дійшов до 9,37, лише на 0,06 більше за v02. Це в межах того, наскільки може коливатися сам суддя, адже кожен раунд оцінювали один раз. Тим часом найнижча оцінка погіршилася: 6 у раунді 3 і 5 у раунді 4, коли емодзі повернулися в радісне повідомлення команді українською.

Ціна виявилася там, де ми не чекали. Переписаний текст лишався того самого розміру, близько 4000 символів за раунд, але кількість вихідних токенів моделі майже подвоїлася: з 5964 до 10 757. DeepSeek міркує, перш ніж відповісти, а довший список правил дає йому більше над чим міркувати. Медіанне переписування тривало 2,2 секунди з v01, 3,4 з v02 і 4,5 з v04, а найповільніше переписування з v04 — 16 секунд.

Найнижча оцінка (з 10)Найгірша окрема оцінка будь-якого тексту за будь-яким критерієм
v01: 3/103v01v02: 7/107v02v03: 6/106v03v04: 5/105v04
Середня оцінкаСереднє з усіх 84 оцінок: 12 текстів × 7 критеріїв. Шкала починається з 9
9,009,259,50v01: 9,139,13v01v02: 9,319,31v02v03: 9,219,21v03v04: 9,379,37v04
Секунд на одне переписуванняМедіанний час одного переписування з DeepSeek V4.1 Flash
v01: 2,2 с2,2 сv01v02: 3,4 с3,4 сv02v03: 3,4 с3,4 сv03v04: 4,5 с4,5 сv04
Довжина промптуКількість символів у промпті
v01: 148 символів148v01v02: 504 символів504v02v03: 742 символів742v03v04: 1079 символів1079v04
Результати за версіями промпту
Промпт Довжина Середня Найнижча Оцінок 10 Ціна одного переписування Медіанний час
v01 (у застосунку)1489,13355%$0,000272,2 с
v02 (обрано)5049,31754%$0,000353,4 с
v037429,21656%$0,000433,4 с
v0410799,37560%$0,000584,5 с
v051476не тестувався

Чому ми не запускали v05

Після раунду 4 редактор запропонував v05 на 1476 символів — удесятеро довший за початковий промпт. Кілька нових правил були спрямовані на конкретні тексти з тестового набору: прибирати емодзі, зберігати «заявлене право» як право, перетворювати удавано ввічливі фрази на щирі прохання. Це вже промпт, який вивчає тест, а не завдання. Ще до початку ми записали таке як провал, навіть якщо оцінки зростуть, тож на цьому зупинилися.

Рішення: v02

Ми обрали v02, а не версію з найвищою середньою оцінкою:

  • Це було єдине справжнє покращення. Найнижча оцінка зросла з 3 до 7, і дві найнезручніші помилки v01 зникли.
  • Жодна наступна версія не була явно кращою. Середня оцінка змінювалася менше, ніж, імовірно, коливається сам суддя, а найнижчі оцінки погіршилися.
  • Вона не повільніша за жодну іншу покращену версію. У застосунку, де після натискання клавіш ви чекаєте на результат, секунда важить більше за частку цента.

У Lirnyk 0.4.0 v02 стане стандартним промптом профілю Corporate. Якщо ви не змінювали промпт цього профілю, він оновиться сам. Якщо змінювали, ваш промпт залишиться як є, а нова кнопка Reset to Default під ним у Налаштуваннях → Profiles замінить його на v02 одним натисканням.

Чого ми навчилися

  • Дивіться на найнижчу оцінку, а не на середню. Середня за чотири раунди ледь зрушила: з 9,13 до 9,37. Корисний сигнал був у найнижчій оцінці — вона позначає переписування, яке користувачеві справді було б соромно надіслати.
  • Автоматичне покращення промпту швидко виходить на плато. Після одного корисного кроку кожна нова версія додавала правила, що суперечили одне одному: прибери сарказм, але не змінюй правильних формулювань. Оцінки просто коливалися.
  • Довший промпт коштує часу, а з моделлю, що міркує, — більше, ніж здається. Відповідь лишалася того самого розміру, а приховані міркування подвоїлися.
  • 10 з 10 скрізь — хибна мета для дешевої швидкої моделі. Мінімум 7 і жодного вигаданого змісту — мета, з якою можна випускати.
  • Найдорожче — оцінювання. Увесь експеримент коштував $3,26, з них $0,22 — на тестовий набір і критерії. Майже все інше — це Claude, який прочитав і оцінив 48 переписувань.

Що далі

Той самий стенд налаштує профілі Friendly і Tech. Потім, маючи готові промпти, ми зможемо відповісти на питання, заради якого все й будувалося: яка локальна модель Ollama переписує достатньо добре, особливо українською, щоб Lirnyk працював повністю офлайн.

Якщо ви пишете робочі листи, повідомлення в Slack чи баг-репорти кількома мовами, встановіть Lirnyk і розкажіть нам на GitHub, де профіль Corporate досі помиляється.