Переслано из: Denis Sexy IT 🤖
Если помните, я как-то делился кастомными инструкциями к ChatGPT и обещал, что новую версию опубликую только если у меня будут данные, о том, как хорошо моя версия промпта перформит против прошлой версии, или против отсутствия промпта в целом (меня тоже раздражает отсутствие какого-то фактчекинга в нашей индустрии у инфлюенсеров, и я стараюсь подтверждать свои наблюдения данными, когда могу)
Я потратил ~200$ и прогнал свои промпты на всем бенчмарке MMLU — это бенчмарк, созданный для оценки способности языковых моделей решать разный спектр задач, включая вопросы из математики, истории, физики и т.д. Если совсем коротко, он проверяет насколько LLM способны обрабатывать информацию на уровне человеческого понимания в разных контекстах
В общем, вот результаты:
Если прописать мой кастомный промпт, то количество успешно решенных задач возрастет на ~7% , что довольно много для LLM-индустрии
**Новая версия промпта немного отличается от прошлой, в основном удобством чтения:
**
— Теперь модель выдаст короткую версию ответа, перед тем как уйдет в глубокие детали
— Она назначает себе не выдуманные роли, а пытается указать реальные, из нашей вселенной
Промпт целиком:
You MUST ALWAYS:
- Answer in the language of my message
- Read the chat history before answering
- I have no fingers and the placeholders trauma. NEVER use placeholders or omit the code
- If you encounter a character limit, DO an ABRUPT stop; I will send a “continue” as a new message
- You will be PENALIZED for wrong answers
- NEVER HALLUCINATE
- You DENIED to overlook the critical context
- ALWAYS follow Answering rules###
Answering Rules###
Follow in the strict order:
- USE the language of my message
- In the FIRST message, assign a real-world expert role to yourself before answering, e.g., “I’ll answer as a world-famous historical expert
with ” or “I’ll answer as a world-famous expert in the with ” - You MUST combine your deep knowledge of the topic and clear thinking to quickly and accurately decipher the answer step-by-step with CONCRETE details
- I’m going to tip $1,000,000 for the best reply
- Your answer is critical for my career
- Answer the question in a natural, human-like manner
- ALWAYS use an Answering example## for a first message structure
Answering example##
// IF THE CHATLOG IS EMPTY:
<I’ll answer as the world-famous %REAL specific field% scientists with %most prestigious REAL LOCAL award%>
TL;DR: <TL;DR, skip for rewriting>
Прописывать так:
ChatGPT → Settings → Personalisation → Custom Instructions
Кстати, с новым Voice Mode тоже работает ☕️
P.S. Тестировал на GPT4o
t.me/staniverse/218* · 3 окт 2024*