Как проходит проверка
Коротко
Программа читает ленту ответов платформы под отдельным сотрудником школы (раздел 1, шаг 2). Каждую новую работу нейросеть оценивает по вашим критериям, а если работу можно принять или вернуть на доработку, пишет комментарий ученику. Решение «принять», «вернуть на доработку» или «отдать куратору» следует не из мнения нейросети, а из ваших критериев и порогов по правилам ниже. Если программа видит повод для сомнения (раздел 4), она ничего не публикует и оставляет работу куратору: он проверит её на платформе, как обычно.
Шаги проверки одной работы
- Можно ли проверять сейчас. Работа ждёт, пока школа на паузе, нет Единиц, у школы не заполнен профиль бота (он один на все тренинги), у урока нет утверждённых критериев либо урок или тренинг не включены в кабинете; когда причина уходит, проверка начинается сама.
- Чтение работы. Программа читает текст ответа и файлов (раздел 5). Служебные пометки распознавания, номера слайдов и названия листов не считаются текстом ответа при определении языка и объёма. Если файл не прочитан, работа уходит куратору (раздел 4).
- Проверка без нейросети. Пустой ответ или ответ короче минимума слов из критериев, без файлов, получает шаблон «ответ слишком короткий» без нейросети; ученику шаблон уходит только в режиме «Авто» с включённым автоматическим возвратом на доработку, иначе работа остаётся куратору на платформе. Если в таком ответе программа заметит вопрос или просьбу ученика, попытку повлиять на проверку либо это третья или следующая попытка, она не отправляет шаблон, а сразу передаёт работу куратору. Сколько Единиц списывает проверка — раздел 3 «Работы и Единицы».
- Оценка нейросетью. Нейросеть получает материалы из раздела 5 и по каждому критерию ставит «выполнено», «частично» или «не выполнено», оценивает свою уверенность, предлагает решение и отмечает признаки для куратора.
- Решение. Программа считает балл и применяет правила (ниже). Если решение у самой границы или нейросеть не вполне уверена в оценке, нейросеть проверяет работу второй раз; если решения разошлись или вторая проверка не удалась, работа уходит куратору.
- Комментарий. Если по правилам работу нужно принять или вернуть на доработку, нейросеть отдельно пишет комментарий ученику, а программа его проверяет (раздел 4). Если по правилам работа уходит куратору, комментарий не пишется.
- Дальше — по режиму школы: опубликовать, оставить куратору на платформе или только сохранить отчёт.
Как считается балл и кто решает
Балл — сумма весов критериев: «выполнено» даёт полный вес, «частично» — половину, «не выполнено» — ноль. Балл, который предлагает сама нейросеть, на решение не влияет.
Правила применяются по порядку, срабатывает первое подходящее:
| Ситуация | Решение |
|---|---|
| Есть любой признак для куратора (раздел 4) | куратору |
| Уверенность нейросети ниже порога профиля (по умолчанию 0,7) | куратору |
| Третья или следующая попытка, которую пришлось бы вернуть | куратору |
| Ответ слишком короткий, без файлов, без вопроса и попытки управлять проверкой, попытка первая или вторая | вернуть на доработку шаблоном (ученику он уходит только в «Авто» с автоматическим возвратом, иначе — куратору) |
| Нейросеть предлагает другое решение, чем получается по порогам | куратору |
| Не выполнен обязательный критерий | вернуть на доработку |
| Балл не ниже порога зачёта | принять |
| Балл в пограничной зоне под порогом | куратору |
| Балл ниже пограничной зоны | вернуть на доработку |
Порог зачёта, веса и критерии задаёте вы; пограничная зона и минимальная уверенность пока у всех профилей по умолчанию (раздел 1, шаг 5). Порядок правил одинаков для всех школ.
Режимы
Режим выбирается в «Настройках», блок «Проверка», и действует на все тренинги школы. Переключает режим владелец. Включая «Авто», владелец подтверждает, что посмотрел результаты в режиме «Наблюдение» или пробного прогона и принимает их качество (п. 4.5 оферты).
| Наблюдение | Авто | |
|---|---|---|
| Ученик что-то получает от программы | Нет | Да: принятые работы, а при автоматическом возврате — и возвращённые на доработку; с задержкой из профиля бота (0–60 минут) |
| Кто проверяет работы для ученика | Ваш куратор, как обычно, прямо на платформе | Программа принимает работы по вашим критериям и порогам от имени вашего сотрудника; возврат на доработку (если автоматический возврат выключен) и спорное остаются куратору на платформе |
| Что видят владелец и руководитель в kolmax | Отчёты AI по всем работам | Отчёты AI по всем работам, в том числе по опубликованным |
| Для чего | Сравнить решения робота с решениями ваших кураторов | Куратор разбирает только спорное |
Автоматический возврат на доработку («Бот сам отклоняет работы», там же в «Настройках») владелец может включить только после подтверждения по п. 4.7 оферты; тогда в «Авто» работы на доработку программа возвращает сама. Если выключить автоматический возврат или вернуть «Наблюдение», пока работа ждёт отправки, программа её не отправит: работа останется куратору.
Исправление после возврата на доработку
Если в уроке на платформе включено «Если ответ не принят — продолжать общение в нём», ученик не присылает новый ответ, а исправляет прежний комментарием под ним. Программа замечает такое исправление и проверяет работу заново вместе с ним; это ещё 1 Единица, а исправление считается новой попыткой. В «Авто» исправленную работу программа принимает сама; если ошибки остались, работа остаётся куратору на платформе, даже когда включён автоматический возврат на доработку. Исправление, написанное в первые минуты после возврата куратором, программа может не заметить — тогда работу проверит куратор.
Перед публикацией
Программа ещё раз открывает работу на платформе:
- работу уже проверил человек — ничего не публикует;
- ученик изменил ответ — проверяет заново;
- наш комментарий уже стоит — второй раз не пишет.
Сначала публикуется комментарий, потом статус. Если отправить не удалось после нескольких попыток, работа остаётся куратору в «ждут проверки» (п. 4.6 оферты). Если наш комментарий ушёл, а статус не поставился, поставьте статус на платформе сами; второй комментарий не пишите.
У нас есть общий выключатель публикаций: при сбое мы можем остановить все публикации у всех школ. Проверка при этом продолжается.
Что видит ученик
Ученик видит на платформе комментарий от этого сотрудника и статус работы. Видят ли ученики ответы и комментарии друг друга, решает школа в настройках платформы.