Атлас корпуса
выдуманных разговоров про Поиск, Браузер и Алису — чтобы показать, как атлас превращает корпус интервью в карту для исследования.
Перед нами синтетический корпус: часов условной длительности и миллиона слов сгенерированных диалогов — по объёму это около романов величиной с «Войну и мир». Атлас позволяет рассмотреть этот материал целиком: состав интервью, темы продуктов, язык доверия и денег, образы голосового ассистента. Все распределения здесь заданы генератором; расчёты показывают, как метод работает на таком материале.
Графики пересчитаны по синтетическому корпусу той же методикой showcase, что используется в настоящем атласе. Здесь можно изучить способ чтения данных; выводы о пользователях требуют настоящих интервью. Что считается и где заканчиваются возможности метода — в главе «Метод и оговорки».
Корпус одним взглядом
Каждая точка — одно интервью. Вместе они складываются в портрет архива: когда шло поле, сколько длится разговор, про что спрашивали. У корпуса несколько осей — перетасуйте точки и посмотрите на него с разных сторон.
Хроника поля
Хроника показывает, как интервью распределены по времени: где материал собирается в плотные волны, а где остаются промежутки. В синтетическом корпусе этот ритм задан генератором. В настоящем атласе здесь стоит вывод по данным, а причины пиков проверяются по составу волн.
Люди
Возрастная пирамида помогает увидеть состав корпуса: какие группы представлены, как распределён пол и где сведений не хватает. В демо перед нами вымышленные респонденты, а распределение задано генератором. В настоящем атласе здесь стоит вывод по данным о составе выборки.
Города и занятия добавляют к портрету корпуса разные оси. Сравнивайте размер групп и полноту анкет: длинный столбец сам по себе не делает выборку представительной. В синтетическом корпусе состав городов и профессий задан генератором; в настоящем атласе здесь стоит вывод по данным.
Три героя
Карточки Поиска, Браузера и Алисы собирают рядом состав интервью, тон оценок, характерную лексику и мотивы болей. Показатель ×N сравнивает частоту слова в интервью направления с остальным корпусом. В демо различия заданы генератором; в настоящем атласе здесь стоит вывод по данным о каждом направлении.
Карта боли
Из закодированных тем правила выделяют сквозные мотивы. Карта сравнивает частоту каждого мотива в интервью продукта с фоном корпуса: цвет показывает направление и силу различия, а счёт интервью помогает оценить его основание. В синтетическом корпусе распределение задано генератором; в настоящем атласе здесь стоит вывод по данным.
Боли и сегменты
Эта карта переносит сравнение с продуктов на группы респондентов. Переключайте возраст и пол, сопоставляйте lift со счётом интервью и учитывайте пропуски в анкетах. В синтетическом корпусе различия между сегментами заданы генератором; в настоящем атласе здесь стоит вывод по данным, проверенный с учётом состава волн.
Страхи и доверие
Лексиконы собирают слова о доверии, спокойствии и безопасности. График сравнивает их частоты в интервью разных продуктов с фоном корпуса. Начинайте со счёта употреблений, затем смотрите на lift и контекст реплик: совпадение со словарём ещё не объясняет, чего опасается говорящий.
В синтетическом корпусе распределение этой лексики задано генератором. По нему нельзя судить, доверяют ли люди конкретному продукту или считают его источником угрозы. В настоящем атласе здесь стоит вывод по данным, проверенный чтением реплик и составом исследовательских волн.
Деньги: словарь и контекст
Как в разговор входят цена, подписка, оплата и скидки? График позволяет сопоставить денежную лексику по годам, приведя частоты к общему объёму текста. В синтетическом корпусе подъёмы и спады заданы генератором; в настоящем атласе здесь стоит вывод по данным. Для его проверки важно знать, какие продукты и сценарии обсуждались в каждой волне.
Алиса: команды, образы и сравнения
Глава сопоставляет обращения к ассистенту и способы описывать его как собеседника. Командные формы после имени Алисы в демо-тексте: . Ниже правила ищут языковые признаки очеловечивания. В синтетическом корпусе их распределение задано генератором; в настоящем атласе здесь стоит вывод по данным, проверенный по контексту реплик.
Сравнения в кодах тем показывают, какие альтернативы оказываются рядом с Алисой в обсуждении. Читайте их вместе с формулировками тем: соседство названий не говорит, кто оказался лучше и по какому признаку. В демо эти сравнения вымышлены; в настоящем атласе вывод об изменении точки отсчёта требует проверки по волнам и репликам.
Язык эпохи
Временные ряды позволяют проследить, как меняется частота выбранных слов. Нормировка по объёму текста помогает сопоставлять годы с разным количеством интервью. В синтетическом корпусе эти траектории заданы генератором; в настоящем атласе здесь стоит вывод по данным о языке корпуса.
Включайте и выключайте серии, чтобы рассмотреть отдельные слова и их соседство во времени. Совпадение пиков ещё не объясняет их причину: при работе с настоящим корпусом нужно вернуться к тематике волн и самим репликам. Демо показывает способ такого чтения, а его линии не описывают изменения в жизни пользователей.
Проверьте любое слово сами — словарь атласа знает словоформ с частотами по годам. Сравните два слова через запятую: например, гуглить, нейросеть и гпт, подписка и кэшбэк или вкладки и расширения.
Слова года выделяются по частоте относительно остального корпуса. В демо это словесный портрет сгенерированных волн; в настоящем атласе такой список помогает найти темы, к которым стоит вернуться:
Час разговора
Медианная длительность синтетического интервью — мин; медианный объём текста — слов. Чтобы сопоставить ход интервью, метод переводит время каждого разговора в относительную шкалу и считает частоты слов по её отрезкам. В демо форма кривых задана генератором; в настоящем атласе здесь стоит вывод по данным о ходе беседы.
Фраза «не знаю» встречается в синтетическом корпусе раз; число интервью с ней — . В пересчёте на суммарную длительность одно употребление приходится на мин. Это описание сгенерированного текста. В настоящем атласе вывод о сомнении или формировании мнения требует чтения контекста: один счёт фразы его не заменяет.
Голос модератора
Разметка ролей позволяет отделить слова модератора от слов респондента и сравнить их доли в интервью. В синтетическом корпусе медианная доля модератора — % слов. Распределение задано генератором; в настоящем атласе здесь стоит вывод по данным, который нужно читать с учётом формата беседы и точности разметки.
«Зеркало интервью» сопоставляет лексику модератора и респондента: какие словоформы чаще встречаются у каждой стороны. Так можно искать различия между языком вопросов и языком личного опыта. В синтетическом корпусе эти различия заданы генератором; в настоящем атласе здесь стоит вывод по данным, а отдельное слово не гарантирует правильного определения роли.
По разметке синтетических диалогов медианное число вопросов модератора — ; доля употреблений «не знаю», принадлежащих респонденту, — %. Эти показатели помогают сравнивать устройство бесед. В настоящем корпусе вопросы, короткие подтверждения и признания в незнании нужно читать в контексте, прежде чем делать вывод о работе модератора.
Кунсткамера
Рекорды позволяют посмотреть на корпус через отдельные крайние значения: длительность интервью, объём текста и частоты выражений. В демо они вычислены по выдуманным разговорам. Это способ познакомиться с материалом и расчётами; в настоящем атласе за каждой такой карточкой стоит проверка исходного интервью.
Метод и оговорки
Данные. Демо содержит синтетических интервью в вымышленных волнах; датированная часть охватывает период — . Тексты, роли, темы, продукты и оценки здесь сгенерированы, а агрегаты пересчитаны методикой showcase. В рабочем процессе настоящего корпуса записи проходят автоматическую транскрибацию (ASR), роли определяет отдельная модель по диаризации и лексике, а темы, продукты и сентимент размечает LLM-пайплайн. Ошибки распознавания и разметки требуют проверки.
Что значит lift. Отношение частоты в группе к выбранному фону: значение выше единицы означает более частое употребление, ниже — более редкое. Фон указан в описании соответствующего графика. Сопоставляйте lift со счётом n; клетки с малым счётом скрыты. Даже в настоящем корпусе такие сравнения описывают материал качественных интервью и не дают долей рынка.
Главные ограничения.
- Это демо на синтетике: интервью, волны, респонденты, цитаты и распределения вымышлены. Расчёты выполнены настоящей методикой, но по ним нельзя делать выводы об исследованиях Яндекса или его пользователях. В настоящем корпусе временные тренды также зависят от меняющегося состава волн и повестки исследований.
- У интервью дата волны не распознана. Они исключены из хроник и временных трендов, но остаются в остальных срезах. Отсутствие даты не означает отсутствия интервью в корпусе.
- Мотивы тем выделяются правилами-регэкспами; покрытие зависит от типа тем и их формулировок. В демо формулировки синтетические, в настоящем корпусе они получены LLM-разметкой. При чтении результатов нужно проверять ошибки классификации и возможные дубли: их влияние нельзя заранее считать малым.
- Демографические сведения заполнены не для всех интервью. Возрастные, гендерные и профессиональные срезы используют доступные поля, поэтому состав сравниваемых групп может различаться. Демо сохраняет эту особенность метода, но сами анкеты вымышлены.
Воспроизводимость. Правила мотивов, лексиконов, направлений и профессий находятся в ingest/showcase_rules.py; атлас пересчитывается командой python -m ingest showcase. Демо-агрегаты получены применением этого метода к синтетическому корпусу. В настоящем корпусе цитаты привязаны к сегментам и извлекаются дословно; в демо и цитаты, и их источники вымышлены.
Атлас показывает, как исследовать корпус: от общего распределения — к волне, теме и отдельной реплике. Демо знакомит с методом на синтетическом материале. Сотрудники Яндекса могут войти и подключить агента к настоящему корпусу, чтобы задавать вопросы о своих продуктах и аудиториях.
Подключить агента →