Что дает тестирование. Как подобрать профессиональный персонал? Тесты при приеме на работу. Что называют тестированием

Сегодня многие компании и учебные центры обращают свое внимание на онлайн-тестирование , почувствовав все выгоды, которые несет этот инструмент проверки знаний и навыков. Поэтому все чаще возникают вопросы о том, как проводится подобное тестирование, какие требования предъявляются к программному обеспечению и как осуществить контроль за объективностью результатов. Все актуальные вопросы мы рассмотрим в этой статье.

Что такое онлайн-тестирование?

Все мы помним студенческие времена, когда с дрожащими руками заходили в аудиторию, отвечали на вопросы преподавателя во время экзамена. Похожие эмоции люди испытывают и во время собеседования, стараясь показать себя с лучшей стороны и продемонстрировать свои знания. Легко заметить, что обе процедуры имеют много общего и обычно требуют личного присутствия участников.

Но как быть, если студенты или претенденты на должность находятся в других городах? Оплачивать переезд соискателям – дорогостоящее занятие. Это верно и для людей, обучающихся дистанционно в учебных центрах. Именно для решения этих задач и нужна система онлайн-тестирования – способ экзаменации и определения навыков человека через интернет. Все, что нужно – это компьютер и доступ в сеть.

Обычно онлайн-тестирование применяется в различных формах – это могут быть анкеты, языковые и числовые тесты, абстрактно-логические задачи. Иногда нужно давать устные ответы на вопросы программы. Методики всегда разные и зависят они от целей, которые ставит организация.


Онлайн-тестирование для учебных центров

Проведение тестирования в обучающих центрах – это инструмент, который дает возможность с минимальными затратами времени и финансовых ресурсов объективно оценить знания и навыки большого количества студентов. Онлайн-тесты всегда положительно воспринимаются и могут проводится в общем порядке или же по индивидуальному графику, как разновидность самостоятельной работы студентов.

Этот инструмент, построенный на базе системы дистанционного обучения (СДО), приобрел большую популярность, ведь он позволяет существенно расширить аудиторию и настроить тесты под индивидуальные потребности каждого учебного центра. Ушли в прошлое времена бумажной работы, связанной с тестированием студентов.

Информационные технологии предоставляют сегодня широкий спектр методов и приемов организации проверки знаний на базе компьютера. Онлайн-тестирование может быть организовано очень оперативно, именно тогда, когда оно наиболее актуально и востребовано. И сделать это сможет специалист самостоятельно, при наличии минимального опыта владения ПК. Эти причины обусловили популярность дистанционного метода проверки знаний в частных обучающих центрах и в государственных ВУЗах.

Online Assessment для HR-отделов

В настоящее время профессиональное тестирование применяется, как первый этап отбора не только во многих крупных компаниях, но и в небольших фирмах. Соискатели должны пройти автоматизированные интернет-тесты для определения манеры поведения, мотивации, способностей и знаний кандидатов.

Такая форма проверки может применяться и в процессе корпоративного обучения персонала , как способ контроля успеваемости. Благодаря этой системе проверяются реальные качества сотрудников, их психологические и профессиональные особенности, соответствия требованиям должностных позиций, а также выявление потенциальных возможностей специалистов.

Главным преимуществом подобного тестирования можно назвать удобство организации и экономичность. Не стоит забывать и про объективность, ведь перед компьютером все равны. Претендент на должность или сотрудник сможет свободно сосредоточиться на ответах, показав истинный уровень знаний. Однако стоит заметить, что такая проверка не сможет полностью заменить личное общение и дать абсолютно точное представление о навыках испытуемых.

Организация онлайн-тестирования

Для проведения экзаменации на базе компании или учебного центра, необходимо развернуть соответствующий модуль в системе дистанционного обучения. Чаще всего используются коммерческие расширения (модули) для СДО Moodle – эта система является бесплатной и установка на сервер занимает не более 10 минут. Есть и готовые онлайн-сервисы для проведения проверки знаний, однако нельзя дать полную гарантию объективности систем, которые вы не администрируете.


Важно, чтобы в модуле были качественно реализованы основные функции (создание проведение, проверка тестов). Перед началом работы пользователь должен заполнить регистрационную форму, получить свой индивидуальный номер. Одним из основных требований к организации тестирования является разработанная система оценивания результатов. Обычно, за правильный ответ дается один балл, за неправильный – ноль. Но бывают и более сложные алгоритмы выставления оценок, которые применяются в психологических и других узкоспециализированных тестах.

Как оценить модуль Online Assessment?

Выбирая решение для онлайн-тестирования, в первую очередь нужно обращать внимание на его функциональность и удобство использования. А потому к модулям обычно предъявляют такие требования:

  • Доступ к тестированию и администрированию через обычный веб-браузер.
  • Возможность добавлять файлы любого формата со ссылкой на них из статей.
  • Качественная система отчетности по результатам тестирования с выводом диаграмм.
  • Возможность создания психологических тестов.
  • Поддержка стандарта ipv6 .
  • Настраиваемая система оценок для каждого теста (баллы, проценты).
  • Использование медиа-контента в вопросах тестов.
  • Наличие различных типов вопросов: множественный выбор, одиночный выбор, произвольный ввод.
  • Автоматическая проверка тестов.
  • Удобный и русифицированный интерфейс.

Контроль результатов

При дистанционной форме тестирования и экзаменации, ключевой становится проблема контроля за достоверностью результатов. Именно поэтому и принимаются специальные меры, которые призваны минимизировать возможность обмана и обеспечить объективность тестирования:

  • Доступ к учебным ресурсам осуществляется только по индивидуальным паролям или идентификаторам.
  • Используются шифры и кодировки с целью защиты тестов от несанкционированного доступа со стороны.
  • Программы тестирования запускаются администраторами только под паролем.
  • Использование дополнительных технических средств (веб-камер).
  • Ограничение времени на ответ, применение случайного перемешивания вариантов ответов.
  • Использование статистической защиты при тестировании – оценка данных протоколов специальными алгоритмами, которые позволяют обнаружить подлог.

Эти и другие методы призваны обеспечить достоверность и точность проведенного тестирования и уже доказали свою эффективность. Но конечно главной гарантией является профессионализм и слаженная работа ответственных сотрудников при проведении экзаменации.

Как видим, система онлайн-тестирования получила широкое распространение и уже давно внедрятся многими компаниями, не только из-за того, что является крайне выгодным, экономичным решением, но и потому что позволяет оперативно организовывать проверку знаний, получая максимально объективный результат.

Верю, что с помощью качественного контента можно обогнать конкурентов, завоевать доверие читателя и превратить его в благодарного клиента.

Перевод: Ольга Алифанова

Если бы вам пришлось ответить на вопрос "Что такое тестирование?", что бы вы сказали? Это понятие довольно трудно впихнуть в пару-тройку коротких предложений.

Плюс к тому многие недопонимают, что же такое тестирование, чем занимаются тестировщики – даже среди самих тестировщиков. Тестирование как навык и как профессия постоянно развивается. В этой статье мы рассматриваем, чем тестирование является, и чем нет.

Из чего состоит тестирование

Расследование

Расследование определяется как "наблюдение или изучение путем близкого наблюдения и систематического изучения" .

Процесс тестирования должен быть расследованием. Мы не всегда знаем, что получим на выходе, но наша задача – выяснить информацию, которая поможет людям принимать решения. Это не просто сравнение работы системы со спецификацией, где прописан ожидаемый результат. Мы должны мыслить критически, задавать сложные вопросы, рисковать, подмечать то, что на первый взгляд кажется несущественным, а при тщательном анализе оказывается важным и требующим дальнейшего изучения.

Исследование

Исследовательское тестирование определяется как одновременное обучение, тест-дизайн и прогон тестов . Тестировщик исследует приложение, узнает новую информацию, учится, находит что-то новое для тестирования по ходу дела. Он может заниматься этим в одиночку или в паре с другим тестировщиком (а может, и разработчиком).

Тестирование не должно восприниматься, как прогон списка готовых тестов или тест-кейсов, дающих твердый "pass/fail" результат. Если у вас есть юзер-стори или набор требований, конечно, важно иметь их в виду. Однако критерии приемки бывает полезно переформулировать как "критерии отказа ". Когда критерии приемки не удовлетворены, продукт не принят, но если они в порядке, это не значит, что в ПО нет багов.

Проверки и верификация должны совмещаться с исследованием и расследованием, а также вопросами в духе "Что будет, если…", на которые вы можете не знать ответа, пока не попробуете, и ответы на которые не покрыты вашими готовыми кейсами.

Снижение рисков

Одна из причин, по которой мы тестируем – это поиск дефектов, рисков и другой информации о продукте, которая позволяет нам действовать, чтобы конечный пользователь не пострадал. Мы можем:

  • Исправлять баги.
  • Переоценить и изменить изначальные требования.
  • Помочь пользователю с продуктом.
  • Создать пользовательскую документацию.
  • Донести информацию об имеющихся проблемах до заинтересованных лиц.

Устранить все возможные баги, с которыми может столкнуться пользователь, просто невозможно, каким бы сложным не было ваше ПО. Однако, тестируя, мы снижаем риск того, что пользователь с ними столкнется – или серьезность последствий такого столкновения.

Ценность

Тестирование – это ценная часть разработки ПО, но его часто недооценивают из-за его непредсказуемой и креативной природы.

Результат ежедневного труда разработчика – это код, аналитика – требования или документация, однако результаты труда тестировщика может быть довольно сложно измерить. Зачастую тестировщикам сложно рассказать о своих планах, своем прогрессе и результатах. Те, кто не разбирается в тестировании, в результате плохо понимают, что было сделано, как, и почему. В итоге понять ценность тестирования сложно. В мире множество компаний, разрабатывающих ПО вообще без тестировщиков.

Отсутствие счетного результата, создаваемого тестировщиками – одна из причин, по которой некоторые предпочитают использовать тест-кейсы как способ измерения – их можно легко сосчитать. Но ценность тестирования – это намного больше, чем тест-кейсы. Исследовательское тестирование, возможно, не дает в результате набора четких кейсов, однако тестировщик находит больше интересных багов, отступая от жестких сценариев.

Отчасти поэтому людям нравятся метрики, которые учитывают количество заведенных багов, написанных и пройденных кейсов, и других вещей, которые можно сосчитать. Некоторые проекты используют эти метрики, чтобы измерять качество продукта, а также качество работы разработчиков и тестировщиков. Эти метрики концентрируются на неправильных вещах и могут вас обманывать.

Тестирование ценно на всех стадиях жизненного цикла разработки, не только когда пишется код. Вот что еще можно протестировать:

  • Требования
  • Дизайн
  • Предположения
  • Документацию
  • Инфраструктуру
  • Процессы.

Задача тестировщика – задавать вопросы, исследовать, критически размышлять над этими вещами. В результате то, что могло бы стать багом в процессе разработки, можно изловить гораздо раньше.

Коммуникация

Коммуникация – это огромная часть работы тестировщика. Тестировщики предоставляют информацию о качестве программного продукта, поэтому очень важно передавать эту информацию точно, чтобы заинтересованные лица принимали верные решения.

Человек может начать работать тестировщиком, имея слабые технические навыки, но если он силен в коммуникации и может внятно донести свою мысль – это куда важнее.

Тестировщики должны использовать правильные слова и верно строить фразы, чтобы они не были противоречивыми – так снижается риск недопонимания. То, что вы хотели сказать – необязательно то, что вы в итоге сказали, и часто люди делают допущения и в результате предпринимают неверные действия, потому что коммуникация была плохой или недостаточной.

Нам нужно регулярно общаться с людьми, играющими различные роли, находящимися на разных позициях и обладающих разным объемом знаний о продукте.

  • С разработчиками, задавая им вопросы и узнавая больше о продукте, который они создают. Разработчики помогают нам вникать в технические аспекты, и им мы объясняем, что за баги мы нашли и как их воспроизвести.
  • С владельцами продукта, чтобы понимать требования, задавать вопросы по сценариям использования и делиться информацией насчет этих сценариев, чтобы они могли принимать решения насчет релизов продукта.
  • С тестировщиками. Если вы работаете в команде тестировщиков, очень важно общаться с коллегами, обсуждать с ними проблемы и принимать решения. Возможно, вам придется тренировать новичка или джуниора, и очень важно внятно объяснять им их задачи и помогать, если им приходится нелегко.
  • С пользователями и заказчиками, чтобы убедиться, что их ожидания и их проблемы правильно поняты. Если вы помогаете им решить проблему, вы должны быть способны объяснить, как пошагово избавиться от нее, так, чтобы собеседник вас отлично понял.
  • С менеджерами, чтобы сообщить, что было проделано и что осталось сделать, чтобы проинформировать их о рисках и их последствиях, а также временных рамках. Если вы предлагаете улучшения, внятно рассказывайте о своих идеях и их влиянии на продукт.

Письменная коммуникация важна не меньше устной. Создать блестяще написанную, обширную документацию, которая никому не нужна, легче легкого. Мы должны убедиться, что используем правильный способ общения в каждом конкретном случае, будь то человек, процесс или проект.

Потенциальная бесконечность

По сути, мы всегда тестируем только выборку. Каждый нетривиальный продукт обладает непредставимым количеством параметров с большим количеством возможных значений. Откуда вы знаете, что тестируете важные значения? Мы не можем протестировать все.

Часть нашей работы – принятие решений о том, что тестировать, понимание последствий того, что будет протестировано только это, и способность обосновать свой выбор.

Из чего тестирование не состоит

Простота

О тестировании часто думают как о чем-то, чем может заниматься любой. Возможно, в какой-то степени это правдиво – любой может исследовать продукт, задавать вопросы о нем, прогнать пошагово тест-кейс или проверить, соответствует ли продукт списку требований. Но чтобы делать это хорошо и систематически, нужен настоящий навык.

Нам часто говорят "пишите кейсы так, чтобы их мог прогнать любой дурак", и из-за этого создается ложное впечатление, что тестировать очень просто. Мы тупо пишем тесты согласно критериям приемки, не так ли? Но тестировщики, тестирующие свободным поиском, знают, что это не так.

Даже проверки – не такое-то простое дело. Мы принимаем непростые решения, где нужны эти проверки, и какие из них следует автоматизировать. Эти решения требуют понимания фреймворков автоматизации, навыка программирования, знания, как работает API, и владения инструментами вроде Selenium. Резюмируя, мы должны разбираться в приличном наборе технологий. Помимо этого, нам нужно знать, что нужно автоматизировать, а к чему автотесты подпускать нельзя.

Автоматизируемость

"Ручные тестировщики нам больше не нужны – мы можем автоматизировать все!" Все мы видели те или иные вариации этой фразы в Твиттере, на форумах и в статьях. Тестирование – это исследовательская, детективная деятельность, и ее невозможно заменить автоматизированными проверками. Компьютер технически не способен исследовать продукт так, как это делает человек.

Мы можем автоматизировать те или иные проверки, но компьютер и человек будут прогонять их по-разному. Живой человек заметит многое из того, на что никогда не обратит внимание машина, и прислушается к своему ощущению "тут что-то не так" – и, соответственно, даст обратную связь не только по конкретной проверке, но и по всему подмеченному в процессе. Компьютер сделает только то, что ему сказано сделать. Автоматизированные проверки очень ценны для тест-стратегии, но на данный момент неспособны заменить живых тестировщиков, потому что люди и машины занимаются принципиально разными вещами.

Тестировщики используют инструменты, в том числе автотесты, для поддержки своей работы. Специальные инструменты помогают нам генерировать данные, автоматизировать рутины, анализировать результаты тестов. Ими нужно владеть, чтобы облегчить себе жизнь, а не с целью заменить ручной труд полностью.

Повышение качества

Тестировщики не делают ничего, что бы напрямую улучшало качество продукта. Прогоняя тест, мы никак не влияем на код – следовательно, качество ПО остается неизменным. Только после того, как разработчики исправляют баги, качество продукта может измениться. Мы не можем "втестировать" качество в продукт.

Тестирование – не единственная область разработки ПО, принимающая во внимание качество продукта. За ним нужно следить на всех стадиях жизненного цикла, и за него отвечают все участники команды разработки. Тестировщики могут использовать свои специфические навыки для сотрудничества с коллегами, но за качество отвечаем не только мы – это головная боль всей команды!

Ни тестировщики, ни разработчики, правящие баги, не могут в результате сделать вывод, что качество продукта улучшилось. Мы не можем протестировать все, поэтому всегда вероятны сценарии, которые мы не проверяли, таящие в себе баги. Качество может ухудшиться из-за изменений или чего-то, неизвестного нам – мы даже не подозреваем, что у нас есть проблемы, пока не произойдет нечто, вскрывающее их. И даже если тестировщики могут уверенно сказать, что продукт готов к релизу, конечные пользователи могут его забраковать – например, из-за криво составленных требований. Все зависит от точки зрения.

Качество определяется как "ценность для человека, чье мнение значимо". Его трудно измерить, и поэтому с определенностью заявить, что тестирование на каком бы то ни было этапе улучшает качество продукта, довольно трудно, даже невозможно.

Фиксированная, не требующая воображения деятельность, подчиняющаяся строгим правилам

Самые интересные баги зачастую находятся при помощи исследовательского тестирования. Прогон одних и тех же тестов раз за разом вряд ли даст вам много новой интересной информации – и, на сердце руку положа, довольно скучно гонять их вручную.

Не существует лучших практик тестирования, применимых в абсолютно любых проектах. Вы должны выяснить, что лучше всего работает в вашем контексте и в вашей области.

Размышления над новыми креативными способами тестирования – очень увлекательная часть нашей работы. Способность экспериментировать, искать лучшие инструменты, изучать новые навыки и технологии, и делать то, что наилучшим образом подходит нашему проекту, помогает нам постоянно совершенствоваться и держать свои навыки в форме.

Жизненно необходимо для успеха продукта

Проект может быть вполне успешным и без тестировщиков – тому множество примеров. Однако даже в случае отсутствия тестировщиков как таковых тестирование все же кем-то выполняется на той или иной стадии жизненного цикла. Разработчики тестируют собственный код, а заказчики – требования. Конечный пользователь иногда тестирует продукт до релиза. Люди могут тестировать, даже не отдавая себе отчета, что они этим занимаются.

Никогда не заканчивается

Под бесконечностью тестирования понимается невозможность протестировать все и вся в приложении. Нет реалистичных способов протестировать все комбинации, действия пользователя, внешние условия, значения данных или пути через код. В этом плане тестирование, действительно, бесконечный процесс. Следует принять как данность, что всегда останется что-нибудь непротестированное. Большинство проектов жестко ограничены временем, бюджетом и ресурсами, и тестировщики должны укладываться в эти ограничения, тестируя максимально эффективно.

Часть работы тестировщика – это принятие решений, что именно тестировать, и понимание последствий этих решений и связанных с нимирисков.

Тестирование завершается, когда у менеджмента достаточно информации, помогающей принять решение, готов ли продукт к релизу.

Тестирование – это многое, многое другое

Я перечислила только некоторые аспекты того, что же такое тестирование. Эта статья могла бы быть значительно длиннее! Нет единого определения, что подразумевается под тестированием, а впихнуть в одно предложение все то, чем занимаются тестировщики, просто невозможно! Если поискать определение тестирования в Интернете, можно наткнуться на фразы вроде "поиск багов в приложениях" – но как мы уже выяснили, это не только и не столько поиск багов.

Согласно мировой статистике, лишь одну из шести новинок рынка ждет успех, остальные пять не оправдывают ожиданий производителей и потребителей. Именно поэтому сегодня в ходе маркетинговых исследований эксперты в первую очередь проводят детальное тестирование продукта. Их рекомендуется выполнять примерно раз в год в отношении не только новых продуктов, но и давно и прочно обосновавшихся на рынке.

Вы узнаете:

  • Что значит тестирование продукта.
  • Для каких продуктов проводится тестирование.
  • Как подготовиться к проведению тестирования.
  • Как организовать тестирование нового продукта.
  • Как тестируется рекламное сообщение и сайт.

Что значит тестирование продукта и для чего оно необходимо

Что такое тестирование? Это процесс, в рамках которого производитель выясняет мнение аудитории о выпущенном им товаре и решает, стоит ли его продвигать. Качество продукта должно быть подтверждено соответствующими результатами исследований.

Главная задача тестирования состоит в определении преимуществ, которые получает покупатель от использования продукта, с тем чтобы понять, по каким свойствам и характеристикам товар превосходит аналоги.

Цель тестирования ― составление верной маркетинговой стратегии продвижения продукта на рынке.

Для начала ставят маркетинговую задачу, которая решается при помощи тестирования. В зависимости от вида продукции (новая или уже существующая на рынке) эксперты, проводящие тестирование, преследуют разные цели:

  • важно оценить предположительные объемы продаж, вероятные риски (убытки) или потенциальную прибыль производителя, в случае если производятся разработка и тестирование концепции нового продукта или выпускается новая версия существующего товара;
  • тестирование проводят, чтобы оценить продукт в сравнении с аналогами конкурентов и понять, что делать дальше (как его совершенствовать, менять ли форму, дизайн, вид и объем упаковки, нужно ли снижать цену, уделять ли больше времени рекламе и т. д.), если товар известный и пользуется спросом.

Тестирование с целью выявления положения существующего товара на рынке обычно проводят раз в год. Подобные исследования очень важны, если конкуренты выпускают новый продукт. Благодаря тестированию производитель понимает, как изменились предпочтения покупателей, оценивает конкурентную среду, сравнивает товары с подобными, имеющими похожие характеристики, выясняет, кто из производителей является в настоящее время.

Внеочередное тестирование может быть вызвано следующими причинами:

  • понижение уровня продаж или, наоборот, увеличение реализации продукта конкурентов;
  • разработка новых вариантов производства товара (с другой начинкой, вкусом, ароматом, измененной ассортиментной линией и т. д.) ― здесь важно понять, какой вариант выбрать и целесообразны ли изменения в принципе;
  • появление предложений, связанных с изменением дизайна упаковки, объемов фасовки ― нужно определить, какой вариант больше понравится потребителям.

Если производится разработка и тестирование концепции нового продукта или же выполняется исследование усовершенствованного товара, то в первую очередь оценивают степень риска продвижения на рынке. Для определения степени риска применяют два параметра: первый – масштаб потери, в случае если компания-производитель выберет неверную политику продвижения; второй – вероятная прибыль в случае эффективного продвижения компанией своего продукта.

Благодаря новым качествам товар еще больше нравится покупателям. Кроме того, его новые свойства расширяют круг потребителей, поскольку привлекают приверженцев продуктов . Здесь очень важно понимать, что думают по этому поводу потребители бренда и приверженцы конкурирующих марок. Опираясь на результаты тестирования, фирма-производитель понимает, какую именно стратегию она должна выработать, и придерживается ее при продвижении товара. Именно поэтому тестирование проводят всякий раз перед выводом новинки на рынок.

Материал по теме из электронного журнала:

Рассказывает практик

Тестируя продукт, прислушивайтесь к пожеланиям целевой аудитории

Михаил Сафран ,

директор по маркетингу группы компаний «РОСНО», Москва

У нас любая идея подлежит тестированию. Теория не всегда точна. Для нас важно, как аудитория воспринимает наши услуги. Не так давно мы предложили новый продукт «Клиентский сервис». Это комплексная поддержка по ОСАГО, включающая в себя сервис выезда аварийного комиссара на место ДТП с участием автомобиля клиента. Комиссар следит за тем, как проводится независимая экспертиза, общается с представителями страховых агентств и другими участниками аварии.

Тестирование продукта прошло успешно, он в полной мере оправдал наши надежды. В итоге спрос вырос, а вместе с ним – объем продаж и наша доля на рынке аналогичных услуг. Мы смогли расширить свою аудиторию и дать понять клиентам, почему с нами выгодно сотрудничать (они экономят время, силы и нервы).

Например, в рамках опросов мы узнали, что упустили такую важную деталь, как эвакуация транспорта с места аварии (когда трудно или невозможно переместить авто самостоятельно). Этот недочет был устранен.

Подготовка к тестированию продукта

Прежде чем начать тестирование продукта, выполняют определенные действия.

  1. Определяют сегмент возможных покупателей.

Если вы хотите получить объективную информацию, мало узнать мнение какого-то случайного покупательского сегмента ― важно сконцентрироваться на ; ее представители дадут адекватную оценку вашему продукту, которая будет учтена в дальнейшей работе.

Для каждого тестирования важно четко определить критерии, на основе которых будет выявлена целевая аудитория. Поскольку тестирование продукта может носить разный характер, то и целевая аудитория может обладать разными характеристиками.

Как правило, в качестве возможных покупателей могут быть следующие целевые группы:

  • постоянные покупатели конкретных продуктов (например, авто, спорттовары, пиво покупают представители сильного пола разных возрастов и с разным уровнем достатка; продовольственные товары, брендовую или детскую одежду, игрушки, мебель – женщины, которых сегментируют по разным возрастным группам, семейному положению и уровню дохода);
  • приверженцы конкретного бренда (допустим, автовладельцы, предпочитающие Mercedes, редко переходят на другие машины; люди, покупающие мясо определенной марки, остаются ей верны и ищут в магазинах именно ее);
  • члены семьи, определяющие, какие продукты нужно покупать.

Каждая характеристика целевой аудитории включает в себя множество социально-демографических показателей, которые также зависят от целей и задач конкретного тестирования.

  1. Определяют предмет тестирования.

Тестирование продукта бывает разных видов, все зависит от того, какая характеристика товара исследуется.

  • Тестирование концепций продукта

В рамках тестирования производитель узнает, как потребители воспринимают непосредственно идею, назначение продукта, выявляет, на самом ли деле товар нужен аудитории, способен ли удовлетворить ее потребности. На этой стадии тестирования очень важно оценить, как респондент реагирует на концепцию товара или услуги, чего он ждет от них, а также понять, в какой мере удалось реализовать идею в продукте. Результаты тестирования помогают производителю выбрать самую подходящую концепцию товара.

Приведем пример. Проводилось тестирование детского питания с участием молодых мам. В ходе тестирования оценивали вероятность покупки участницами этих продуктов. Женщины обратили внимание на описание нового витаминизированного молока для детей, но купить его не захотели. Причина оказалась простой: в России такую продукцию сегодня можно получить на детской молочной кухне бесплатно.

  • Тестирование продукта

Если производитель тестирует уже давно выведенный на рынок товар, цель исследования – оценить изменение его положения в рыночной среде за конкретный период.

Если изучают новый товар, то прежде всего стараются понять, действительно ли он по своим характеристикам превосходит существующие аналоги.

В рамках тестирования эксперты анализируют и интерпретируют чувства респондентов, их реакцию, восприятие, оценку дизайна, структуры, вкуса, звучания продукта.

Тестирование продукта может быть «слепым» или «определенным» . При «слепом» тестировании организаторы исключают все отвлекающие факторы (дизайн, стоимость, цвет, название товара и проч.), при этом внимание респондентов акцентируется непосредственно на товаре. Так, к примеру, при тестировании духов разных производителей участникам предлагают пронумерованные картонные полоски, пропитанные ароматами, а для исследований пива используют прозрачные бокалы с наклеенным идентификационным номером и т. д.

«Определенное» тестирование ― полная противоположность «слепому». При «определенном» тестировании товар исследуют вместе со всеми «побочными эффектами» ― фирменной упаковкой, стоимостью, брендом и проч., то есть на испытуемого влияют все факторы в совокупности.

Безусловно, имидж некоторых брендов очень силен, и при тестировании это отвлекает участников от реальных свойств продуктов. Однако именно такое тестирование наиболее близко к реальной жизни, и в этом его плюс.

  • Тестирование упаковки продукта и названия

В вопросе продвижения нельзя недооценивать важность упаковки и названия, так как это составляющие имиджа товара. От них очень зависит позиционирование продукта в рыночной среде. Правильное название, привлекательный дизайн и качественная упаковка формируют неповторимый имидж.

В данном случае разумно провести две проверки – тестирование упаковки продукта и тестирование названия, чтобы убедиться, что оба элемента хорошо соотносятся с главной идеей стратегии продвижения.

Кроме основного назначения у каждого тестирования есть специфическая цель. Так, название тестируют, чтобы понять, как лучше назвать продукт. Наименование должно быть простым в произношении, запоминающимся и соотноситься с продуктом.

Очень важно, чтобы название было приятным на слух. К примеру, респонденты в ходе тестирования разных названий для йогурта, отметили, что им неприятна фраза «Пастеризованное заквашенное молоко». Несмотря на то что данное наименование полностью соответствует свойствам йогурта, большая часть опрашиваемых сочла его неподходящим. Слово «заквашенное» вызвало у них неприятные ассоциации.

  1. Узнаваемость

Респондентам показывают/дают прослушать рекламные объявления или ролики и спрашивают, видели ли они их раньше. При вариантах ответа «да», «нет», «не уверен» лишь утвердительные ответы указывают на то, что ролики или объявления были узнаны. Важно помнить: респонденты должны узнать именно объявление, а не рекламируемую марку.

  1. Запоминаемость

Зрителей, просмотревших ТВ-передачу вместе с рекламным роликом, спрашивают, что они запомнили о фирме или продукте, с тем чтобы оценить запоминаемость рекламы. Этот показатель выявляют двумя способами: либо применяют подсказку (реакцию опрашиваемого стимулируют только показом иллюстрации из рекламы с закрытым именем бренда); либо подсказку не используют, а могут сообщить респонденту лишь название товара.

Еще один способ – опрос телезрителей после демонстрации рекламы через 24-36 часов (метод запоминания на следующий день).

  1. Убедительность

Исследователи выявляют, как изменились предпочтения респондентов после просмотра рекламного ролика. Для тестирования формируют группу и демонстрируют участникам телепрограмму. Показ время от времени прерывают семью рекламными роликами, четыре из которых – тестируемые. По завершении просмотра выясняют, запомнили участники показанную марку или нет. Опрос формирует базис оценки случайной осведомленности, то есть выявляет процент тех, кто вспомнил, что демонстрировался именно этот бренд.

Для оценки убедительности определяют изменения в предпочтениях бренда после непринужденной демонстрации рекламы при просмотре ТВ-программы. Результаты анализируют с предпочтениями относительно бренда со стороны контрольной группы, которая не видела рекламу.

  1. Поведение потребителя

В эту категорию оценки эффективности рекламы входит покупка, простимулированная принудительным показом рекламного ролика, тест тиража, основанный на исследовании рекламного эффекта, и контроль, основу которого составляет мониторинг каждого респондента при выполнении многоканального кабельного тестирования.

Для оценки содержания рекламы на всех этапах кампании прибегают к диагностическому исследованию, то есть выявляют, как аудитория воспринимает рекламу. Такое исследование включает в себя список контрольных вопросов и перечень эмоций после просмотра рекламы. Исследователи выявляют, как у респондентов двигаются глаза при просмотре, какие реакции у них вызывает ролик и проч.

Материал для скачивания:

Чтобы разработчики понимали, отвечает ли готовый рекламный продукт поставленным целям и помогает ли он решить конкретные стратегические задачи, тестируют его эффективность. Основываясь на результатах, рекламисты делают вывод о целесообразности вывода продукта на рынок.

  1. Место просмотра/прослушивания рекламы (в домашних условиях или за пределами дома).
  2. Естественность условий просмотра/прослушивания:
  • рекламу просматривают или прослушивают в абсолютно естественных условиях, и респондентов-участников аудитории рекламного ролика отбирают и опрашивают после того как они случайно увидели или услышали рекламу, предварительно не контактируя с ней;
  • рекламу просматривают или прослушивают в условиях, приближенных к естественным: опрашиваемых приглашают просмотреть ТВ-передачу (или прослушать программу на радио) и в процессе этого демонстрируют рекламный продукт;
  • рекламу просматривают или прослушивают в абсолютно естественных условиях, когда опрашиваемых просят уделить внимание непосредственно рекламному продукту, транслируемому изолированно.
  1. Число просмотров рекламы. Информацию исследователи могут собирать как после однократной, так и после многократной трансляции рекламы.
  • опрашиваемому демонстрируют рекламу через принудительный просмотр;
  • рекламное сообщение исследуют в контексте пробного выпуска журнала или газеты перед реальным размещением рекламы;
  • рекламу тестируют после ее размещения в реальном выпуске журнала или газеты.

Основываясь на результатах тестирования печатной и транслируемой на телевидении и по радио рекламы, исследователи определяют:

  • насколько запоминающимся стало рекламное сообщение и какова его проникающая способность;
  • как в целом воспринимается реклама респондентами;
  • как воспринимается главная идея сообщения;
  • как меняется отношение к продукту;
  • насколько убедительна реклама;
  • хочет ли потребитель купить продукт после просмотра рекламного сообщения.

Результаты тестирования демонстрируют, как потребители относятся к рекламе в разные периоды. Тестировать рекламу можно каждый месяц, каждый квартал или каждый год. При оценке опираются на данные об осведомленности о рекламе, определенных тезисах или рекламных составляющих. Однако пользоваться можно любыми измерениями. Лучше всего оценивать эффективность с позиции «затраты-результат». Экономический смысл данного термина характеризуется как отношение затраченных средств к достигнутому результату.

Различают экономическую эффективность рекламы и эффективность психологического воздействия отдельных средств рекламы на сознание человека. Экономическая эффективность рекламы ― это экономический результат, полученный от применения рекламного средства или организации рекламной кампании.

Психологическая эффективность ― степень влияния рекламы на человека (привлечение внимания покупателей, запоминаемость, воздействие на мотив покупки и др.) Причем психологическое воздействие наиболее результативно, если оно приводит потенциальных потребителей к совершению покупки.

Таким образом, экономическая эффективность рекламы зависит от степени ее психологического воздействия на человека. Измерение экономической эффективности рекламы представляет большие трудности, так как реклама, как правило, не дает полного эффекта сразу. Кроме того, рост товарооборота нередко вызывается другими (не рекламными) факторами ― например, изменением покупательской способности населения из-за роста цен и т. п.

Основные методы тестирования рекламного продукта

Рекламу тестируют почти на каждом этапе ее формирования ― как в самом начале, так и в середине и в финале. Тестирование в ходе разработки рекламы ― предварительное. Исследования, проводимые в разгар рекламной кампании и по ее завершении ― текущие и заключительные.

Рассмотрим каждый вид тестирования:

  1. Предварительное тестирование, или предтестирование.

Главное в ходе предварительного тестирования – уточнить важные для коммуникационной стратегии показатели. Предварительное тестирование помогает не допустить ошибок и понять, что идея рекламной кампании выбрана правильно.

Материал для скачивания:

Рассказывает практик

Самый лучший метод тестирования сайта

Наиболее распространенным методом исследований считают А/Б-тестирование, суть которого ясна из названия: берут два параметра – А и Б и тестируют их. Условия исследования должны быть одинаковыми. Параметры оценивает или специальная группа, или простые люди, которые зачастую даже не догадываются, что оценивают сайт компании. Они выполняют привычные действия, а вы контролируете каждый их шаг. Тестировать таким способом можно почти все ― от заголовков, цветового оформления и вариантов дизайна до расположения на сайте рекламных конструкций и проч.

Чтобы получить объективную информацию, нужно руководствоваться определенными принципами. Варианты А и Б должны различаться только одним параметром, к примеру, цветом шрифта. При внесении сразу нескольких изменений будет трудно установить, что именно и каким образом влияет на результат. Трафик между вариантами должен распределяться случайно, что сводит к минимуму влияние такого параметра, как источник трафика. Тестирование изменений мы рекомендуем проводить на новых посетителях – так вы добьетесь более объективных результатов.

Чтобы получить максимально достоверные результаты, нужно опросить хотя бы 1000 респондентов, а в идеале – 10000. Если получить такие данные не позволяет трафик, лучше подождать.

И, наконец: не доверяйте себе. У нас у всех в голове сформировалась определенная картина об идеальном сайте. Если вы полагаете, что рекламную конструкцию лучше размещать в нижней части, но итоги А/Б-тестирования говорят об обратном, не считайте это недоразумением. Верьте результатам тестирования, и только им.

Тестирование – это исследовательский метод, который позволяет выявить уровень знаний, умений и навыков, способностей и других качеств личности, а также их соответствие определенным нормам путем анализа способов выполнения испытуемым ряда специальных заданий. Такие задания принято называть тестами. Тест – это стандартизированное задание или особым образом связанные между собой задания, которые позволяют исследователю диагностировать меру выраженности исследуемого свойства у испытуемого, его психологические характеристики, а также отношение к тем или иным объектам. В результате тестирования обычно получают некоторую количественную характеристику, показывающую меру выраженности исследуемой особенности у личности. Она должна быть соотносима с установленными для данной категории испытуемых нормами.

Значит, с помощью тестирования можно определить имеющийся уровень развития некоторого свойства в объекте исследования и сравнить его с эталоном или с развитием этого качества у испытуемого в более ранний период.

Существуют определенные правила проведения тестирования и интерпретации полученных результатов. Эти правила достаточно четко проработаны, и основные из них имеют следующий смысл:

1) информирование испытуемого о целях проведения тестирования;

2) ознакомление испытуемого с инструкцией по выполнению тестовых заданий и достижение уверенности исследователя в том, что инструкция понята правильно;

3) обеспечение ситуации спокойного и самостоятельного выполнения заданий испытуемыми; сохранение нейтрального отношения к тестируемым, уход от подсказок и помощи;

4) соблюдение исследователем методических указаний по обработке полученных данных и интерпретации результатов, которыми сопровождается каждый тест или соответствующее задание;

5) предупреждение распространения полученной в результате тестирования психодиагностической информации, обеспечение ее конфиденциальности;

6) ознакомление испытуемого с результатами тестирования, сообщение ему или ответственному лицу соответствующей информации с учетом принципа «Не навреди!»; в этом случае возникает необходимость решения серии этических и нравственных задач;

7) накопление исследователем сведений, полученных другими исследовательскими методами и методиками, их соотнесение друг с другом и определение согласованности между ними; обогащение своего опыта работы с тестом и знаний об особенностях его применения.

Выделяют также несколько типов тестов, каждому из которых сопутствуют соответствующие процедуры тестирования.

Тесты способностей позволяют выявить и измерить уровень развития тех или иных психических функций, познавательных процессов. Такие тесты чаще всего связаны с диагностикой познавательной сферы личности, особенностей мышления и обычно называются также интеллектуальными.

К ним относятся, например, тест Равена, тест Амтхауэра, соответствующие субтесты теста Векслера и т.д., а также тесты-задания на обобщение, классификацию и множество других тестов исследовательского характера.

Тесты достижений ориентированы на выявление уровня сформированности конкретных знаний, умений и навыков и как меры успешности выполнения, и как меры готовности к выполнению некоторой деятельности. В качестве примеров могут служить все случаи тестовых экзаменационных испытаний. На практике обычно применяются «батареи» тестов достижений.

Личностные тесты предназначены для выявления свойств личности испытуемых. Они многочисленны и разнообразны: существуют опросники состояний и эмоционального склада личности (например, тесты тревожности), опросники мотивации деятельности и предпочтений, определения черт характера личности и отношений.

Имеется группа тестов, называемых проективными, которые позволяют выявить установки, неосознаваемые потребности и побуждения, тревоги и состояние страха.

Применение тестов всегда связано с измерением проявления того или иного психологического свойства и оценкой уровня его развития или сформированности. Поэтому важное значение имеет качество теста. Качество теста характеризуется критериями его точности, т.е. надежностью и валидностью.

Надежность теста определяется тем, насколько получаемые показатели являются стабильными и насколько они не зависят от случайных факторов. Разумеется, речь идет о сравнении показаний одних и тех же испытуемых. Это значит, что надежному тесту должна быть свойственна согласованность показателей тестирования, полученных при повторном тестировании, и можно быть уверенным в том, что тест выявляет одно и то же

свойство. Применяются разные способы проверки надежности тестов.

Один способ – это только что упомянутое повторное тестирование: если результаты первого и через определенное время проводимого повторного тестирования покажут наличие достаточного уровня корреляции, то это будет свидетельствовать о надежности теста. Второй способ связан с применением другой эквивалентной формы теста и наличием высокой корреляции между ними. Возможно и применение третьего способа оценки надежности, когда тест допускает его расщепление на две части и одна

и та же группа испытуемых обследуется с применением обеих частей теста. Надежность теста показывает, насколько точно измеряются психологические параметры и насколько высокой может быть мера доверия исследователя к полученным результатам.

Валидность теста отвечает на вопрос о том, что именно выявляет тест, насколько он пригоден для выявления того, для чего он предназначен. Например, тесты способностей нередко выявляют несколько иное: натренированность, наличие соответствующего опыта или, наоборот, его отсутствие. В таком случае тест не отвечает требованиям валидности.

В психодиагностике выделяют разные виды валидности. В простейшем случаеь валидность теста обычно определяется путем сопоставления полученных в результате тестирования показателей с экспертными оценками о наличии данного свойства у исследуемых (текущая валидность или валидность «по одновременности»), а также путем анализа данных, полученных в результате наблюдения за обследуемыми в различных ситуациях их жизни и деятельности, и их достижений в соответствующей области.

Вопрос о валидности теста может быть решен еще и сравнением его данных с показателями, полученными с помощью методики, связанной с данной методикой, валидность которой считается установленной.

Изучение продуктов деятельности – это исследовательский метод, который позволяет опосредованно изучать сформированность знаний и навыков, интересов и способностей человека на основе анализа продуктов его деятельности. Особенность этого метода заключается в том, что исследователь не вступает в контакт с самим человеком, а имеет дело с продуктами его предшествующей деятельности или размышлениями о том, какие

изменения произошли в самом испытуемом в процессе и в результате его включенности в некоторую систему взаимодействий и отношений.

Главное – узнать как можно больше о человеке , который перед тобой сидит: обладает ли он деловыми , способен ли своим интеллектом поразить начальство и клиентов, может ли сдерживать эмоции, как будет общаться с коллегами.

Для этого они используют такой метод, как тестирование.

А знаете ли Вы, что впервые своеобразное тестирование проводилось еще в древности . А древнегреческий ученый Пифагор придумывал такие задачи, которые бы давали возможность увидеть: глуп ученик или умён. Он утверждал, что «не из каждого дерева можно выточить Меркурия».

Как проводится тестирование?

Вы заходите в кабинет и садитесь напротив незнакомого еще вам человека, который очень волнуется.

Начинаете с ним беседовать и понимаете — соискатель подготовился проходить тесты, что может исказить действительность результатов .

Второй шаг – провести тестирование:

  1. Раздайте тесты с вопросами и заданиями, бланки для ответов.
  2. Объясните, с какой целью вы будете проводить тестирование.
  3. Зачитайте инструкцию или дайте отпечатанный текст.
  4. Тесты должны состоять из 20-25 заданий .
  5. Уточните, что на каждое задание даётся по одной минуте . По истечении времени тестирование сразу прекращается.
  6. Если человек не понимает, приведите пример выполнения подобных заданий.
  7. Отвечайте на вопросы кандидатов .
  8. Принятие ответов и их проверка. С результатами обработки можно ознакомить кандидата, но это необязательно.

Скачать примеры и образцы тестов с ответами и комментариями для вы можете по следующим ссылкам.

Другие тесты при приеме на работу с ответами можно найти в сети Интернет.

Виды

Тесты при трудоустройстве делятся на несколько видов : профессиональные, личностные, интеллектуальные, математические, логические, вербальные, на внимательность, на сообразительность, на обучаемость, по механике, и самый распространённый в торговых организациях «Как продать ручку».

Давайте подробно остановимся на каждом из них.

Профессиональные

Чтобы определить профессионализм соискателя, специалисты применяют особые тесты . Для – задания на знание бухгалтерского учёта; для секретаря — пройти тест на владение основами делопроизводства, проверка грамотности, внимательности к деталям, скорости печати, быстрого и эффективного поиска информации; для специалиста налоговой службы — прохождение налоговых тестов, для юристов и экономистов — проверка юридической или экономической грамотности, на уровень знания иностранного языка, владения компьютерными программами и т. д.


составляют вопросы и несколько вариантов ответов: да, нет, в некоторых случаях.

При этом дается интерпретация ответов.

По таким объяснениям можно сразу увидеть ответ.

А с помощью готовых ключей к тесту определить количество правильных ответов и вынести своё решение.

Работодатель может предложить пройти тест для соискателей на знание некоторых приёмов работы excel(эксель).

Соискатель, имеющий опыт, знающий теорию, ответивший на большинство вопросов имеет все шансы получить желаемую должность .

Личностные или психологические

Интеллектуальные


Если работа требует умственных затрат , то работодатель вправе знать, насколько высоки интеллектуальные способности его работников.

Именно с этой целью используют такой вид тестирования, чтобы объективно оценить интеллектуальный уровень (IQ) соискателей.

Для правильного подбора заданий подойдет книга английского психолога Г. Айзенка .

Можно воспользоваться тестом Амтхауэра . Он определяет уровень умственных способностей по девяти критериям.

По результатам можно точно установить математического склада ума кандидат или гуманитарий и даже определить, к какой из 49 профессий подходит.

Онлайн тестирование на уровень интеллекта можно пройти .

Математические

Великий математик не занимается поиском работы, она находит его сама. Но главе фирмы или руководителю компании нужны профессиональные бухгалтеры или экономисты , умеющие не только считать, но выполнять сложные математические действия.

Предложите тест из двадцати-тридцати простых и сложных заданий, состоящих из нахождения пропорций, дробей, подсчёта разницы, сложения несколько чисел, понимания диаграмм, рисунков, графики, работа с фигурами. Соискателю надо быстро понять, с какими числами следует производить операции.

По результатам тестирования будет понятно, сможет ли специалист справиться с математическими задачами на новой должности.

Пройти онлайн тест по математике можно .

Логические

Тесты на логику при приеме на работу направлены на степени сообразительности кандидата , которое занимает центральное место для многих профессий. Они являются прекрасным инструментом для раскрытия поведения человека в незнакомой ситуации.

Логические тесты на работу первый взгляд абсурдны. В одной из задач сказано, что некоторые улитки — горы. Горы обожают кошек. Значит, все улитки обожают кошек.

Главное для тестируемого сосредоточиться, построить логическую цепочку , объяснить её, не обращая внимания на улиток и кошек. Специалист должен понять: умеет ли будущий работник логически рассуждать и нестандартно мыслить.

Тест на логику можно пройти онлайн .

Вербальные


Вербальные тесты полезны для проверки на должности преподавателей, переводчиков или секретарей .

Дают возможность оценить умение соискателя работать с текстами : понимать, разбирать, оценивать информацию, делать выводы.

Кандидат имеет возможность получить желаемую должность, если в совершенстве владеет родным языком, умеет логично и грамотно говорить, обладает большим словарным запасом.

На выполнение вербального теста обычно дается гораздо больше времени , чем числовых. Ответ состоит из букв или слова. Нужно выбрать из нескольких вариантов или самому придумать ответ.

Но есть такой вид вербального теста, когда необходимо прочитать небольшой информационный текст и несколько утверждений. Соискатель должен раскрыть истинность или ложность данного утверждения.

Вербальные тесты дают возможность нанимателю понять, лаконична ли речь кандидата, может ли он словами убеждать, доказывать.

Пройти вербальный тест онлайн можно .

На обучаемость

Многие молодые соискатели в пишут: «Готов к обучению». А вот люди, имеющие большой стаж и опыт, не желают переобучаться , думая, что знаний, накопленных ими, будет достаточно. Для этого используется короткий тест, позволяющий оценить обучаемость (способность к обработке и восприятию новой информации).

По механике

Тест по механике предлагается узкому кругу специалистов , в основном кандидатам физических специальностей, инженерных профессий.

Тесты проверяют пространственное мышление, запас знаний и опыт, определяют способность работать с чертежами, механическими устройствами, сложным оборудованием. Это тесты, состоящие из несложных вопросов, но на которые способны ответить только люди, понимающие в механике .

Онлайн тестирование по механике предложено .

На Полиграфе

Крупные компании при приеме на работу пользуются мобильным аппаратным комплексом .

Может ли работодатель применить детектор лжи ?

Закон не запрещает.

Трудовой кодекс разрешает получить не вызывающую сомнений информацию о сотруднике. Но кандидат вправе отказаться от проверки на честность, если считает это унижением его человеческого достоинства.

В чём заключается процесс тестирования? Вопросы трёх видов: настраивающие, коррекционные и фактические .

Если ответы на последние два честны, физиологические параметры человека одинаковы. Они трансформируются, если человек говорит неправду. Это фиксируется аппаратом.

От «Полиграфа» не скроется тяготение к употреблению алкоголя; наркотиков, воровству, игровой зависимости, есть ли кредиты, криминальное прошлое и даже судимые родственники; способен ли человек нанести вред компании.

Ответы дают безошибочное суждение о кандидате . По окончании проверки работодатель решает: будет кандидат работать или нет.

«Продайте ручку»

Для соискателей, желающих работать в торговой сфере, специалисты проводят популярный тест «Продайте мне ручку».

Предлагается любой предмет: ручка, карандаш, блокнот, называется цена. Нельзя обменять или подарить. Ему надлежит продать эту вещь в течение пяти минут. Работодатель выступает в роли покупателя.

Такая ситуация для кандидата стресс, так как близка к настоящей обстановке продажи. Испытание проводилось много раз на бесчисленных собеседованиях. В результате, наниматель получает объективный взгляд на навыки и технику будущего менеджера по продажам.

Резюме


Так стоит ли стараться применять тесты при подборе персонала?

Профессиональные сотрудники — это очень ответственный этап управления организацией, гарантия успеха, это клад, который нужно оберегать.

Если выбор правильный, то повышается продуктивность, работоспособность всех сотрудников организации.

Ошибки обходятся дорого. Умение брать на работу – настоящий талант, который еще и не часто встречается.

Понравилось? Лайкни нас на Facebook