Комментарии: Находишь баги автотестами — теряешь время!!!

Автор: Alsu Vadimovna

Alsu Vadimovna — Mon, 02 Feb 2015 18:09:00 +0000

Может быть уже поздно, но у меня есть мысли по поводу статьи
Мне кажется, что неправильно ставить целью автоматизации нахождение багов или краткосрочная экономия времени.
Возьмем 1 проект в вакууме. С определенной периодичностью делается релиз, перед релизом делается смоук-тест, в смоук-тесте 100 кейсов. из 100 кейсов 5 являются наиболее бажными, 20 средне-бажными, остальные практически без багов. И в данном случае, я считаю, некорректно высчитывать время разработки +время ручных прогонов и прочее. При смоук-тесте нам нужно как можно быстрее узнать о том, что что-то сломано. И автотесты позволят нам быстрее об этом узнать, чем прогонять все эти тесты вручную.

и еще
автоматизированный кейс != ручной кейс. В примере в посте кейс вручную проходится за 20 минут. Когда я автоматизирую, то я большой кейс разбиваю на мелкие. То есть из одного большого кейса получается например 10 мелких, и тогда, если какой-то тест падает, то воспроизводить руками мне нужно не 20 минут, а 2 минуты

Автор: Natalya Rukol

Natalya Rukol — Thu, 04 Jul 2013 07:35:00 +0000

Так вы не нервничайте

Автор: Аноним

Аноним — Thu, 04 Jul 2013 07:22:00 +0000

Я-то про одно и тоже. Именно про то, что в отсутствии модели (про которую написал Алексей «вот только они и рассматриваются в предложенной модели») делать обобщения нельзя.

Просто вывод корректней написать для этой данной, конкретной ситуации, не обобщая на вообще регрессионное тестирование вообще проектов.

Автор: Антон Khayrutdinov

Антон Khayrutdinov — Thu, 04 Jul 2013 07:08:00 +0000

В этом КОНКРЕТНОМ кейсе конечно не надо автоматизировать — надо дать по рукам программистам, которые в 8 коммитах из 10 ломают один и тот же сценарий. И горе-автоматизаторам, у которых разбор ошибок в одном и том же тесте занимает по 20 минут. А вообще мне кажется дискуссию на этом лучше завершить. Не люблю такие нервные выпады.

Автор: Natalya Rukol

Natalya Rukol — Thu, 04 Jul 2013 06:55:00 +0000

Лена, вот ты сначала споришь с обобщениями, потом — с конкретной ситуацией. Определись! В ЭТОЙ КОНКРЕТНОЙ ситуации автоматизировать сценарий 1 не выгодно, сценарий 2 — выгодно.

Похожие рассчёты можно использовать в других условиях, и получить другие результаты.

Автор: Аноним

Аноним — Thu, 04 Jul 2013 06:51:00 +0000

>> Предложено считать время в конкретной ситуации с конкретными ограничениями (одинаковое время, например)

А почему время будет сильно разным, если автоматизируется одинаковый условный сценарий в том и другом случае?

>> На 10 прогонах подряд один и тот же тест валится 8 раз — это уже необходимость искать и исправлять причину.

Всё верно, и Наташа пишет про то, что __не надо__ автоматизировать такие тесты, а надо идти искать и устранять причину такого количества багов. То есть Вы подтверждаете выводы статьи, а не возражаете против них

Автор: Аноним

Аноним — Thu, 04 Jul 2013 06:39:00 +0000

Алексей. Так модели-то нету. Предложено считать время в конкретной ситуации с конкретными ограничениями (одинаковое время, например). Достаточно изменить соотношение времен, и ситуация будет другая.

Ну и… тут уже писали. На 10 прогонах подряд один и тот же тест валится 8 раз — это уже необходимость искать и исправлять причину.

Автор: Natalya Rukol

Natalya Rukol — Wed, 03 Jul 2013 20:29:00 +0000

Серёж, давайте подробнее. Ляля «посыл неверен» кто угодно и про что угодно сказать может. Давайте верные «посылки», это будет полезно!

Автор: Sergey Martynenko

Sergey Martynenko — Wed, 03 Jul 2013 17:35:00 +0000

Мои тезисы:

И в этом случае тоже предложена неправильная модель. Если нужно обязательно гонять некий набор тестов (генералы сказали), и если архитектуру выпрямить нельзя (генералы делали), и если принято решение начать автоматизацию (генералы …), то совершенно естественно, что начинать нужно с бажных тестов.

А расчет полностью неверен, так как исходит из ложных посылок.

Автор: Аноним

Аноним — Wed, 03 Jul 2013 16:33:00 +0000

Но ведь статья про другое совсем

Конечно, если не надо тестировать, то и автоматизировать не надо.

Но если какой-то тест решено выполнять — тогда возникает дилемма — автоматизировать или нет, вот только они и рассматриваются в предложенной модели.