Мэвис, я смотрю на вот это всё, которое со всех сторон, и очень лениво думаю, надо ли восстать из гроба и что-то сказать или лучше не.
Меня эти баллы за каждый чих очень насторожили сразу, веет то ли литературоведческим кружком, то ли школярством. Сколько видела конкурсов - система оценки всегда либо "выберите n лучших работ", либо "поставьте работам оценки по шкале". Ну и всё, не мудрить. В итоге наверх вылезает то, что людей цепляет.
А на баллы эти, я думала, жюри не найдут. Потому что с жюри всегда проблемы, это много работы и много скандалов, а ещё и по сложной схеме оценки расставлять - это работы ещё больше (я как-то не уловила, что ещё и не все всё читать должны). Плюс номинация супермакси, что сразу ад для жюри. Очень удивилась, в общем, увидев на тех-самых-скринах столько знакомых ников и хороших людей.
Ну и ограничения на количество порно и гет очень удивили. Я слишком старая для этого. Я помню на РСЯ номинацию гета и призы за лучшее ПВП.

Ну и да, я не поняла, если честно, почему в итоге всё отменили. Если правила решили не менять, то что мешало объявить результаты? Слишком мало жюри осталось, многие ушли? Или что? (Не посылай на холиварку, там много, мне лень.)

Nyctalus, ну баллы вообще-то были и на старых рсия. Просто там они были не целью, а средством, фильтром. Все равно тройки определялись в дискуссиях между тремя членами жюри, которые прочли ВСЕ (ну, или писали, что прочли все - если серьезно, читали, конечно) Тут самый ад был даже не в количестве, а в том, что ты не читал всю номинацию, при том, что читал очень много. Кому-то могли выпасть три слабых супермакси, и кто-то поставил лучшему из слабых 48, а кому-то три сильных и третий в этих сильных улетал под три слабых. Несколько членов жюри не проявлялись вообще - ушли? не было времени? хз, никто ничего не объяснял.
Отменили, как я понимаю, помимо сливов, из-за того, что на последнем этапе выяснились косяки в подсчетах, что-то программное, то есть, был вариант, что и шорты были посчитаны неверно. Плюс не отслеживалось то, что за каждый фик должно было проголосовать 5 человек, у некоторых получалось 4. Причем при пересчете в двух номинациях изменились тройки. Насколько точно был просчитан отбор из лонгов в шорты - я вообще не поняла (( По-моему, его вручную не пересчитали.

Мэвис, я знаю, что у РСЯ под капотом всегда была сложная кухня с ручным управлением. И ещё и с режимом бережного отношения к слабым работам, что отдельно раздражало. Но если я правильно помню, баллы там по какой-то более простой системе ставились, не по куче критериев. В общем, не понравились мне эти самые критерии с первого взгляда.
И ладно гет. Ну ок, хотя не понимаю, что плохого в фике, где есть и слэш, и гет (особенно если речь о макси). Но ограничение на порно? На фандомном слэшном конкурсе? Серьёзно? По-моему, это как-то противоестественно.

Тут самый ад был даже не в количестве, а в том, что ты не читал всю номинацию, при том, что читал очень много. Кому-то могли выпасть три слабых супермакси, и кто-то поставил лучшему из слабых 48, а кому-то три сильных и третий в этих сильных улетал под три слабых. Несколько членов жюри не проявлялись вообще - ушли? не было времени? хз, никто ничего не объяснял. Отменили, как я понимаю, помимо сливов, из-за того, что на последнем этапе выяснились косяки в подсчетах, что-то программное, то есть, был вариант, что и шорты были посчитаны неверно. Плюс не отслеживалось то, что за каждый фик должно было проголосовать 5 человек, у некоторых получалось 4. Причем при пересчете в двух номинациях изменились тройки. Насколько точно был просчитан отбор из лонгов в шорты - я вообще не поняла (( По-моему, его вручную не пересчитали.
Я могу сказать только одно: какой феерический бардак. Очень жалко работу жюри.
Авторов не жалею, потому что с авторами на РСЯ вечно что-то не так, уже сил нет жалеть. Да и не потеряли вроде авторы ничего особо: ну провалился конкурс, но тексты же от этого никуда не делись. А работа жюри, считай, пропала.

Nyctalus, И ещё и с режимом бережного отношения к слабым работам, что отдельно раздражало
да ну )) по-моему, даже в шортах (уж в РПС, которую я жюрила последние годы не стесняясь ставили двойки-тройки при максимуме 10)
Раньше было три критерия, по-моему...
Забыла главное - к отмене - куча народа снялось, сносят работы, сносят профили с сайта и т.д.

Да и не потеряли вроде авторы ничего особо: ну провалился конкурс, но тексты же от этого никуда не делись.
Не скажи, победить всегда приятно.

Мэвис, я не следила последние годы, а раньше было то "мы не будем выкладывать все результаты, чтобы не расстраивать тех, кто в конце списка", то "поставили балл вот той девочке, уже ни на что не влияет, но хоть не нолик". То есть это не про результаты, а про их представление.

Забыла главное - к отмене - куча народа снялось, сносят работы, сносят профили с сайта и т.д.
Да, тогда и правда толку с конкурса.

Не скажи, победить всегда приятно.
Победить приятно, но не-победителей статистически больше в разы. И там по мне это бережное отношение к слабым работам всё время ездило, потому что в итоге сидишь как идиот со своей средней работой - и шиш тебе, а даже не место в рейтинге.
Ну и плюс всё время были какие-то скандалы с победителями. Всё время кого-то в чём-то обвиняли и подозревали, это тоже не из приятного.
Так что авторам не привыкать. Впрочем, жюри тоже вечно в чём-то обвиняли (но всё-таки не до такого мрака, конечно).

блин, с такими критериями невозможно отобрать сильные работы, просто нереально, это как выбор средней температуры по больнице, наверх должны статистически вылезать средне-качественные тексты. отдельно сомнительно вычисляются лидеры по жанрам, где мини имеет больше шансов выиграть, чем супермакси. почему, карл?

Мэвис, ФТ - это что?

marsi, Фантастические твари, я полагаю.

Мария Барринг, спасибо

Мэвис, а вот знаешь, я внезапно нашла внятное описание того, что хотела сказать. У меня сложно с отношениями с k8, но я склонна согласиться с этим постом: k8-catherine.diary.ru/p218529526.htm?oam#more2

после просмотра скриншота про супермакси у меня назрел естественный вопрос: как можно оценивать номинацию, когда никто из жюри не читал всех текстов и не видит общей картины? это какой-то пиздец, пардонмайфренч.

Nyctalus, я вечером гляну, щаз на работу надо
NoFace, естественный вопрос: как можно оценивать номинацию, когда никто из жюри не читал всех текстов и не видит общей картины? не знаю ((

как можно оценивать номинацию, когда никто из жюри не читал всех текстов и не видит общей картины?
NoFace, теоретически можно, если есть чёткие критерии оценки, тогда члены жюри взаимозаменяемы. Но мы же всё ещё про фандомный конкурс, да?

Nyctalus, хм хм... кхе кхе кхе... четкие критерии оценки фанфиков?
в школе у нас был такой предмет, история искусств. и про каждого чуть ли не первого великого художника нам рассказывали, как его чморили в академии, не признавали коллеги... это я к тому, что даже оптимизированная малоформализованная система позволяет выбрать лучшие из средних, а конкурс показал, что их система выбирает случайные из средних и вышесредних.
я посмотрела пару текстов, из-за которых ломались копья, и что-то ни один как следует не зашел, хотя я понимаю, за что их любят судьи. то есть если бы судила я, топ был бы точно другой, то есть топ был бы размазан еще сильнее, и вылезли бы тексты, которые окей для всех, а не суперсупер для половины и нунафиг для другой.

хм хм... кхе кхе кхе... четкие критерии оценки фанфиков?
NoFace, вот и я об этом. Причём я об этом с того момента, как правила летом увидела. Потому что для такой системы нужны чёткие критерии и всё по полочкам. Во что не верится.
Другой вариант - набрать в жюри авторитетных людей, сказать им: "Мы вам доверяем, выберите лучшее на свой вкус". Эта система более жизнеспособная, хотя её и ругают за субъективность (как будто остальные объективны). Но организаторам захотелось сказать новое слово в старом деле, как я понимаю.

Извините если что - я не судья, не автор, даже не читатель, зато я программер и, кажется, въехала в чём была основная проблема новой системы.
Проблема была в том, что члены жюри пытались оценивать тексты относительно друг друга, а предполагалось, что оценки будут абсолютные. Условно, если рандом подсунул пятерке судей пять сильных текстов, то судьи должны были оценить высоко все пять; и наоборот - оценить низко все пять, если все тексты попались слабые. Тогда всё получилось бы красиво - самые сильные тексты оказались бы вверху списка независимо от того сколько человек их судило и какими были тексты соседние.
А арбитраж с возможностью переголосовки был нужен именно для уточнения результата, как страховка - ведь средняя из 10 оценок разных судей дала бы результат точнее чем средняя из пяти. Но не для того чтобы двигать места вверх-вниз.
Но, ятп, члены жюри не поняли что от них требуется (

My Precious, ммм вроде все верно, но по факту сильные тексты в супермакси оказались ниже хорошего текста, который им откровенно проигрывал.
А арбитраж с возможностью переголосовки был нужен именно для уточнения результата, как страховка - ведь средняя из 10 оценок разных судей дала бы результат точнее чем средняя из пяти. Но не для того чтобы двигать места вверх-вниз.
Но, ятп, члены жюри не поняли что от них требуется (
не поняли, однозначно, потому что многие жюрили раньше и по-другому - раз, толком нам ничего не объяснили - два, после отбора в шорты, когда отлетело много, реально много сильных текстов - ну, уже как-то особого расположения к этой системе не было. И чисто по факту - жюри недовольно результатом шортов, нам говорят - ок, на выборах победителя будут арбитражные посты. Как в этом контексте можно воспринять арбитражные посты? как восход солнца вручную, что и было исполнено.

NoFace, когда были тройки жюри, мы как-то умудрялись договариваться ))

предполагалось, что оценки будут абсолютные
Но для этого нужны чёткие критерии. И мы возвращаемся туда, откуда начали.

Nyctalus, недостаток четкости критериев, по-видимому, должен был компенсироваться вычислением среднего. Условный критерий "а" кто-то из пятерки судей, исходя каждый из своего опыта, знаний и вкуса, оценил бы на трояк, а кто-то на отлично; предполагалось, что средний балл получится более-менее объективным. Наверное. В крайнем случае для дальнейшего уточнения этого среднего предусмотрели арбитраж.

Мэвис,
Просто посочувствую

Мэвис, имхо, вам не в чем оправдываться. Да, раньше была другая система, а попытку скрестить ежа с ужом, то есть ввести в новую систему элементы старой, орги доводили до сведения достаточно невнятно чтобы люди запутались что от них требуется: то ли переголосовка с целью уточнения баллов после обсуждения, как это, вероятно, задумывалось нынешними оргами; то ли распределение мест вручную, как это было раньше.

My Precious, вот меня всю дорогу смущали (скажем так) формулировки. Что такое уточнение баллов? Разница в тройке могла быть и была - 0, 1. Между 3 и 4 - 0, 1. Как можно было уточнить, не изменив тройку? В том числе и поэтому начали высчитывать - уточнение вело к распределению мест.

Svengaly, спасибо

My Precious, или подразумевалось, что мы будем уточнять места этак с 5 и вниз? хз

Мэвис, на примере.
Допустим, при случайном распределении кому что читать какой-то фик понравился двоим членам жюри и не понравился одному:
(4+4+1)/3 = 3.
При переголосовке большим количеством людей фик понравился четверым и не понравился двоим, то есть фик стабильно нравится двум людям из троих:
(1).
(4+4+1+4+4+1)/6 = 3.
(4+4+1+4+4+1+4+4+1...)/(3*к-во троек) = 3.
Последняя оценка, несмотря на то что внешне ничего не изменилось, точнее за счёт большей выборки. Как с монеткой: вероятность того, что она выпадет орлом шесть раз подряд, меньше вероятности что орёл выпадет подряд трижды, и чем больше бросков - тем ближе к точному среднему значению будет результат, тем ближе оценка фика будет к объективной.
Ну а если в первую выборку случайно затесался единственный на всё жюри человек которому фик не понравился, то переголосовка даст:
(2).
(4+4+1+4+4+4)/6 = 3,5
(4+4+1+4+4+4+4+4+4...)/(3*к-во троек) = результат будет стремиться к 4.

То есть в новой системе предполагалось, что все выставляющие фику оценки члены жюри будут судить независимо, каждый со своего опыта, но честно и без натяжек - и тогда каждый фик займет своё объективное место. В этом случае разница четыре человека судило фик, пять или десять действительно не принципиальна и влияла бы только на случайные погрешности распределения, а арбитраж был нужен для корректировки случайных же флуктуаций как в (2) и мог вообще не понадобиться (как в примере (1)).
В старой системе было иначе, там жюри распределяло места вручную в процессе совещания, и донести до вас, членов жюри, принципиальную разницу систем судейства орги не смогли. А сверх этого ещё и вылезли механические баги системы голосования, которые окончательно всех запутали.

В общем, имхо, в провальном результате конкурса виноваты не вы, жюри, и не новая система, а косноязычие оргов и вкравшиеся в код сайта неотловленные вовремя баги.

Ещё добавлю, что когда полезли ошибки подсчетов, непонятно что мешало оргам вывалить на публику "сырые" результаты голосования за выбор шотов из лонгов (без имён голосовавших за каждый фик членов жюри, конечно) и дать людям посчитать итоговые результаты самостоятельно. Да и вообще - в чём смысл скрытия первичных цифр? Так бы ошибки системы подсчета вскрылись - и были бы исправлены - гораздо быстрее, конкурс можно было бы спасти.

My Precious, да, все так. Это еще хорошо, что Ирма спохватилась, думаю, большинству из нас вообще пришло бы в голову пересчитывать ((

My Precious, спасибо, что обсуждаете, реально интересно и главное - доходчиво (даже для тупой гуманитарной меня) ))

Мэвис, незашт). Мне это с одной стороны интересно как технарю - слава роботам и вотэтовотвсё))), а с другой - я в принципе люблю фандомные движухи, даже если данная конкретная проходит мимо не цепляя. Всё равно это поток, это жизнь. Надеюсь, когда народ отплюется и подуспокоится, систему допилят, баги пофиксят - и конкурс возродится в том или ином формате.