«Опять пришел пугать своими выдуманными угрозами» — часто думают про меня, когда я рассказыва...

«Опять пришел пугать своими выдуманными угрозами» — часто думают про меня, когда я рассказываю про химический и биологический терроризм. Да что там думают — даже в лицо говорят иногда.

А вот тут вчера в журнале Time вышла интереснейшая статья. Про новую нейросетевую модель Claude Opus 4 от компании Anthropic, конкурента Google и OpenAI. Казалось бы, причем здесь биотерроризм?

Я полностью цитировать не буду, только пару абзацев:

В четверг Anthropic запустила Claude Opus 4, новую модель, которая в ходе внутреннего тестирования показала себя более эффективно, чем предыдущие модели, консультируя новичков о том, как производить биологическое оружие, говорит Джаред Каплан, главный научный сотрудник Anthropic. «Вы можете попытаться синтезировать что-то вроде COVID или более опасную версию гриппа — и в принципе наше моделирование предполагает, что это может быть возможно», — говорит Каплан.

Конечно, Anthropic не совсем уверен, что новая версия Claude представляет серьезные риски биологического оружия, сказал Каплан TIME. Но Anthropic не исключает и такую возможность.

Там, конечно, ещё долго и (не)убедительно говорится, что они предприняли беспрецедентные меры защиты, чтобы моделька ни в коем случае не делилась такими сведениями.

Но факт остаётся фактом: генеративные предобученные трансформеры последних поколений достаточно эрудированны, чтобы очень понятно объяснить кому угодно, как из подручных средств сотворить оружие массового поражения. Но недостаточно сообразительны, чтобы этого не делать. Приходится вводить хитровыдуманные синтетические запреты, которые, как признаются сами разрабы, вполне возможно обойти.

Развитие технологий делает их более доступными для всех. Это хорошо. Хорошо же, да?

Спасибо коллеге Сергею Борисову за подгон роскошного инфоповода.