Реальна ли опасность «Робокалипсиса»?

Общие вопросы по выживанию, а также не вошедшее в другие разделы.
Ответить
Аватара пользователя
dj57rus
Ц.И.А.Н.
Ц.И.А.Н.
Сообщения: 1231
Зарегистрирован: 07.11.2010, 21:49

Реальна ли опасность «Робокалипсиса»?

Сообщение dj57rus »

Человеческая цивилизация, гибнущая в схватке с бездушными машинами – этот популярный и на редкость благодарный сюжет кинопромышленность давно эксплуатирует и в хвост и в гриву.
Изображение
«Терминатор» и «Матрица» предрекают нашему роду кончину от искусственного интеллекта, получившего чересчур большую свободу.
Учитывая темпы технологического развития, можем ли мы считать сценарий типа «Робокалипсис» таким уж невероятным? Может, наоборот, пророческим?
Прогноз на будущее планеты может быть диаметрально противоположным. Всё зависит от того, кого вы спросите.
Большинство учёных склоняется к тому, что взаимоотношения человека и машины в будущем будут скорее гармоничными, чем враждебными.
И, тем не менее, вероятность сценария, при котором небиологические существа начнут нас истреблять, всё-таки остаётся.
«Уже существующие технологии вполне могут выстроить систему, способную уничтожить всю Землю, намеренно или ненамеренно», – считает профессор компьютерных наук Шломо Зильберштейн из Массачусетского университета.

Машины к нашим услугам
Давайте, для начала, рассмотрим оптимистичный вариант: машины всегда будут нашими слугами, и не более того.
«У нас есть один выход – отказаться от создания систем, которые могут стать опасными, если выйдут из-под контроля», – уверен Зильберштейн.
Например, уже сейчас возможно появление автоматической оборонной системы Skynet, которая в фильме «Терминатор» решила погубить всё человечество.
Почему подобная система до сих пор не построена? Причина серьёзная: ядерные державы, такие как Соединённые Штаты, не захотят переложить на компьютер ответственность за запуск боеголовок.
«А вдруг система будет заражена вирусом? Никому не нужен такой риск»
Самостоятельность в меньшем масштабе, но всё равно довольно серьёзная, предоставлена сегодня, например, хищным беспилотникам, которые используются на Ближнем Востоке.
«Количество роботизированных систем, которые действительно могут активироваться по собственному усмотрению, растёт с каждым днём».
Тем не менее, за беспилотниками зорко следят операторы и последнее слово - нанести удар или нет – всё ещё остаётся за ними.
Так что нам ещё далеко до Skynet, которому в «Терминаторе» был предоставлен контроль за всем ядерным арсеналом Америки.
В «Терминаторе» военные создают программу с целью устранить опасность человеческой ошибки или его недостаточно оперативной реакции в случае нападения на США.
Когда люди-операторы наконец понимают, что реальная опасность исходит от всесильной Skynet, они пытаются остановить систему. Та, в свою очередь, интерпретирует вмешательство как угрозу своему существованию, наносит удар по России, провоцируя ответный удар. Миллиарды людей гибнут, а Skynet организует строительство фабрик по производству армии роботов, чтобы избавиться от остатков человеческого рода.
В реальном мире, по мнению Зильберштейна, простые меры безопасности предотвратят появление угрозы для человека, во всяком случае, если такая угроза не предусмотрена разработчиками – если они охраняют границы, например.
Плюс к этому, возможность принимать масштабные стратегические решения не должна быть заложена ни в одной из систем.
«Роботы будущего будут обладать специфическими возможностями. Они смогут следить за обстановкой в регионе и даже, может быть, наносить удары, но полностью заменить человека – ни в коем случае».

Роботы выходят из-под контроля
Коллега Зильберштейна из Университета Калифорнии Майкл Дайер не разделяет такого оптимизма. Он полагает, что «машины неизбежно заменят людей» – и процесс замены вовсе не обязательно будет мирным.
Успехи науки в области создания искусственного интеллекта приведут к появлению машин, не уступающих нам «умом и сообразительностью» в течение пары сотен лет, предсказывает Дайер.
«Мы достигли точки, когда научились понимать, как работает наш мозг, и недалёк тот день, когда мы создадим синтетическую версию самих себя». Кто откажется провести вечность в практичной искусственной оболочке?
Перспектива обрести бессмертие слишком соблазнительна, чтобы мы могли добровольно от неё отказаться.
Подобный переход от биологического мира к технологическому кажется достаточно гладким.
Куда менее привлекательным представляется другой возможный сценарий «восстания машин».
Дайер предполагает, что новая гонка роботизированных вооружений может обернуться катастрофой. Как и Skynet, изобретение может пойти против своего изобретателя.
Или, казалось бы, безобидная ситуация: Завод по производству роботов перестаёт подчиняться человеческим командам. Руководство решает отключить его от электропитания. «Но, к сожалению, электростанция тоже управляется роботами, и они тоже отказываются подчиниться. Люди пытаются остановить грузовики, доставляющие на завод необходимые материалы. Но водители грузовиков тоже роботы – и опять ничего не выходит»
Не так уж невероятно, что искусственный разум при помощи интернета сможет лишить человека его господствующего положения, если общество слишком сильно будет зависеть от автоматических систем.
В целом, немного мудрости предотвратит человеческий род от ловушек, сочинённых голливудскими сценаристами. Но хорошие прибыли – серьёзный мотив, который заставляет компании автоматизироваться всё больше и больше, а опыт показывает, что рациональные решения побеждают далеко не всегда.
«Слишком много вариантов развития событий могут закончиться «Судным днём». И я не исключаю возможности его наступления, – говорит Зильберштейн. – Хотя лично меня это не очень беспокоит».
Аватара пользователя
GoBlin
Ц.И.А.Н.
Ц.И.А.Н.
Сообщения: 9396
Зарегистрирован: 17.11.2007, 21:55

Re: Реальна ли опасность «Робокалипсиса»?

Сообщение GoBlin »

«Мы достигли точки, когда научились понимать, как работает наш мозг
В таких случаях хочется спросить - а в каком году дали нобелевку за раскрытие механизма? А то за будничными делами прохлопал как-то. Пока что сам факт наличия сознания остаётся тайной за семью печатями, пущай не нагнетает :)


В принципе, пока беспилотники остаются не более чем радиоуправляемыми самолётиками, можно особо не опасаться скайнета :maniac: хотя всё чаще пишут о наделении их возможностями самим шарахнуть ракетой, когда ситуация удовлетворит ряду условий. Да и робот-мул предполагается вполне автономным, с поведением на уровне прирученной собаки.
N ≡ C – C ≡ N
Аватара пользователя
Svart Alf
Друг ЦИАН
Друг ЦИАН
Сообщения: 121
Зарегистрирован: 21.05.2012, 11:41
Откуда: Санкт-Петербург, Курортный район
Контактная информация:

Re: Реальна ли опасность «Робокалипсиса»?

Сообщение Svart Alf »

GoBlin писал(а): В принципе, пока беспилотники остаются не более чем радиоуправляемыми самолётиками, можно особо не опасаться скайнета :maniac: хотя всё чаще пишут о наделении их возможностями самим шарахнуть ракетой, когда ситуация удовлетворит ряду условий. Да и робот-мул предполагается вполне автономным, с поведением на уровне прирученной собаки.
Программные сбои никто не отменял. :параноики юнайтед:
Так что лично я бы не наделял какой-либо самостоятельностью тех. средства, несущие какое-либо вооружение.
Аватара пользователя
Svart Alf
Друг ЦИАН
Друг ЦИАН
Сообщения: 121
Зарегистрирован: 21.05.2012, 11:41
Откуда: Санкт-Петербург, Курортный район
Контактная информация:

В Кембридже откроют курсы по противодействию опасностям ИИ

Сообщение Svart Alf »

Ученые собираются изучать степень угрозы, которую роботы могут представлять для человечества, а также искать возможные пути противодействия им.

Выделено 4 главных цели мониторинга и исследований (которые принято считать потенциальными угрозами)

— искусственный интеллект;
— изменение климата;
— ядерное оружие;
— биотехнологии.

Основателями Центра по Изучению Глобальных Рисков (CSER, Centre for the Study of Existential Risk) станут лорд Рис и ряд выдающихся мировых космологов.

Рис, кстати, выпустил в 2003 году книгу «Наш последний век», где предупреждал, что деструктивная направленность человеческой деятельности прикончит все человечество году к 2100-му.

Еще Ирвинг Джон Гуд (соратник Тьюринга), криптограф и один из первых ученых-компьютерщиков, считал, что машины с колоссальным интеллектом будут построены в самом ближайшем будущем.

А еще он считал, что постройка такой машины станет последним изобретением человечества.

Хью Прайс, профессор философии, один из основателей проекта:

Нам нужно очень серьезно отнестись к последствиям создания искусственного интеллекта. Это вполне может оказаться Ящиком Пандоры. Риск велик, ведь на карту поставлено слишком многое, нынешний мир очень сильно зависит от технологий.

В общем, основная философия здесь в том, что мы обязаны с максимальной серьезностью подходить к вещам, которые несут потенциальную угрозу нашему существованию. В данном случае, я говорю о технологиях.

Кембридж, один из старейших универститетов, недавно отпраздновал 800-летие. Наша цель заключается еще и в том, чтобы человечество смогло увидеть и тысячелетний юбилей.

©
Аватара пользователя
Svart Alf
Друг ЦИАН
Друг ЦИАН
Сообщения: 121
Зарегистрирован: 21.05.2012, 11:41
Откуда: Санкт-Петербург, Курортный район
Контактная информация:

Re: Реальна ли опасность «Робокалипсиса»?

Сообщение Svart Alf »

Пентагон пообещал сохранить контроль человека над роботами
Министерство обороны США обнародовало новую директиву, устанавливающую порядок взаимодействия человека с автономными и полуавтономными системами вооружения, сообщает Defense News. Согласно этому документу, Пентагон намерен сохранить контроль человека над применением оружия роботизированными системами. При этом действие директивы не распространяется на системы, оснащенные оружием нелетального воздействия и аппаратурой радиоэлектронной борьбы.

Новая директива Пентагона была обнародована 27 ноября 2012 года. Согласно этому документу любые автономные и полуавтономные системы должны разрабатываться таким образом, чтобы во время их боевого применения у человека-оператора была возможность всегда контролировать их действия. Под контролем также подразумевается и возможность задействовать или отключать вооружение роботизированных систем. При этом все такие системы должны проходить тщательные испытания.

Разработчики обязаны будут проводить тщательную проверку роботизированных систем, чтобы свести к минимуму число возможных сбоев и неполадок во время боевого применения. После прохождения всех этапов испытаний перспективные системы перед принятием на вооружение должны будут получать одобрение заместителя министра обороны по политике, заместителя министра обороны по военным закупкам и технологиям и председателя Объединенного комитета начальников штабов.

Основной задачей директивы является предотвращение ненамеренного задействования роботизированных боевых систем "с причинением вреда людям или объектам, не определенным человеком-оператором вооруженных сил США в качестве целей, включая уровень сопутствующего ущерба, превышающий нормы, которые оговорены 'законом войны', или не соответствующий ожиданиям командующего". При этом директива не вводит запрета на создание автономных систем.

"Это просто директива на будущее. Она появилась не потому, что мы вдруг осознали, будто кто-то приблизился к созданию Терминатора, и решили отрегулировать этот вопрос. Это совсем не так", - заявил заместитель министра обороны по политике Дэвид Очманек (David Ochmanek).

Ранее международная неправительственная организация Human Rights Watch призвала правительства всех стран отказаться от создания полностью автономных вооружений, которые могут нарушить права мирного населения во время военных действий. По оценке организации, боевые роботы не смогут отличить мирных жителей от военных, а значит нарушат множество положений Женевских конвенций ("законы войны") и требования Декларации Мартенса.

Между тем, в конце ноября 2012 года сообщалось, что российские инженеры работают над созданием систем управления группами роботов, включая и вооруженные системы. По данным ЦНИИ робототехники и технической кибернетики, для российских роботов планируется разработать "определенный алгоритм поведения, самостоятельности". При этом, по данным разработчиков, об искусственном интеллекте речи не идет.
©
Аватара пользователя
dj57rus
Ц.И.А.Н.
Ц.И.А.Н.
Сообщения: 1231
Зарегистрирован: 07.11.2010, 21:49

Re: Реальна ли опасность «Робокалипсиса»?

Сообщение dj57rus »

...первое место в соревновании DroneGames получил Джеймс Халлидей (James Halliday), который написал вирус, работающий в системе управления летательного аппарата и заражающий все беспилотники, попадающие в зону действия радиопередатчика зараженного аппарата. Зараженные беспилотники выходят из-под контроля и "сходят с ума".
Изображение

ИзображениеНейристор - мемристор, демонстрирующий поведение, подобное поведению нейрона
Изображение
Исследователи из лабораторий компании HP нашли способ создания чипа, который будет работать на основе электрических импульсов, которые являются первым и максимальным на нынешний момент приближением к импульсам, вырабатываемым нейронами. Специалисты HP, работавшие в свое время над реализацией мемристоров, выяснили комбинацию мемристора, конденсаторов и других электронных компонентов, которая может вырабатывать электрические импульсы, подобные нервным импульсам, и которые получили название нейристоры. И хотя эти электрические импульсы имеют более простые характеристики, нежели нервные импульсы, используя такой подход можно уже прямо сейчас приступить к созданию кремниевых чипов, содержащих на своем кристалле огромное количество таких нейристоров, и которые могут оперировать более большими количествами информации, чем обычные чипы, работающие на двоичной системе.
Для того, что бы получить подобное нейрону поведение, исследователи взяли за основу упрощенную модель нейрона, основанного на белках, которые являются источником и проводником электрических сигналов. Когда нейрон активируется, натрийсодержащие "каналы" открываются, позволяя ионам перемещаться в нервной клетке, изменяя распределение электрических зарядов внутри самой нервной клетки и на ее поверхности. Реакцией на это становится открытие каналов с другой проводимостью, позволяющим ионам с другой полярностью перемещаться внутри клетки, восстанавливая баланс распределения электрического заряда.
Пора придумывать, как в электронные мозги встроить три закона робототехники... :crazy:
Sinobi
Новичок
Новичок
Сообщения: 23
Зарегистрирован: 09.07.2012, 16:52
Откуда: Казань

Re: Реальна ли опасность «Робокалипсиса»?

Сообщение Sinobi »

Например, уже сейчас возможно появление автоматической оборонной системы Skynet, которая в фильме «Терминатор» решила погубить всё человечество.
Почему подобная система до сих пор не построена? Причина серьёзная: ядерные державы, такие как Соединённые Штаты, не захотят переложить на компьютер ответственность за запуск боеголовок.


О нашей системе "Периметр" не слышали? Нет?
Рекомендую ознакомиться :)
http://topwar.ru/3426-mertvaya-ruka-pos ... gavka.html
http://topwar.ru/618-informaciya-dlya-r ... zdiya.html
Аватара пользователя
dj57rus
Ц.И.А.Н.
Ц.И.А.Н.
Сообщения: 1231
Зарегистрирован: 07.11.2010, 21:49

Re: Реальна ли опасность «Робокалипсиса»?

Сообщение dj57rus »

[youtube][/youtube]
В лондонском Музее науки представили первого «бионического человека». При создании Рекса — так зовут робота — ученые использовали самые передовые технологии протезирования.

Его глаз получает изображение, снятое микрокамерой и подает электрические импульсы. Мозг преобразует их во всевозможные формы и узоры. У «бионического человека» работает система искусственного кровообращения с искусственной кровью. Есть у него и такие органы, как поджелудочная железа, почки, селезенка и трахея.
Аватара пользователя
BFG10k
Друг ЦИАН
Друг ЦИАН
Сообщения: 316
Зарегистрирован: 11.01.2013, 11:02

Re: Реальна ли опасность «Робокалипсиса»?

Сообщение BFG10k »

Широкое внедрение протоколов интеллектуальной маршрутизации BGP и OSPF и строительство сетей передачи данных по топологии типа Grid (решётка) огромными шагами приближает нас к созданию Скайнета из фильмов "Терминатор", потому что такую сеть практически нереально будет уничтожить - при выходе из строя определённого сегмента сеть сама способна проложить новый маршрут через неповреждённые узлы.
Изображение
Вступай в секту, добавь в подпись N ≡ C - C ≡ N!
Аватара пользователя
dj57rus
Ц.И.А.Н.
Ц.И.А.Н.
Сообщения: 1231
Зарегистрирован: 07.11.2010, 21:49

Re: Реальна ли опасность «Робокалипсиса»?

Сообщение dj57rus »

Томас Демарс (Thomas DeMarse), профессор биоинженерии из Флоридского университета, и его коллеги вырастили в своей лаборатории искусственный мозг из клеток нервных тканей мозга грызуна. Это было сделано с целью подробного изучения процессов формирования нейронных сетей и произведения этими сетями различных видов вычислений. Но самым интересным оказалось то, как ученые проводили свои исследования, при помощи сетки электродов, внедренных в нервные ткани искусственного мозга, ученые обучили этот мозг управлять реактивным истребителем F-22 в специализированной программе-симуляторе.

"Мозг", выращенный группой профессора Демарса, состоит из 25 тысяч нейронов, находящихся в специальной чашке Петри. Слой нервных клеток, корковых нейронов, покрывает сетку из 60 электродов, связанных с персональным компьютером. При помощи этих электродов осуществляется двухсторонний обмен информацией и реализуются обратные связи между искусственным мозгом и программой-симулятором, выполняющейся на компьютеры. Сигналы, передаваемые от компьютера к мозгу, содержат информацию о скорости, положении, направлении полета виртуального самолета, а сигналы, передаваемые от мозга к компьютеру, преобразуются в команды управления самолетом, понятные программе-симулятору.

Во время проведения своих исследований, которые были начаты еще в 2004 году, группа профессора Демарса получила уникальную возможность непосредственного прослеживания процессов нервной деятельности и процессов формирования новых нейронных сетей, которые являются ответом мозга на процесс обучения. Все это без особого труда можно увидеть в примитивном искусственном мозге, находящемся в стеклянном лабораторном сосуде, но эти процессы практически невозможно изучать на мозге реального животного из-за его сложности и других проблем технического и биологического плана.

Для того, чтобы понять, на что похожи наблюдения ученых группы профессора Демарса, можно посмотреть приведенный ниже видеоролик, подготовленный учеными из университета Иллинойса. Эти ученые разработали новый способ для визуализации нейронов и процессов их деятельности, что позволяет отследить формирование нейронных сетей, что и происходило в экспериментах профессора Демарса.
[youtube][/youtube]
Несмотря на то, что современные компьютеры могут выполнять последовательные вычисления со столь высокой скоростью и точностью, которые недостижимы для биологических вычислительных систем, к которым можно отнести и мозг живого существа, эти биологические системы могут выполнять быстро и эффективно некоторые задачи, такие, как распознавание образов, самообучение и т.п., которые не по зубам традиционным компьютерам. Исследования группы профессора Демарса направлены на совмещение всех самых положительных черт традиционных и биологических вычислительных систем.

"Если мы сможем досконально изучить алгоритмы, по которым биологические вычислительные системы выполняют сложнейшие задачи с высочайшей скоростью и эффективностью, мы сможем использовать эти знания при создании новых гибридных вычислительных систем, которым будут по плечу решение как и традиционных вычислительных задач, так и сложнейших задач, связанных с использованием интеллектуальной составляющей любой биологической системы" - рассказывает профессор Демарс, - "Вполне вероятно, что благодаря нашим исследованиям, действиями беспилотных аппаратов следующих поколений, выполняющих поставленные задачи в чрезвычайно опасных для живого человека условиях, будут управлять "полуживые" компьютеры, созданные на базе нейронных сетей из искусственно выращенных нервных тканей".
fram
Частый гость
Частый гость
Сообщения: 46
Зарегистрирован: 18.01.2014, 22:33

Re: Реальна ли опасность «Робокалипсиса»?

Сообщение fram »

не реален робоапокалипсис. Потому что чтобы до такого дойти - роботы должны перестать быть роботами, и стать людьми. А так нам с ними делить нечего. Делить нечего потому, что сами по себе роботы полностью выпадают из природной пищевой цепочки, где человек - главный хищник. Это параллельная ветвь эволюции, если хотите.
Аватара пользователя
borus
Новичок
Новичок
Сообщения: 1
Зарегистрирован: 16.02.2015, 09:42

Re: Реальна ли опасность «Робокалипсиса»?

Сообщение borus »

Чушь.
Люди рассуждают о роботах, не думая о том, что это крайне уязвимые системы - достаточно нейтрализовать ходовую часть и усё, можете глумиться над энтим роботом скока хоцца. Все эти беспилотники - хлам полный, может, с каким-нить зулусами, понятия не имеющими о подобных штуках, фокус и прокатит, а если противник не уступает в интеллектуальном и техническом плане? Пиндосы уже планируют целые войны с применением этого оружия, но как показала практика, весь этот высокотехнологический мусор уничтожается просто на раз - вспомните, как был сбит пиндосский беспилотник над Крымом. Ситуёвину описывает хорошая поговорка: на каждую хитрую ж_пу найдётся свой болт с резьбой, а на каждый болт с резьбой найдётся ж_па с закоулками.
Аватара пользователя
GoBlin
Ц.И.А.Н.
Ц.И.А.Н.
Сообщения: 9396
Зарегистрирован: 17.11.2007, 21:55

Re: Реальна ли опасность «Робокалипсиса»?

Сообщение GoBlin »

Ух как категорично. А с каким знанием дела применение комплекса "Автобаза" охарактеризовано как "просто на раз".

Я просто оставлю это здесь: http://inosmi.ru/op_ed/20141215/224935145.html
► Показать
Аватара пользователя
dj57rus
Ц.И.А.Н.
Ц.И.А.Н.
Сообщения: 1231
Зарегистрирован: 07.11.2010, 21:49

Re: Реальна ли опасность «Робокалипсиса»?

Сообщение dj57rus »

Автомобили еще не стали полностью автономными роботами, но ошибки в программном обеспечении уже преподносят неприятные сюрпризы:
Автопроизводитель Land Rover отзывает более 65 000 автомобилей, чтобы исправить программный баг, который приводит к самопроизвольному отпиранию дверей автомобиля. При этом водитель не увидит никакого оповещения об открытии двери на приборной панели.
Ford проводит кампанию по отзыву 433 тыс. автомобилей для обновления программного обеспечения: ошибка в ПО модуля BCM (Body Control Module) приводит к невозможности остановить двигатель, даже выдернув ключ зажигания или нажав кнопку "Старт/стоп".

Итак, вместо взбесившегося искусственного интеллекта (ИИ) - ошибки и уязвимости в программном обеспечении. Достаточно реалистичный вариант "робокалипсиса".
user5201
Постоялец
Постоялец
Сообщения: 277
Зарегистрирован: 13.05.2014, 15:50

Re: Реальна ли опасность «Робокалипсиса»?

Сообщение user5201 »

dj57rus писал(а):Автомобили еще не стали полностью автономными роботами, но ошибки в программном обеспечении уже преподносят неприятные сюрпризы
Там код пишут укуренные индусы. Был разбор полётов с контроллером педали "газа", там нашли тысячу глобальных переменных, а сам код контроллера не может быть полностью протестирован.

Искусственный интеллект - если он появится, то
1) некоторые (или довольно многие) профессии просто исчезнут (можно вспомнить историю с люмпенами),
2) скорость с какой он будет развиваться (умнеть) будет расти, т.е. мир уже будет другим, настолько другим, что человек сейчас и вообразить не сможет - мозгов не хватит,
3) не исключено что перенаселение планеты имеет место быть, так что для снижения этого риска некоторое кол-во людей он (ИИ) отправит в биореактор.
Аватара пользователя
the29\
Частый гость
Частый гость
Сообщения: 45
Зарегистрирован: 19.02.2014, 23:34

Re: Реальна ли опасность «Робокалипсиса»?

Сообщение the29\ »

2035 год. Автомобиль с ИИ обиделся на тебя, что ты заправился на "левой заправке".

Роботизация в ряде случаев не так плохо. Если опять же не делать все на "авось".
Роботизированные машини, которые можно сделать общественным транспортом. (Вероятность мала, но я хочу помечтать)
Опасное производство. Или просто нудный труд.
Робокалипсис будет не из-за упоротого индусо-кода (хотя, чтобы его понять, нужно употреблять что-то тяжелое, долгое время, видел как-то), а из-за того, что весь труд будет переложен на разного рода автоматику.
Ответить