06.12.2023

Гонка в области искусственных интеллектов, навсегда изменившая Кремниевую долину

Карен Вайз (Karen Weise), Кейд Метц (Cade Metz), Нико Грант (Nico Grant) и Майк Айзек (Mike Isaac)

Выпуск ChatGPT год назад вызвал отчаянную борьбу среди технологических компаний и тревогу некоторых из тех, кто помогал его изобрести.

Журнал «Наука и техника» - Новости рубрики «Материалы и технологии»

Иллюстрация: Hokyoung Kim

В час дня в пятницу незадолго до Рождества в прошлом году Кент Уокер, главный юрист Google, вызвал четырех своих сотрудников и испортил им выходные.

Группа работала в SL1001, обычном здании с фасадом из голубого стекла, не выдававшем, что внутри десятки юристов трудятся над защитой интересов одной из самых влиятельных компаний в мире. Несколько недель они готовились к встрече с влиятельными руководителями, чтобы обсудить безопасность продуктов Google. Все было готово. Но во второй половине дня мистер Уокер сообщил своей команде, что повестка дня изменилась, и им придется потратить следующие несколько дней на подготовку новых слайдов и графиков.

По сути, изменилась вся повестка дня компании - и все это в течение девяти дней. Сундар Пичаи, глава Google, решил немедленно подготовить линейку продуктов, основанных на искусственном интеллекте. Он обратился к мистеру Уокеру, тому самому юристу, которому доверил защиту компании в угрожающем прибыли антимонопольном деле в Вашингтоне. Мистер Уокер знал, что ему придется убедить Совет по обзору передовых технологий отбросить привычную осторожность и сделать то, что им скажут.

Это был приказ, а приказы в Google случались нечасто. Но Google столкнулась с настоящим кризисом. Ее бизнес-модель была под угрозой.

Что взволновало г-на Пичаи и остальных жителей Кремниевой долины? ChatGPT, программа искусственного интеллекта, выпущенная 30 ноября 2022 года компанией OpenAI. Она поразила воображение миллионов людей, которые считали искусственный интеллект научной фантастикой, пока не начали играть с ним. Это была сенсация. Но это была и проблема.

В Googleplex, известном своей бесплатной едой, массажем, занятиями фитнесом и услугами прачечной, г-н Пичаи тоже играл с ChatGPT. Его чудеса не поразили. Google разрабатывала собственную технологию искусственного интеллекта, которая делала многое из того же. Г-н Пичаи сосредоточился на недостатках ChatGPT - на том, что она ошибается, что иногда она превращается в предвзятую свинью. Его поразило то, что OpenAI все равно выпустила ее, и потребителям она понравилась. Если OpenAI смог это сделать, то почему Google не может?

Почему бы не пойти дальше? Именно этот вопрос стоял перед ИИ в подростковом возрасте - в течение года или около того после того, как технология перекочевала из лаборатории в жилые комнаты. В то время чат-боты писали заманчивые фишинговые письма и распространяли дезинформацию, а старшеклассники использовали их для списывания, чтобы получить пятерку. Прорицатели утверждали, что неограниченные возможности ИИ могут привести к гибели человечества.

Для боссов технологических компаний решение о том, когда и как превратить ИИ в прибыльный бизнес, было простым расчетом «риск - вознаграждение». Но чтобы выиграть, нужно было иметь продукт.

К утру понедельника, 12 декабря, команда SL1001 подготовила новую повестку дня с пометкой «Конфиденциально и секретно / Необходимо знать». Большинство участников подключились к видеоконференции. Г-н Уолкер начал встречу с объявления о том, что Google продвигается вперед в создании чатбота и возможностей искусственного интеллекта, которые будут добавлены в облачные технологии, поиск и другие продукты.

«Что вас беспокоит? Расскажите все по-порядку», - сказал Уокер, по словам Джен Дженнай, директора по ответственным инновациям.

Защитные меры будут, но принятия положительных решений будет проходить в ускоренном режиме. Мистер Уокер назвал этот подход «зеленой полосой». Все это было изложено в документе. Были определены возможности для рационализации «зеленой полосы». Опасности были выделены цветом. Синим цветом обозначались риски, для которых «требовались меры по смягчению последствий». Риски, которые были «контролируемыми с минимальными порогами», были выделены оранжевым цветом.

В одной из таблиц, в разделе «Ненависть и токсичность», планировалось «обуздать стереотипы, токсичность и язык ненависти в выходных данных». Одна из тем гласила: «Что мы упускаем, чтобы ускорить процесс получения разрешений?».

Не все были согласны. «Мои стандарты высоки, если не выше, чем обычно, и мы будем проходить через процесс пересмотра всего этого», - вспомнила г-жа Геннай слова одного из руководителей «облака».

В конце концов был достигнут компромисс. По словам Геннаи, они ограничат масштабы внедрения. И они не будут называть ничего продуктом. Для Google это будет эксперимент. Таким образом, он не должен быть идеальным. (Представительница Google сказала, что A.T.R.C. не имеет права решать, как будут выпускаться продукты).

То, что происходило в Google, повторилось и в других технологических гигантах после того, как OpenAI выпустила ChatGPT в конце 2022 года. У всех были технологии, находившиеся на разных стадиях разработки. Они основывались на нейронных сетях - системах искусственного интеллекта, которые распознавали звуки, генерировали изображения и общались как люди. Пионером этой технологии стал Джеффри Хинтон, ученый, который некоторое время работал в Microsoft, а сейчас трудится в Google. Но технологические компании тормозились из-за страха перед неавторизованными чат-ботами, экономическим и юридическим беспределом.

После того как ChatGPT был запущен, все это стало неважно, согласно интервью с более чем 80 руководителями и исследователями, а также корпоративным документам и аудиозаписям. Инстинкт быть первым, самым большим, самым богатым - или всеми тремя - взял верх. Руководители крупнейших компаний Кремниевой долины взяли новый курс и потянули за собой своих сотрудников.

За 12 месяцев Кремниевая долина преобразилась. Приоритетом стало превращение искусственного интеллекта в реальные продукты, которыми могли бы пользоваться люди и компании. Беспокойство о безопасности и о том, смогут ли машины подразумевать своих создателей, не игнорировалось, но было отодвинуто на второй план - по крайней мере, на данный момент.

В Meta Марк Цукерберг, который когда-то провозгласил, что будущее за метавселенной, реорганизовал часть компании, ранее известной как Facebook, выстроив ее вокруг работы над ИИ.

Илон Маск, миллиардер, который был одним из основателей OpenAI, но под шумок покинул лабораторию, поклялся создать свою собственную компанию по производству искусственного интеллекта. Он назвал ее X.AI и добавил ее к своей и без того насыщенной работе.

Сатья Наделла, глава Microsoft, вложил деньги в OpenAI за три года до этого и позволил ковбоям стартапа использовать его вычислительные мощности. Он ускорил свои планы по внедрению искусственного интеллекта в продукты Microsoft - и дал пинка Google Поиску.

«Скорость сейчас важна как никогда», - написал сотрудникам Microsoft Сэм Шиллас, один из руководителей высшего звена. Он добавил, что в данный момент было бы «абсолютно фатальной ошибкой беспокоиться о вещах, которые можно исправить позже».

«Предварительное исследование в малом ключе»

Странно, но руководители OpenAI никогда не думали, что ChatGPT всколыхнет Кремниевую долину. В начале ноября 2022 года, за несколько недель до того, как он был представлен миру, его еще не существовало как продукта. Большинство из 375 сотрудников, работавших в новом офисе компании, бывшей фабрике по производству майонеза, были сосредоточены на более мощной версии технологии под названием GPT-4, которая могла ответить практически на любой вопрос, используя информацию, полученную из огромной коллекции данных, собранных, казалось бы, отовсюду.

Это было революционно, но были и проблемы. Иногда техника изрыгала ненавистнические пассажи и дезинформацию. Инженеры OpenAI постоянно откладывали запуск и обсуждали, что с этим делать.

Одним из вариантов был выпуск более старой, менее мощной версии технологии - и просто посмотреть, что получится. По словам четырех человек, знакомых с работой OpenAI, идея заключалась в том, чтобы понаблюдать за реакцией публики и использовать ее для устранения недостатков.

И хотя некоторые руководители преуменьшали значение этой идеи, они хотели обойти конкурентов. Многие технологические компании работали над своими собственными чат-ботами. Но победить нужно было Anthropic, созданную за год до этого исследователями и инженерами, которые ушли из OpenAI, потому что считали, что Сэм Альтман, ее главный исполнительный директор, не сделал безопасность приоритетом по мере роста возможностей искусственного интеллекта. Перебежчики помогали развить технологию, которой так восхищались в OpenAI, прежде чем покинуть компанию.

В середине ноября 2022 года г-н Альтман, Грег Брокман, президент OpenAI, и другие собрались в конференц-зале на верхнем этаже, чтобы еще раз обсудить проблемы с их прорывной технологией. Внезапно мистер Альтман принял решение - они выпустят старую, менее мощную технологию.

План состоял в том, чтобы назвать ее Chat with GPT 3.5 и выпустить к концу месяца. Они назвали это «предварительным исследованием в малом ключе». Никому из присутствующих не показалось, что это серьезное решение.

«Мы планируем представить его как исследовательский релиз», - сказала Мира Мурати, главный технолог OpenAI, сотрудникам через Slack. «Это снизит риск во всех отношениях и позволит нам многому научиться», - написала она. «В ближайшие несколько дней мы намерены действовать быстро и добиться запуска».

Код, лежащий в основе проекта, представлял собой некий сгусток. Его нужно было преобразовать в нечто, с чем могли бы взаимодействовать обычные люди без докторской степени. Г-н Альтман и другие руководители попросили группу инженеров приделать к нему графический интерфейс пользователя - GUI, что в переводе означает «слизь». GUI - это лицо приложения, где вы набираете текст и нажимаете кнопки.

Ранее в том же году графический интерфейс был создан для демонстрации технологии Биллу Гейтсу, основателю Microsoft, в его доме в пригороде Сиэтла. Они прикрепили графический интерфейс и сменили название на ChatGPT. Примерно через две недели после того, как мистер Альтман принял решение, они были готовы к работе.

29 ноября, в ночь перед запуском, мистер Брокман организовал для команды вечеринку. По его словам, он не думал, что ChatGPT привлечет много внимания. Его прогноз: «не более одного твита с 5 тыс. лайков».

Мистер Брокман ошибался. Утром 30 ноября г-н Альтман написал в твиттере о новом продукте OpenAI, а компания опубликовала в блоге статью, перегруженную терминологией. И тут ChatGPT взлетел. Почти сразу же количество зарегистрированных пользователей переполнило серверы компании. Инженеры вбегали и выбегали из беспорядочного пространства рядом с офисной кухней, теснясь над ноутбуками, чтобы отвлечь вычислительные мощности от других проектов. За пять дней ChatGPT воспользовались более миллиона человек. Через несколько недель их число превысит 100 миллионов. Хотя никто не был уверен в истинных причинах, это был хит. Сетевые новостные программы пытались объяснить, как это работает. Одно комедийное шоу поздним вечером даже использовало его для написания (вроде бы смешных) шуток.

Когда все улеглось, сотрудники OpenAI использовали DALL-E, генератор изображений ИИ компании, чтобы сделать наклейку на ноутбук с надписью «Low key research preview». На ней был изображен компьютер, который вот-вот будет поглощен пламенем.

Цукерберг был предупрежден

Вообще-то, несколькими месяцами ранее Meta выпустила собственного чатбота - и это не вызвало особого резонанса.

BlenderBot оказался неудачным. Бот на основе искусственного интеллекта, выпущенный в августе 2022 года, был создан для ведения разговоров - он это и делал. Он сообщил, что Дональд Трамп все еще будет президентом и что Байден проиграет в 2020 году. Марк Цукерберг, по словам одного из пользователей, был «крайне зол». Затем, за две недели до выхода ChatGPT, Meta представила программу Galactica. Созданная для научных исследований, она могла мгновенно писать научные статьи и решать математические задачи. Кто-то попросил ее написать научную статью об истории медведей в космосе. Она таки написала. Через три дня «Галактика» была закрыта.

Цукерберг был занят своими мыслями. Весь год он занимался переориентацией компании на метавселенную и был сосредоточен на виртуальной и дополненной реальности.

Но ChatGPT требовал его внимания. По словам человека, знакомого с ходом произошедшей далее встречи, его ведущий ученый в области искусственного интеллекта Янн ЛеКун прибыл в район залива из Нью-Йорка примерно через шесть недель на обычную с виду встречу с руководством Meta. Доктор ЛеКун вел двойную жизнь - был главным ученым Meta в области ИИ и профессором Нью-Йоркского университета. Француз получил премию Тьюринга, самую престижную награду в области компьютерных наук, вместе с доктором Хинтоном за работу над нейронными сетями.

Когда они стояли в очереди на обед в кафе в штаб-квартире Meta, спроектированной Фрэнком Гери, доктор ЛеКун обратился к Цукербергу с предупреждением. Он сказал, что Meta должна соответствовать технологиям OpenAI, а также продвигать работу над помощником ИИ, который мог бы делать что-то в интернете от вашего имени. Такие сайты, как Facebook и Instagram, могут исчезнуть, предупредил он. За искусственным интеллектом будущее.

Цукерберг говорил мало, но его слушали. В приложениях Meta - Facebook, Instagram, WhatsApp - работало множество ИИ, но они были скрыты от глаз. Цукерберг был расстроен. Он хотел, чтобы мир признал мощь искусственного интеллекта Meta. Доктор ЛеКун всегда утверждал, что переход к открытому исходному коду привлечет к технологии Meta бесчисленное количество исследователей и разработчиков и поможет усовершенствовать ее гораздо быстрее. Это позволило бы Meta догнать и перегнать Цукерберга и его коллег-магнатов. Но это также позволило бы любому человеку манипулировать технологией, чтобы делать плохие вещи.

В тот вечер за ужином Цукерберг обратился к доктору ЛеКуну. «Я думал о том, что вы сказали, - сказал он своему главному ученому в области искусственного интеллекта. - И я думаю, что вы правы».

В Париже ученые доктора ЛеКуна разработали бота, управляемого искусственным интеллектом, которого они хотели выпустить как технологию с открытым исходным кодом. Открытый исходный код означал, что любой желающий мог ковыряться в его программном коде. Они назвали его Genesis, и он был практически готов к выпуску. Но когда они попросили разрешения выпустить его, юридическая и политическая команды Meta выступили против, по словам пяти человек, знакомых с ходом обсуждения.

В начале 2023 года, когда Цукерберг обдумывал дальнейший курс Meta после ChatGPT, среди руководства компании шли яростные споры об осторожности и скорости продвижения по этому пути.

Неужели все забыли о последних семи годах истории Facebook? Этим вопросом задались команды юристов и политиков. Они напомнили Цукербергу о том, что на платформах Meta разгорелся скандал из-за разжигания ненависти и дезинформации, а также о том, что после выборов 2016 года компания подверглась пристальному вниманию со стороны СМИ и Конгресса.

Открытый код может привести к тому, что мощные технологии окажутся в руках тех, кто имеет дурные намерения, и Meta возьмет вину на себя. Дженнифер Ньюстед, директор по правовым вопросам Meta, сказала Цукербергу, что подход к ИИ с открытым исходным кодом может привлечь внимание регулирующих органов, которые уже взяли компанию на прицел.

На встрече в конце января в своем офисе, который называют аквариумом (потому что он похож на аквариум) Цукерберг сообщил руководителям, что принял решение. Части Meta будут реорганизованы, а приоритеты изменены. Будут проводиться еженедельные совещания, на которых руководители будут информироваться о прогрессе в области искусственного интеллекта. Сотни сотрудников будут переведены на другие должности. Цукерберг заявил в сообщении на Facebook, что Meta «турбоускорит» свою работу над ИИ.

Цукерберг хотел быстро продвинуть проект. Исследователи в Париже подготовили Genesis. Название было изменено на LLaMA, сокращение от «Большая языковая модель Meta AI», и его опубликовали для 4 000 исследователей за пределами компании. Вскоре Meta получила более 100 000 запросов на доступ к коду.

Но через несколько дней после выхода LLaMA кто-то выложил код на 4chan, доску объявлений в Интернете. Meta потеряла контроль над своим чатботом, и худшие опасения команды юристов и политиков могли сбыться. Исследователи из Стэнфордского университета показали, что система Meta могла легко генерировать расистские материалы.

6 июня Цукерберг получил письмо о LLaMA от сенаторов Джоша Хоули из Миссури и Ричарда Блюменталя из Коннектикута. «Хоули и Блюменталь требуют от Meta ответов», - говорится в пресс-релизе.

В письме подход Meta был назван рискованным и уязвимым для злоупотреблений, а также приводилось неблагоприятное сравнение с ChatGPT. Почему, спрашивают сенаторы, Meta не может быть больше похожа на OpenAI?

В палатке Microsoft

Для Наделлы осознание того, что технологии OpenAI могут изменить все, не стало моментом «Ага!». Инвестировав 1 миллиард долларов в 2019 году, Microsoft начала потихоньку работать с кодом стартапа. Сначала это был GitHub, сервис хранения кода компании. Несколько команд инженеров начали экспериментировать с технологией OpenAI, чтобы помочь им писать код.

Летом 2021 года за ужином в зале заседаний совета директоров Microsoft со своим другом Наделла сказал, что начинает понимать, что эта технология изменит ход игры. По его прогнозам, она коснется всех сфер деятельности Microsoft и каждого человека. (Эксперимент с GitHub в итоге превратился в продукт: GitHub Copilot).

Год спустя Наделла получил возможность взглянуть на то, что позже превратится в GPT-4. Наделла попросил его перевести на урду стихотворение, написанное на персидском языке Руми, который умер в 1273 году. Он справился. Он попросил его транслитерировать урду в английские символы. Чат сделал и это. Тогда я сказал: «Боже, вот это штука», - вспоминал Наделла в одном из интервью. - «С того момента он был полностью вовлечен в процесс».

Инвестиции Microsoft в OpenAI в размере 1 миллиарда долларов уже выросли до 3 миллиардов долларов. Теперь Microsoft планировала увеличить их до 10 миллиардов долларов.

Даже для Microsoft, располагающей 105 миллиардами долларов наличными, это были были большие деньги. OpenAI была организована как некоммерческая организация. Microsoft не получит места в совете директоров. Но у нее было право использовать код OpenAI. Это означало, что Microsoft и OpenAI были партнерами и конкурентами одновременно.

В конце лета 2022 года офисы Microsoft еще не вернулись к состоянию своей предпандемической загруженности. Но 13 сентября Наделла созвал своих топ-менеджеров на встречу в здании 34, нервном центре Microsoft. Прошло два месяца, прежде чем Альтман принял решение о выпуске ChatGPT.

Они с Брокманом продемонстрировали GPT-4 группе. Сначала они задали ему вопросы по биологии. Затем мистер Брокман позволил руководителям попытаться поставить чатбота в тупик. В какой-то момент чатботу был задан вопрос о фотосинтезе. Он не только ответил, но и исключил другие варианты. Питер Ли, глава Microsoft Research, был удивлен тем, что чатбот, похоже, умеет рассуждать. Он повернулся к главному ученому Microsoft, который сидел рядом с ним, и спросил: «Что там происходит?!»

Затем Наделла вышел на трибуну, чтобы сообщить своим подчиненным, что все должно измениться. Это был приказ руководителя, который обычно предпочитает консенсус. «Мы переводим всю компанию на эту технологию», - вспоминал позже Эрик Хорвиц, главный научный сотрудник. «Это центральное достижение в истории вычислительной техники, и мы будем на волне, на ее переднем крае».

Пока все это должно было оставаться в тайне. Не все могли попасть в палатку, а в Microsoft палатки были местом, где происходили важные события. В начале октября было создано три «палаточных проекта», чтобы дать старт большому повороту. Они были посвящены кибербезопасности, поисковой системе Bing, Microsoft Word и сопутствующему программному обеспечению.

Примерно два месяца спустя Юсуф Мехди, руководитель отдела маркетинга, продемонстрировал чат-бот Bing некоторым членам совета директоров. Они не были в восторге от него. Они сочли продукт слишком сложным и не имеющим четкого видения, которое можно было бы донести до потребителей. Команда Наделлы не справилась с задачей.

Через две недели Мехди встретился с полным составом совета директоров. На этот раз продемонстрированная им версия была более простой и удобной для потребителей. Все было готово.

7 февраля Microsoft пригласила журналистов в свой кампус в Редмонде (штат Вашингтон), чтобы представить миру чат-бот Bing. Их проинструктировали, чтобы они никому не говорили, что идут на мероприятие Microsoft, и тема не разглашалась.

Но каким-то образом Google узнала об этом. Чтобы опередить Microsoft, 6 февраля в блоге г-на Пичаи появилось сообщение о том, что Google представит собственного чат-бота Bard. Когда именно, не сообщается.

Мистер Альтман только что прибыл в конференц-центр Microsoft на пробный показ, когда Мехди схватил его и показал ему пост Пичаи.

«Боже мой, это истерика», - вспоминает Мехди слова Альтмана. В этот момент Наделла вышел из комнаты, где проходила репетиция презентации. Альтман предложил ему и Наделле сделать селфи. Он опубликовал его в Twitter, чтобы подстегнуть Google.

«Привет из Редмонда! В предвкушении завтрашнего мероприятия», - написал Альтман, у которого более 1,3 миллиона подписчиков в Twitter.

К утру 8 февраля, на следующий день после того, как Microsoft анонсировала чатбота, ее акции выросли на 5 процентов. Но для Google поспешное объявление обернулось конфузом. Исследователи заметили ошибки в сообщении Google в блоге. В сопроводительном GIF-ролике Барда говорилось, что телескоп Уэбба сделал первые снимки экзопланеты - планеты за пределами Солнечной системы. На самом деле телескоп Европейской южной обсерватории на севере Чили получил первое изображение экзопланеты в 2004 году. Бард ошибся, и Google подверглась нападкам в новостных СМИ и социальных сетях.

Это было, как сказал позже в интервью мистер Пичаи, «прискорбно». Акции Google упали почти на 8 процентов, уничтожив более 100 миллиардов долларов.

Оказалось, что в презентации Microsoft тоже были ошибки. Но никто этого не заметил.

Прощание с Google

Чатбот Bing, несомненно, вывел Microsoft вперед в гонке с Google, и весной 2023 года Наделла закупил компьютерных чипов на сумму более 2 миллиардов долларов, чтобы сохранить это положение, по словам двух человек, знакомых с бюджетом. «У нас к вам большой заказ, очень большой заказ», - радостно сказал Наделла Дженсену Хуангу, руководителю Nvidia, по словам Хуанга.

Пичаи в Google чувствовал себя как аквалангист. Разрушения после объявления Google о Bard были бурными, и это было похоже на навигацию по бурной верхней части океана. Но под поверхностью вода была спокойной, и он был сосредоточен на предстоящем выпуске продуктов Google ИИ.

Пичаи руководит более чем 2 000 исследователей, разделенных между двумя лабораториями - Google Brain и DeepMind. В апреле он объединил их. Google DeepMind будет разрабатывать систему искусственного интеллекта под названием Gemini. Для управления ею Пичаи выбрал Демиса Хассабиса, основателя DeepMind. Хассабис давно и громко предупреждал, что искусственный интеллект может уничтожить человечество. Теперь он будет отвечать за то, чтобы привести Google к расцвету искусственного интеллекта.

Джеффри Хинтон, самый известный ученый Google, всегда подшучивал над людьми вроде доктора Хассабиса - обреченными рационалистами и эффективными альтруистами, которые беспокоились, что ИИ покончит с человечеством в ближайшем будущем. Он разработал большую часть научных основ искусственного интеллекта, будучи профессором Университета Торонто, и стал богатым человеком после перехода в Google в 2013 году. Его часто называют крестным отцом искусственного интеллекта.

Но новые чат-боты все изменили. Наука развивалась быстрее, чем он ожидал. Представление компанией Microsoft своих чатботов убедило его в том, что у Google не будет другого выбора, кроме как попытаться догнать их. А корпоративная гонка, развернувшаяся между технологическими гигантами, казалась опасной.

«Если рассматривать Google как компанию, целью которой является получение прибыли, - сказал доктор Хинтон в апреле, - то они не могут просто позволить Bing занять место поиска Google. Они должны конкурировать с ним... Когда Microsoft решила выпустить чатбота в качестве интерфейса для Bing, это был конец праздничного периода».

Доктор Хинтон провел много времени, размышляя о своей роли в развитии ИИ. Иногда он испытывал сожаление. Иногда он в шутку посылал друзьям видео с Эдит Пиаф, поющей «Non, Je Ne Regrette Rien». Но в конце концов он решил уйти.

Впервые за более чем 50 лет он отошел от исследований. И вот в апреле он позвонил г-ну Пичаи и попрощался с ним.

Источник: nytimes.com

Информация о последних событиях и достижениях в области науки, техники и технологий. При использовании материала необходима гиперссылка на ресурс

. Все авторские права на изображения и тексты принадлежат их создателям. Если вы являетесь правообладателем и не согласны с размещением вашего материала на нашем сайте, пожалуйста, свяжитесь с нами по адресу
izd-naukatehnika@yandex.ru
.

© 2023 Наука и техника