Збільшення масштабів нейронних мереж для глибинного навчання. Новина Безкоштовної технічної бібліотеки

НОВИНИ НАУКИ ТА ТЕХНІКИ, НОВИНКИ ЕЛЕКТРОНІКИ
Безкоштовна технічна бібліотека / Стрічка новин

Збільшення масштабів нейронних мереж для глибинного навчання

15.10.2016

Компанія Fujitsu оголосила про розробку технології, яка оптимізує використання внутрішньої пам'яті графічних процесорів (GPU) з метою підтримати масштаби нейронних мереж, що зростають, що використовуються для підвищення точності машинного навчання.

Одним із методів збільшення масштабу глибинного навчання є розподіл однієї моделі нейронної мережі на декількох комп'ютерах та виконання обчислень паралельно. Але великий обсяг даних, який має передаватися між комп'ютерами, створює "пробки", значно знижуючи швидкість виконання завдань, пояснили у Fujitsu. Для того, щоб скористатися всіма можливостями графічних процесорів для високошвидкісних обчислень, дані повинні зберігатися у внутрішній пам'яті самих процесорів. Однак цей обсяг, як правило, менше обсягу пам'яті звичайних комп'ютерів, що обмежує можливості збільшення масштабу нейронних мереж.

Fujitsu розробила технологію для оптимізації використання пам'яті та збільшення масштабу нейронних мереж для обчислень з одним графічним процесором. У новинці не використовуються методи паралельної організації роботи, які значно зменшують швидкість читання. Нова технологія зменшує необхідний обсяг пам'яті за рахунок повторного використання ресурсів: вона дозволяє в незалежному режимі виконувати обчислення для створення даних проміжних помилок із зважених даних та обчислення для створення зважених даних із проміжних даних. Коли навчання починається, структура кожного шару нейронної мережі аналізується, і порядок обчислень змінюється для того, щоб область пам'яті, в якій розташований більший обсяг даних, могла повторно використовуватись, зазначили в компанії.

Компанія використовувала нову технологію в рамках платформи для глибинного навчання з відкритим кодом Caffe, вимірявши рівень споживання внутрішньої пам'яті GPU. Після запуску навчання технологія аналізує структуру нейронної мережі та оптимізує порядок виконання обчислень та розташування даних у пам'яті для того, щоб вільна область пам'яті могла повторно використовуватись. При використанні її спільно з AlexNet та VGGNet, нейронними мережами розпізнавання зображень, що використовуються для наукових досліджень, нова технологія Fujitsu до 2 разів збільшила масштаб нейронної мережі порівняно з попередніми аналогами. Таким чином, обсяг внутрішньої пам'яті графічного процесора, за оцінками компанії, був зменшений більш ніж на 40%.

Планує серійне використання нової технології з 31 березня 2017 р. у рамках проекту штучного інтелекту Human Centric AI Zinrai. Крім того, компанія планує використовувати цю технологію разом із раніше представленою технологією для обробки даних у рамках глибинного навчання методом паралелізації графічних процесорів.

<< Назад: Кішки здатні лікувати людей 16.10.2016

>> Вперед: У бджіл є емоції та зміни настрою 15.10.2016

Останні новини науки та техніки, новинки електроніки:

Доведено існування правила ентропії для квантової заплутаності 09.05.2024

Квантова механіка продовжує дивувати нас своїми таємничими явищами та несподіваними відкриттями. Нещодавно Бартош Регула із Центру квантових обчислень RIKEN та Людовіко Ламі з Амстердамського університету представили нове відкриття, яке стосується квантової заплутаності та її зв'язку з ентропією. Квантова заплутаність відіграє важливу роль у сучасній квантовій інформатиці та технологіях. Однак складність її структури робить розуміння та керування нею складними завданнями. Відкриття Регулу та Ламі показує, що для квантової заплутаності справедливе правило ентропії, подібне до того, що існує для класичних систем. Це відкриття відкриває нові перспективи в галузі квантової інформатики та технологій, поглиблюючи наше розуміння квантової заплутаності та її зв'язку з термодинамікою. Результати дослідження вказують на можливість оборотності перетворень заплутаності, що може спростити їх використання в різних квантових технологіях. Відкриття нового правила е ...>>

Міні-кондиціонер Sony Reon Pocket 5 09.05.2024

Літо - час відпочинку та подорожей, але часто спека може перетворити цей час на нестерпне борошно. Зустрічайте новинку від Sony – міні-кондиціонер Reon Pocket 5, який обіцяє зробити літо комфортнішим для своїх користувачів. Sony представила унікальний пристрій - міні-кондиціонер Reon Pocket 5, який забезпечує охолодження тіла у спекотні дні. З його допомогою користувачі можуть насолоджуватися прохолодою у будь-який час та в будь-якому місці, просто носячи його на шиї. Цей міні-кондиціонер оснащений автоматичним налаштуванням режимів роботи, а також датчиками температури та вологості. Завдяки інноваційним технологіям, Reon Pocket 5 регулює свою роботу залежно від активності користувача та умов довкілля. Користувачі можуть легко настроювати температуру за допомогою спеціальної мобільної програми, підключеної через Bluetooth. Крім того, для зручності доступні спеціально розроблені футболки та шорти, до яких можна прикріпити міні-кондиціонер. Пристрій може ох ...>>

Енергія з космосу для Starship 08.05.2024

Виробництво сонячної енергії в космосі стає все більш реальним з появою нових технологій та розвитком космічних програм. Керівник стартапу Virtus Solis поділився баченням використання Starship від SpaceX для створення орбітальних електростанцій, здатних забезпечувати енергією Землю. Стартап Virtus Solis представив амбітний проект створення орбітальних електростанцій, використовуючи Starship від SpaceX. Ця ідея може значно змінити сферу виробництва сонячної енергії, зробивши її доступнішою та дешевшою. Основою плану стартапу є зниження вартості запуску супутників у космос із використанням Starship. Передбачається, що завдяки цьому технологічному прориву виробництво сонячної енергії у космосі стане конкурентоспроможнішим порівняно з традиційними джерелами енергії. Віртуальна Solis планує створити великі фотоелектричні панелі на орбіті за допомогою Starship для доставки необхідного обладнання. Однак одним із ключових виклик ...>>

Новий метод створення потужних батарей 08.05.2024

З розвитком технологій та розширенням використання електроніки стає все більш актуальним питання створення ефективних та безпечних джерел енергії. Дослідники з Квінслендського університету представили новий підхід до створення потужних батарей на основі цинку, який може змінити пейзаж енергетичної індустрії. Однією з головних проблем традиційних батарей, що перезаряджаються, на водній основі була їх низька напруга, що обмежувало їх застосування в сучасних пристроях. Але завдяки новому методу, розробленому вченими, цей недолік успішно подолано. В рамках свого дослідження вчені звернулися до спеціального органічного з'єднання – катехолу. Воно виявилося важливим компонентом, здатним покращити стабільність роботи батареї та збільшити її ефективність. Цей підхід призвів до значного збільшення напруги цинк-іонних акумуляторів, що зробило їх конкурентоспроможнішими. За словами вчених, такі батареї мають кілька переваг. Вони мають б ...>>

Спиртуознавство теплого пива 07.05.2024

Пиво, як один із найпоширеніших алкогольних напоїв, має свій унікальний смак, який може змінюватись в залежності від температури споживання. Нове дослідження, проведене міжнародною групою вчених, виявило, що температура пива значно впливає на сприйняття алкогольного смаку. Дослідження, очолюване матеріалознавцем Лей Цзяном, показало, що з різних температурах молекули етанолу і води формують різні типи кластерів, що впливає сприйняття алкогольного смаку. При низьких температурах утворюються пірамідоподібні кластери, що знижує гостроту "етанолового" смаку і робить напій менш алкогольним на смак. Навпаки, при підвищенні температури кластери стають ланцюжнішими, що призводить до більш вираженого алкогольного смаку. Це пояснює, чому смак деяких алкогольних напоїв, таких як байцзю, може змінюватись в залежності від температури. Отримані дані відкривають нові перспективи для виробників напоїв, ...>>

Випадкова новина з Архіву

Екологічний синтез сечовини 06.10.2023

Вчені з Університету Квінсленду (QUT) представили екологічно чистий метод синтезу життєво важливого сільськогосподарського добрива – сечовини. Цей метод дозволяє отримувати сечовину за кімнатної температури з мінімальним енергоспоживанням, на відміну від традиційного процесу синтезу з використанням великих обсягів енергії.

Доктор Цзюньсянь Лю, головний автор дослідження, спільно з професором Юаньтонгом Гу та доцентом Лянчжі Коу зі Школи машинобудування, медицини та технології, виявили ефективний спосіб створення сечовини, важливого азотного добрива, що підтримує близько 27% світового сільського господарства. Сечовина також використовується у фармацевтиці, косметиці та виробництві пластиків.

На відміну від традиційного промислового процесу, який включає високі температури і тиск, новий метод пропонує синтез сечовини при кімнатній температурі і атмосферному тиску. Це досягається за допомогою хімічної реакції між азотом та монооксидом вуглецю з використанням каталізатора на основі графену.

Цей підхід суттєво знижує енергоспоживання порівняно з традиційними методами, що робить його перспективним кроком уперед у галузі виробництва сечовини та добрив загалом.

Дивіться повний Архів новин науки та техніки, новинок електроніки

All languages of this page

Головна сторінка | Бібліотека | Статті | Карта сайту | Відгуки про сайт