Что такое трансформеры? (машинное обучение)
Где они используются? Трансформеры изначально позиционировались как нейросеть для обработки и понимания естественного языка. За четыре года с момента их появления они обрели популярность и появились во множестве сервисов, используемых ежедневно миллионами людей. Одним из самых простых примеров является языковая модель BERT компании Google, разработанная в 2018 году. 25 октября 2019 году техногигант объявил о начале использования алгоритма в англоязычной версии поисковика на территории США. Спустя полтора месяца компания расширила список поддерживаемых языков до 70, включая русский, украинский, казахский и белорусский. Оригинальную англоязычная модель обучали на датасете BooksCorpus из 800 млн слов и статьях из «Википедии». Базовая BERT содержала 110 млн параметров, а расширенная — 340 млн. Другой пример популярной языковой модели на базе трансформеров — это GPT (Generative Pre-trained Transformer) компании OpenAI. На сегодня самая актуальная версия модели — это GPT-3. Ее обучили на датасете размером 570 Гб, а количество параметров составило 175 млрд, что делает ее одной из крупнейшей языковых моделей. GPT-3 может генерировать статьи, отвечать на вопросы, использоваться в качестве основы для чат-ботов, производить семантический поиск и создавать краткие выжимки из текстов. Также на базе GPT-3 был разработан ИИ-помощник для автоматического написания кода GitHub Copilot. В его основе лежит специальная версия GPT-3 Codex AI, обученная на наборе данных из строчек кода. Исследователи уже посчитали, что с момента релиза в августе 2021 года 30% нового кода на GitHub написано с помощью Copilot. Кроме этого, трансформы все чаще стали применять в сервисах «Яндекса», например, «Поиске», «Новостях» и «Переводчике», продуктах Google, чат-ботах и прочее. А компания «Сбер» выпустила собственную модификацию GPT, обученную на 600 Гб русскоязычных текстов.
- 17 Ноя, 06:23
Что такое Segregated Witness (SegWit)
Segregated Witness, часто сокращаемое до SegWit, — это обновление протокола, активированное в Bitcoin Core в 2017 году. SegWit улучшил несколько аспектов Биткойна и открыл возможности для дальнейших обновлений, включая Taproot. Во-первых, и это самое...
- 13 Ноя, 11:15
Разменные монеты будущего: что такое NFT и для чего они нужны в играх?
1 ноября Ubisoft объявила о планах по созданию игр на базе блокчейна с элементами NFT. На следующий день Квентин Тарантино заявил, что вырезанные эпизоды из «Криминального чтива» будут продавать в виде NFT-токенов. Рассказываем о феномене NFT, его ис...
- 4 Ноя, 16:10
Что такое частично подписанные биткойн-транзакции (PSBT)
Стандарт PSBT определяет точный формат для передачи биткойн-транзакций. Этот формат может содержать метаданные о транзакции, чтобы упростить для подписывающих сторон ее проверку и подписание. Стандарт определяет также процесс сборки и финализации тра...
- 2 Ноя, 10:29
Что такое DAO и при чем здесь компании будущего
Покупатель был раскрыт только 20 октября: им оказалась организация, известная как PleasrDAO. Объявление стало приятным сюрпризом для криптосообщества и привлекло внимание СМИ.PleasrDAO — не новички в мире редких коллекционных предметов. В июне они ку...
- 31 Окт, 06:00
Что такое Fantom?
Кто и когда создал Fantom? Компанию Fantom Foundation Ltd зарегистрировали в начале 2018 года в Южной Корее. Основателем и CEO проекта стал Ан Бьюнг Ик, известный в своей стране по созданию приложения для оценки ресторанов SikSin. Он также является п...
Cегодня
- 05:15 Китай и ОАЭ высоко оценивают потенциальную роль ЦБЦ в трансграничной торговле
- 05:07 CryptoSlam: Объем NFT-торгов в мае обрушился на 54%
- 04:03 Farside: Рынок спотовых биткоин-ETF показал самый длительный рост с февраля
- 03:46 Google сотрудничает с Magic Leap для усиления потенциала технологий дополненной реальности
В мире за неделю
-
2 Июн, 13:40+8 Британский банк Kroo решил запретить своим клиентам совершать транзакции с криптовалютой
-
30 Май, 13:53+5 Криптоаналитик: DOGE может вырасти до $0,322 в одном случае От Happy Coin News
-
30 Май, 09:45+6 Виталик Бутерин назвал L2-решения «культурным продолжением» Ethereum
-
29 Май, 07:46+6 Суд приговорил экс-директора FTX Райана Саламе к 7,5 годам тюрьмы
-
27 Май, 04:22+4 В ОАЭ пригрозили штрафами на майнинг криптовалют на фермах
-
26 Май, 05:48+5 После легализации Ethereum-ETF ожидается то же самое для SOL
-
24 Май, 13:50+4 Материал Центробанк не видит массового инвестирования в криптовалюты, портал ПЛАС
-
24 Май, 06:28+4 Клиенты Bybit запаниковали и начали выводить десятки миллионов