LoRA — популярный метод дообучения больших моделей на небольших датасетах, однако на этапе инференса низкоранговые адаптеры работают неэффективно, а их объединение с весами требует хранения отдельной полной копии модели для каждого адаптера.
MultiLoRA решает эту проблему, позволяя одновременно выполнять инференс с несколькими адаптерами на основе одной базовой модели.
В статье мы сравним производительность MultiLoRA-инференса в двух популярных фреймворках — vLLM и TensorRT-LLM. Тесты проведём на готовых релизных Docker-образах, оценивая, какой фреймворк эффективнее обрабатывает батчи запросов в сценариях, близких к офлайн и асинхронному инференсу.
Читать далееСоздатели NFT всё чаще теряют доходы: маркетплейсы не платят роялти, пользователи ищут обходы, а стандарты вроде ERC-2981 ничего не гарантируют. ERC-721-C пытается это изменить. Новый набор контрактов от Limit Break предлагает механизмы жёсткого контроля за передачей токенов, валидаторы, whitelist’ы и маршрутизацию через Trusted Forwarder. Но вместе с защитой приходит и риск централизации. В этой статье — полный разбор архитектуры ERC721C, её плюсов, минусов и сценариев использования.
Читать далееМеня отчисляют из колледжа и кажется что жизнь на этом закончилась и дальше только мести улицы.
В один из дней я познакомился с человеком который сказал что в IT можно работать без образования и это меня зацепило, мне всегда нравилось решать логические задачи и получается это работа мечты для меня. Первые 2 месяца изучения были особо без результата, казалось что очень много информации нужно узнать и привычка со школы что учиться чему‑то это скучно сильно мешали нормальному росту. Через 2 месяца я уже мог подвинуть и изменить кнопку и это был результата и сам факт что из строчки кода появляются элементы просто взрывал голову, это была магия.
Но пока я сидел и читал надо было платить за гараж и я нашел подработку грузчиком, где смены были 12 часов, но все же была зп.
Эта работа была самой сильно мотивацией потому что работая с пьяницами, зеками и наркоманами ты понимаешь что либо ты сейчас забьешь на все страхи и продолжишь учить, либо ты будешь на этом уровне очень долго.
Читать далееСтартовала 16-я летняя распродажа в главном игровом магазине современности. Как всегда, тысячи игр получили большие скидки, включая относительно свежие. Это лучший повод, чтобы отблагодарить любимых разработчиков или хорошенько закупиться электронными развлечениями на сезон отпусков!
В нашей подборке — самые вкусные предложения с распродажи в разных жанрах.
Читать далееМеня зовут Сергей Меркулов и я старший консультант Fix Price. Наши магазины работают уже в 10 странах мира. И это значит, что каждый товар, который представлен на наших полках в зарубежных магазинах, обязательно имеет этикетку на иностранном языке. Для понимания масштабов: в нашей сети примерно 32 тысячи наименований локальных кодов (или SKU, то есть единиц складского учета). В среднем у одного локального кода — 3 штрихкода. То есть фактически у нас 96 000 различных этикеток! И сегодня я расскажу вам о том, как мы научились эффективно работать с ними на рынке ОАЭ.
Читать далееПересказываю культовую книгу Роберта Мартина "Чистый код" с примерами на C#. Узнайте, как создавать код, который читается как проза: от магии имен переменных и идеальных функций до безупречных тестов и архитектуры, которая не рухнет при первом требовании заказчика. Полный гид, ваш код станет предметом гордости, а не источником кошмаров.
Читать далееЭто всё о том, сколько чудесного и неожиданного можно узнать о потенциальном работодателе из открытых данных, и что делать, чтобы не проработать месяц-два бесплатно и не обмануться с другими ожиданиями. Спойлер: увидеть можно многое — от потенциального банкротства компании до дела о мошенничестве.
Никто из работодателей не напишет на сайте или в описании вакансии: «Ну да, так-то у нас иногда кассовые разрывы бывают, но мы тут держимся». Вместе этого будет: «Мы — признанные лидеры там-то и сям-то, нам доверяют, мы меняем мир, мы — динамично развивающаяся компания с сильным корпоративным духом (да, такие описания и кислотой не вытравить) и прочие «выше нас только горы».
Самое замечательное может начаться, если найти 10-15 минут времени и всмотреться в эту бездну успеха.
Где и что искатьВсем привет! Меня зовут Андрей, уже несколько лет я работаю тимлидом/техлидом в разных компаниях и различных проектах. В последнее время подход Domain Driven Design у всех на слуху. Хотя этот подход развивается уже много лет (с 2003), только сейчас на него обращают активное внимание и многие команды пробуют внедрять его у себя.
В этой статье я бы хотел рассказать об ошибках, возникших в процессе внедрения DDD в проектах с моим участием, и рассказать о подводных камнях, с которыми мы столкнулись при реализации, и о которых, к сожалению, мало говорят в книгах и руководствах. Возможно, это поможет вам правильно построить процесс внедрения и развития проектов с использованием подхода DDD.
Читать далееПривет! Меня зовут Александра, я системный аналитик в компании, которая помогает бизнесу автоматизировать процессы с помощью Битрикс24.В этом кейсе я расскажу о небольшом проекте по внедрению системы сбора клиентской обратной связи в службе поддержки, и почему это стало важным звеном в цепочке клиентского опыта.
Читать далееДжеффри Лоусон родился недоношенным в феврале 1985 года. Вскоре после этого новорождённому пришлось перенести операцию на сердце без анестезии. Он оставался в сознании на протяжении всей операции, и ему дали только павулон, мышечный релаксант, чтобы он не двигался. Через пять недель он умер.
После смерти Джеффри Лоусона его матери сказали, что её сын был слишком мал, чтобы перенести анестезию. А анестезиолог попытался заверить её, что нет никаких доказательств того, что недоношенные дети чувствуют боль.
История семьи Лоусон, ставшая знаменитой в области исследования боли, не была чем-то исключительным. До 1980-х годов хирургические операции на младенцах регулярно проводились с минимальной анестезией или вообще без неё. Даже явные защитные реакции на болевые раздражители считались простыми рефлексами.
Читать далееКаждый охотник желает знать, где сидит фазан, а каждый бюджетный геймер, совершенно того не желая, живет в вечном поиске компромиссов. Ведь производительность сборки почти всегда прямо пропорциональна цене компонентов, которые лежат в ее основе. А когда денег немного, прямо скажем, особо не развернешься. Поэтому остается жить и надеяться на удачу. Интересно, тянет ли на эту роль новый процессор Ryzen 5 5500X3D?
Читать далееПривет, Хабр! Меня зовут Илья Волынкин, я CTO платформы МТС Exolve. Когда мы говорим про VoIP-телефонию, первая ассоциация — Asterisk. Это open-source ПО захватило рынок и его аналоги не так популярны. На True Tech Day я рассказал про наш опыт с FreeSwitch — инструментом, решающим гораздо более масштабные задачи.
Благодаря ему мы смогли построить платформу, которая позволяет реализовывать сложные сценарии, добавлять разные модули (например, с AI под капотом), и собирать себе системы телефонии по принципу Lego. Под катом: рассказ про то, как сейчас усложнилась инфраструктура для звонков, какие есть варианты реализации VoIP и как это может развиться в будущем.
Читать далееДоброго времени суток всем!
Это вторая статья из серии Starting Point на HackTheBox. В ней попробуем разобраться в работе FTP-протокола и выполним несложные задачи.
Внимание!!!
Я настоятельно рекомендую сначала попробовать решить задачу самостоятельно, а в случае затруднений обратиться к подробному пошаговому руководству. Это позволит вам лучше понять процесс и развить собственные навыки. Также вы можете изучить различные подходы к решению и логику мышления.
Японский ученый и один из основоположников исследований в сфере машинного обучения и искусственного интеллекта Амари Шуничи стал лауреатом Премии Киото. Согласно официальному пресс-релизу, он «провёл новаторские исследования в области искусственных нейронных сетей и стал основателем направления информационной геометрии, изучающей статистические модели с помощью методов дифференциальной геометрии, предложив множество важных теорий. Его вклад как в теорию, так и в практику, оказавший влияние на различные области науки, имеет огромное значение».
10 ноября в Киото (Япония) Амари получит премию, включающую диплом, золотую медаль и денежное вознаграждение в размере 100 миллионов иен (около 700 000 долларов).
Читать далееРано или поздно любой разработчик мобильных приложений сталкивается с необходимостью внедрения в приложение работу с файлами. В этой статье я хочу рассказать о нашем опыте взаимодействия с файловой системой в рамках разработки приложения «Автоматизированная система управления мобильными бригадами».
Читать далее