Личный опыт: как я скачал на обычный MacBook DeepSeek (не приложение, а всю нейросеть!) и зачем это простым пользователям

Одним из главных январских событий в мире стало появление китайского чат-бота DeepSeek, которого успели назвать «убийцей ChatGPT». Нейросеть доступна как онлайн, так и через приложение. Однако на самом деле есть еще один способ получить доступ к ее возможностям — полностью скачать ее на свой компьютер. Петербургский программист Эдгар Сипки (Developer Advocate МТС Web Services) проделал этот эксперимент и рассказывает, как обзавестись своим собственным искусственным интеллектом и зачем это делать обычному пользователю.

Зачем я скачал DeepSeek

Эдгар Сипки: По работе я довольно активно использую большие языковые модели (LLM) вроде ChatGPT, Lama* и так далее. Однако формально их разработчики закрыли к ним доступ пользователям из России. Чтобы ими пользоваться, приходится прибегать ко всяким ухищрениям. Устав от этого, я начал где-то с лета скачивать отдельные модели и запускать локально, чтобы посмотреть, как они будут работать.

DeepSeek не имеет таких правил, но из-за большого наплыва пользователей она часто недоступна. Плюс меня заинтересовала эта модель вскоре после выхода — еще до хайпа, который развернулся в конце января.

Вторая причина — некоторые работы требуют конфиденциальности. К примеру, к тебе приходит компания и просит написать для них какую-то программу. Для ускорения процесса ты хочешь задействовать ИИ, но не можешь. Почему? К примеру, потому что заказчик — медицинский центр, передавший тебе данные, которыми нельзя делиться с внешней компанией вроде OpenAI или DeepSeek.

Знакомьтесь, «убийца ChatGPT» и разоритель миллиардеров! Рассказываем о новой нейросети DeepSeek, которая может изменить рынок ИИ

Как я скачал DeepSeek… и не только

Эдгар Сипки: Дело в том, что большие, известные нам всем чат-боты делятся на две большие группы. Первая — это модели с закрытым кодом, к ним принадлежит как раз ChatGPT. Их разработчики дают тебе за деньги пользоваться своими моделями онлайн, но не дают их скачивать.

Вторая группа — OpenSourse продукты, или модели с открытым кодом. Проще говоря, их разработчики дают всем желающим абсолютно легально скачать свои модели на свои устройства. Так работает Phi-4 от Microsoft, Lama* от Facebook…* и знаменитый DeepSeek.

Все эти модели хранятся на специальных сайтах. К примеру, есть такой ресурс Hugging Face, созданный специально для разработчиков ПО на базе искусственного интеллекта. Там можно найти самые разные модели от известных и локальных разработчиков. Этим ресурсом пользуются профессионалы.

Есть и более простые базы искусственных интеллектов, такие как Ollama или LMStudio. В них есть просто кнопка «скачать модель», ты ее нажимаешь — и все, новейшие разработки в области ИИ уже на твоем устройстве — будь то Lama*, Phi-4 или DeepSeek! Лично у меня скачивание заняло примерно 5–6 минут.

Что именно за модель я скачал?

Эдгар Сипки: Скачать можно потенциально любую модель, даже ту самую DeepSeek-1r-671b, которая наделала столько шуму в январе этого года. Кстати, индекс «671b» означает, что она умеет анализировать 671 млрд параметров при ответе на ваш запрос.

Весит это счастье 400 гигабайт, так что… если у вас есть столько свободного места (а заодно настолько мощный процессор и столько оперативной памяти, чтобы это потом запустить) — милости прошу. Лично у меня запустить эту модель не получилось. Температура процессора на моем компьютере поднялась до 110 градусов, и процесс был прерван.

Однако все большие знаменитые модели имеют свои обрезанные версии, которые прошли процесс дистилляции. Что это значит? Флагманская модель, такая как Phi-4 или DeepSeek, обучается на огромном массиве данных и выпускается в пользование. Но параллельно эта же большая модель генерирует тексты на заданные темы (погода, цвета, наука) и на них уже обучаются меньшие по размеру модели.

Click here to preview your posts with PRO themes ››

За счет этого такие уменьшенные модели несколько «глупее». Кроме того, их не обучают для ответов на какие-то очень специфические темы. Однако эта технология позволяет сделать их намного-намного меньше. Настолько меньше, что они начинают работать на обычном компьютере. Именно такую «обрезанную» модель DeepSeek-1r-32b (как нетрудно догадаться, она умеет анализировать «всего» 32 млрд параметров) я и запустил на своем «железе».

Что за компьютер мне понадобился?

Эдгар Сипки: Вообще дома я сконструировал небольшой личный сервер на основе старого компьютера. У него очень много оперативной памяти, но довольно старенький процессор. Поэтому модель корректно работала, но выдавала ответы примерно по 10 минут.

После этого я попытался запустить модель на своем MacBook M2 Pro, и тут оперативной памяти мне не хватило — ИИ требовал 20 гигабайт, а у меня всего 16 (однако на нем прекрасно работали Lama* и Phi-4). Тогда я попробовал запустить модель на компьютере коллеги — это стандартный MacBook M3 Max с 36 гигабайтами оперативной памяти (2023 года). Там все летало — ответ генерировался практически мгновенно — секунд за 15–20.

Как работал скачанный DeepSeek?

Эдгар Сипки: Как я уже говорил, «обрезанный» DeepSeek несколько хуже, чем полноценная модель, доступ к которой ты получаешь через сайт. Но 90% пользователей, я уверен, не заметят разницу. Я попробовал писать с помощью нее тексты и почти не заметил разницы.

А вот если пытаться с ее помощью программировать или заниматься исследовательскими задачами, то разница становится очень серьезной.

Однако, как я уже не раз говорил, я экспериментировал не только с DeepSeek — есть и другие модели, которые можно скачать, и они даже в усеченном виде работают отлично. К примеру, есть американская нейросеть meditrone, которая не умеет писать тексты, не умеет писать код, но умеет кое-что другое. Ее специально обучали на данных миллионов американских пациентов, и она, получив данные твоих анализов, может довольно неплохо понять, что не так с твоим здоровьем. Даже будучи скачанной, она работает на уровне средненького терапевта.

Зачем это делать?

Эдгар Сипки: Прямо сейчас есть только одна причина сделать то же самое, что сделал я, то есть скачать DeepSeek на свой компьютер. Это следует делать, если вам ИИ нужен для работы, но вы не можете отправлять данные на внешние сервера.

К примеру, если вы студент, у вас есть какой-то список с личными данными людей, и вы по закону не можете кинуть ее в ChatGPT и попросить сделать из этого табличку. Этого нельзя делать, потому что персональные данные россиян не могут храниться на внешних серверах.

В этих условиях очень удобно иметь скачанную нейросеть, которая все еще очень умна, и о том, что вы с ней общаетесь, не будет знать ни одна живая душа. Однако в будущем, когда модели будут все меньше и меньше, это будет куда интереснее для обычного пользователя.

В течение нескольких лет появятся модели умнее DeepSeek, которые можно будет запустить на iPhone и, немного поигравшись с ними, можно будет получить персонального фитнес-тренера, персонального ИИ-повара, персонального учителя игры на музыкальных инструментах. Это будущее, которое нас ждет в самое ближайшее время.

*Meta Platforms Inc запрещена в РФ в связи с экстремистской деятельностью.

*Facebook и Lama — ресурсы Meta Platforms Inc. — организации, деятельность которых запрещена на территории РФ.