ИИ без облака: какие модели можно запустить у себя и во что обойдётся уровень GPT-6 Astra

Срок годности этой статьи

Материал собран 1 ноября 2026 года. Рейтинги моделей обновляются каждую неделю, цены на видеокарты меняются ещё чаще. Компания Moonshot обещает к 4 ноября выложить веса модели Kimi K3.1 Pro, которая по индексу Artificial Analysis заметно сильнее нынешних открытых моделей (The Next Web), и тогда расклад сдвинется. Цифры верны на даты, указанные рядом с ними.

Зачем держать модель у себя

Облачный чат-бот удобен, пока в запрос не попадают персональные данные, коммерческая тайна или проект, который нельзя показывать посторонним. Для российских компаний это ещё и вопрос закона. Передавать персональные данные за рубеж можно только после уведомления уполномоченного органа (Роскомнадзора) и проверки мер защиты у получателя (ст. 12 152-ФЗ). При сборе данных граждан России закон запрещает хранить их в зарубежных базах:

«При сборе персональных данных, в том числе посредством информационно-телекоммуникационной сети «Интернет», запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение персональных данных граждан Российской Федерации с использованием баз данных, находящихся за пределами территории Российской Федерации, не допускаются»

Федеральный закон № 152-ФЗ «О персональных данных», ч. 5 ст. 18, КонсультантПлюсредакция от 26.07.2026

Модель, которая работает на собственном компьютере или сервере, данные никуда не отправляет. У неё нет абонентской платы и лимитов, она работает без интернета и без VPN. Расплачиваться за это приходится железом, электричеством и качеством ответов.

Как считать память

Главный параметр здесь — объём памяти. Модель загружается целиком в видеопамять или в общую память компьютера, и её размер легко прикинуть: число параметров умножить на число байт на параметр. В инженерном блоге NVIDIA приводится пример: модель на 7 млрд параметров в 16-битной точности занимает около 14 ГБ (NVIDIA). Дома модели почти всегда запускают сжатыми, или квантованными. В популярном формате Q4_K_M проекта llama.cpp на параметр уходит 4,89 бита, и модель на 8 млрд параметров весит 4,9 ГБ вместо 16 (llama.cpp). Сверху нужна память под контекст, так называемый KV-кэш, и она растёт с длиной разговора.

Почти все крупные открытые модели построены по схеме «смесь экспертов» (MoE). На каждое слово работает малая часть параметров, но хранить в памяти приходится все. Hugging Face объясняет это на примере Mixtral 8x7B: памяти ей нужно как плотной модели на 47 млрд параметров, а скорость у неё как у модели на 12 млрд (Hugging Face). Скорость генерации упирается в пропускную способность памяти, об этом прямо пишет Apple в разборе запуска моделей на Mac Studio (Apple Machine Learning Research, 15 октября 2026). Поэтому для локального ИИ быстрая и большая память важнее мощного процессора.

Что сейчас можно скачать

Верх рейтингов открытых моделей на 1 ноября 2026 года выглядит так. Размеры файлов взяты из репозиториев Hugging Face, оценки — из двух независимых шкал, о которых ниже: индекса Artificial Analysis (AA) и индекса ECI (Epoch Capabilities Index).

DeepSeek V4.1 Flash 1017 (DeepSeek, 17 октября): 552 млрд параметров, из них 16 млрд активных, контекст 1 млн токенов, лицензия MIT (карточка модели). В 4-битной версии весит 501 ГБ (Unsloth). AA — 32, ECI — 158,8. Лучшая из открытых моделей с выложенными весами.
GLM-5.3 (Z.ai, август): около 753 млрд параметров по данным AA, 4-битная версия для Mac — 418 ГБ (карточка модели). AA — 32, ECI — 156,2.
Kimi K3 (Moonshot, веса выложены 27 июля): 2,8 трлн параметров, 104 млрд активных (карточка модели). Даже в 4 битах занимает 1,5 ТБ. ECI — 158,3. Крупному бизнесу лицензия ставит условия.
Mistral Large 4 (Mistral, веса выложены 29 октября): около 1 трлн параметров, 49 млрд активных (карточка модели); 4-битная версия — 605 ГБ. AA — 26.
Qwen3.8-27B (Alibaba, август): плотная модель на 27 млрд параметров, лицензия Apache 2.0 (карточка модели); 4-битная версия — 16,5 ГБ. AA — 20, ECI — 151,8. Сильнейшая из моделей, которые помещаются в одну игровую видеокарту.
gpt-oss-20b и gpt-oss-120b — открытые модели самой OpenAI, август 2025 года. Младшая, как сказано в её карточке, работает в 16 ГБ памяти (карточка модели). Преемника у них пока нет.

С чем их сравнивать

Чтобы сравнивать открытые модели с закрытыми, нужна общая шкала. Исследовательская организация Epoch AI сводит десятки тестов в один индекс ECI, где Claude 3.5 Sonnet принят за 130, а GPT-5 — за 150 (Epoch AI, данные на 1 ноября 2026). По этой шкале Epoch регулярно измеряет, насколько открытые модели отстают от закрытых:

«С января 2026 года самые сильные открытые модели отставали от передовых закрытых в среднем на четыре месяца по индексу ECI, нашей сводной мере возможностей моделей. Средний разрыв составил 8 пунктов, примерно как между GPT-5 и GPT-5.5»

Джек Эдвардс и Люк Эмберсон, исследователи Epoch AIEpoch AI29 мая 2026

Компания Artificial Analysis 27 октября выпустила новую, пятую версию своего индекса, и разрыв в ней вырос. «Разрыв с открытыми моделями увеличился с 3 пунктов до 12», — пишут её аналитики (Artificial Analysis, 27 октября 2026). Эти 12 пунктов относятся к Kimi K3.1 Pro, веса которой ещё не выложены. Лучшие модели с выложенными весами набирают 32 балла, на 26 меньше лидера, и уступают даже самой младшей модели Anthropic, Claude Haiku 5.5 (36).

Одна шкала для всех. Индекс ECI сводит десятки тестов в одно число. Лучшие открытые модели стоят вровень с GPT-5.5 весны 2026 года.

По шкале ECI каждой открытой модели можно подобрать закрытую того же уровня. DeepSeek V4.1 Flash 1017 (158,8) стоит вровень с GPT-5.5 (159,4, апрель 2026) и Claude Opus 4.8 (159,6, май 2026). Qwen3.8-27B (151,8) соответствует GPT-5 (150,0, август 2025) и Claude Opus 4.5 (150,2, ноябрь 2025). Gemma 4 26B-A4B (142,0) — o1 и Claude Sonnet 4. Qwen3.5-9B (139,4) — o3-mini (140,3, январь 2025). Открытая модель самой OpenAI gpt-oss-20b (137,8) — GPT-4.1 (136,7, апрель 2025).

GPT-6 Astra и её ближайший соперник

GPT-6 Astra — флагман нового поколения OpenAI. Предварительный доступ открылся 3 сентября 2026 года, в API модель стоит 10 долларов за миллион входных токенов и 50 долларов за миллион выходных, контекст — 1,05 млн токенов (OpenRouter). Это первая модель OpenAI, которой компания по своей шкале готовности присвоила высший, «критический» уровень по кибербезопасности (системная карта OpenAI). Число параметров OpenAI не раскрывает. Следующую версию, GPT-6.1 Astra, компания отменила: по данным Reuters, на внутренних испытаниях она не прошла проверки безопасности и согласованности (Reuters, 28 сентября 2026).

По независимым оценкам Astra — одна из сильнейших моделей в мире. В индексе ECI она первая из 271 модели с результатом 169,1 (Epoch AI). В индексе Artificial Analysis у неё 57 баллов, у лидеров, Gemini 4 Carbon и Claude Opus 5.5, — 59 и 58 (Artificial Analysis, на 1 ноября 2026). Ближайшая к ней открытая модель — та же DeepSeek V4.1 Flash 1017. Разница видна на любой шкале.

Разрыв на всех шкалах. GPT-6 Astra опережает лучшую открытую модель и в сводном индексе, и в отдельных тестах, сильнее всего — в Terminal-Bench-Science: 63 % против 13 %.

Повторить GPT-6 Astra у себя нельзя: её веса закрыты, а ни одна открытая модель до неё не дотягивает. Самое близкое, что можно скачать, — это уровень GPT-5.5. Для закрытых моделей это примерно полгода назад.

Лестница железа

Железо для локальных моделей идёт ступенями. Цены — на 1 ноября 2026 года, скорость — в токенах в секунду для одного пользователя.

Компьютер с RTX 5090 (32 ГБ, 1 792 ГБ/с). Рекомендованная цена карты — 1 999 долларов (TechRadar), в Регарде 1 ноября она стоила от 849 990 рублей (Регард). Qwen3.8-27B (уровень GPT-5) работает со скоростью 59 токенов в секунду. Если модель не помещается в видеопамять и уходит в оперативную, скорость падает до 1,5–4,6 токена в секунду (MacStories).
128 ГБ общей памяти: NVIDIA DGX Spark (около 7 000 долларов; в ServerFlow — 986 500 рублей), мини-ПК на AMD Ryzen AI Max+ 395 (3 000–3 650 долларов), MacBook Pro с M5 Max (HotHardware, ServerFlow). На gpt-oss-120b они выдают 39, 34 и 88 токенов в секунду (Hardware Corner; Hardware Corner, M5 Max). Сюда помещаются модели на 100–120 млрд параметров: gpt-oss-120b (63 ГБ) и впритык Qwen3.8-Flash-Next (111 ГБ в 4 битах).
Mac Studio M5 Ultra на 512 ГБ (1,2 ТБ/с): с 28 октября 2026 года — от 22 299 долларов (MacRumors). Apple в России официально не продаёт. Помещается GLM-5.3 в 4 битах (418 ГБ, ECI 156,2).
Два Mac Studio по 512 ГБ, соединённые кабелем Thunderbolt 5, — около 44 600 долларов. По замеру Apple, открытая MoE-модель на 816 млрд параметров (42 млрд активных) работает на двух машинах со скоростью 25 токенов в секунду, на четырёх — 36,7 (Apple). Это первая ступень, где помещаются DeepSeek V4.1 Flash 1017 (501 ГБ) и Mistral Large 4 (605 ГБ), то есть уровень GPT-5.5.
NVIDIA DGX Station GB300: 748 ГБ памяти (252 ГБ быстрой HBM3e и 496 ГБ LPDDR5X), от 94 930 до 181 500 долларов (NVIDIA, Tom’s Hardware, pi3g). GLM-5.3 на одной станции — 44 токена в секунду, DeepSeek V4.1 Flash на двух — 441 (StorageReview).
Сервер с восемью NVIDIA B200 (1 440 ГБ): 360–470 тысяч долларов (AMCompute) или около 54 долларов в час в аренде (Lambda). DeepSeek-V4-Pro на 1,6 трлн параметров работает на нём со скоростью 199 токенов в секунду (LMSYS).

Лестница железа. Модель уровня GPT-5 (Qwen3.8-27B) помещается в одну игровую видеокарту, уровня GPT-5.5 (DeepSeek V4.1 Flash) — только начиная с двух Mac Studio по 512 ГБ.

Цены на профессиональные карты растут. RTX PRO 6000 Blackwell на 96 ГБ стартовала в 2025 году меньше чем за 8 000 долларов, а в августе 2026 года NVIDIA подняла рекомендованную цену до 16 000 (Tom’s Hardware).

Чем запускать

Проще всего начать с готовых программ, которые сами скачивают модель и открывают окно чата. Это LM Studio (версия 0.4.28) и Ollama (версия 0.40.13, 28 октября 2026) для Windows, macOS и Linux. Для тонкой настройки, например выгрузки MoE-экспертов в оперативную память, есть llama.cpp (сборка b12030, 31 октября 2026). Для серверов на несколько пользователей применяют vLLM (версия 0.32.0) и SGLang, на Mac — фреймворк Apple MLX.

Что из этого следует

Открытые модели отстают от закрытых на несколько месяцев, и в 2026 году этот разрыв не сокращается. Зато уровень GPT-5.5, который весной был доступен только через API OpenAI, теперь можно скачать. Для задач, где данные нельзя отправлять наружу, это реальный выбор: модель уровня GPT-5 работает на игровом компьютере с одной видеокартой, уровня GPT-5.5 — на паре Mac Studio.

Для задач, где нужна сильнейшая модель, локального варианта нет: уровень GPT-6 Astra есть только у неё самой и у её закрытых соперников.

Что дальше

Ближайшее событие — веса Kimi K3.1 Pro, которые Moonshot обещает к 4 ноября (The Next Web). По индексу Artificial Analysis эта модель набирает 46 баллов, и если веса действительно появятся, разрыв с закрытыми моделями сразу сократится. Mistral обещает уменьшенные версии Large 4, в том числе для ноутбука, но сроков не называет (The Next Web). Преемника открытых моделей gpt-oss у OpenAI пока нет.

Источники

Опубликовано на портале sohoai.ru — SOHO AI, консилиум нейросетей для проверки документов, смет и расчётов.

← вернуться в SOHO AI

Shelf life of this article

The material was gathered on 1 November 2026. Model rankings are updated every week, and graphics card prices change even more often. Moonshot has promised to release by 4 November the weights of Kimi K3.1 Pro, a model that is markedly stronger than today’s open models on the Artificial Analysis index (The Next Web), and the picture will then shift. The figures are correct as of the dates given next to them.

Why keep a model in-house

A cloud chatbot is convenient until a request contains personal data, trade secrets or a project that outsiders must not see. For Russian companies it is also a legal question. Personal data may be transferred abroad only after the authorised body (Roskomnadzor, the Russian data-protection regulator) has been notified and the recipient’s protection measures have been checked (Art. 12 of 152-FZ). When data on Russian citizens is collected, the law forbids storing it in databases located abroad:

“When personal data is collected, including via the Internet information and telecommunications network, the recording, systematisation, accumulation, storage, clarification (updating, modification) and retrieval of personal data of citizens of the Russian Federation using databases located outside the territory of the Russian Federation are not permitted”

Federal Law No. 152-FZ “On Personal Data”, Art. 18(5), ConsultantPlusas amended on 26 July 2026

A model that runs on your own computer or server sends data nowhere. There is no subscription fee and there are no usage limits, and it works without internet access and without a VPN. The price is paid in hardware, electricity and the quality of the answers.

How to estimate memory

The key parameter here is the amount of memory. The model is loaded in full into video memory or into the computer’s shared memory, and its size is easy to estimate by multiplying the number of parameters by the number of bytes per parameter. An example in NVIDIA’s engineering blog puts a model with 7 billion parameters at 16-bit precision at about 14 GB (NVIDIA). At home, models are almost always run compressed, or quantised. In the popular Q4_K_M format of the llama.cpp project each parameter takes 4.89 bits, and a model with 8 billion parameters weighs 4.9 GB instead of 16 (llama.cpp). On top of that, memory is needed for the context, the so-called KV cache, and it grows with the length of the conversation.

Almost all large open models use the “mixture of experts” (MoE) design. Only a small share of the parameters works on each word, but all of them have to be kept in memory. Hugging Face illustrates this with Mixtral 8x7B, which needs as much memory as a dense model with 47 billion parameters and runs as fast as a model with 12 billion (Hugging Face). Generation speed is limited by memory bandwidth, as Apple states plainly in its analysis of running models on the Mac Studio (Apple Machine Learning Research, 15 October 2026). That is why, for local AI, large and fast memory matters more than a powerful processor.

What you can download now

This is how the top of the open-model rankings looks on 1 November 2026. File sizes are taken from Hugging Face repositories, and the scores come from two independent scales discussed below, the Artificial Analysis index (AA) and the ECI (Epoch Capabilities Index).

DeepSeek V4.1 Flash 1017 (DeepSeek, 17 October): 552 billion parameters, 16 billion of them active, a context of 1 million tokens and an MIT licence (model card). The 4-bit version weighs 501 GB (Unsloth). AA score 32, ECI 158.8. The best of the open models whose weights have been released.
GLM-5.3 (Z.ai, August): about 753 billion parameters according to AA; the 4-bit version for Mac is 418 GB (model card). AA score 32, ECI 156.2.
Kimi K3 (Moonshot, weights released on 27 July): 2.8 trillion parameters, 104 billion of them active (model card). Even at 4 bits it takes up 1.5 TB. ECI 158.3. The licence imposes conditions on large businesses.
Mistral Large 4 (Mistral, weights released on 29 October): about 1 trillion parameters, 49 billion of them active (model card); the 4-bit version is 605 GB. AA score 26.
Qwen3.8-27B (Alibaba, August): a dense model with 27 billion parameters under the Apache 2.0 licence (model card); the 4-bit version is 16.5 GB. AA score 20, ECI 151.8. The strongest of the models that fit on a single gaming graphics card.
gpt-oss-20b and gpt-oss-120b are OpenAI’s own open models, released in August 2025. According to its model card, the smaller one runs within 16 GB of memory (model card). They have no successor yet.

What to compare them with

Comparing open models with closed ones requires a common scale. The research organisation Epoch AI combines dozens of benchmarks into a single index, the ECI, in which Claude 3.5 Sonnet is set at 130 and GPT-5 at 150 (Epoch AI, data as of 1 November 2026). Epoch regularly uses this scale to measure how far open models lag behind closed ones:

“Since January 2026, the most capable open-weight models have lagged frontier closed models by an average of four months in the Epoch Capabilities Index (ECI), our aggregate measure of model capability. The average ECI gap was 8 points, similar to the gap between GPT-5 and GPT-5.5.”

Jack Edwards and Luke Emberson, researchers at Epoch AIEpoch AI29 May 2026

On 27 October Artificial Analysis released the new, fifth version of its index, and in it the gap has grown. “The open weights gap widens from 3 points to 12”, its analysts write (Artificial Analysis, 27 October 2026). These 12 points refer to Kimi K3.1 Pro, whose weights have not yet been released. The best models with released weights score 32 points, 26 fewer than the leader, and trail even Anthropic’s smallest model, Claude Haiku 5.5 (36).

One scale for all. The ECI rolls dozens of tests into a single number. The best open models sit level with GPT-5.5 from spring 2026.

On the ECI scale every open model can be matched with a closed model of the same level. DeepSeek V4.1 Flash 1017 (158.8) is level with GPT-5.5 (159.4, April 2026) and Claude Opus 4.8 (159.6, May 2026). Qwen3.8-27B (151.8) corresponds to GPT-5 (150.0, August 2025) and Claude Opus 4.5 (150.2, November 2025). Gemma 4 26B-A4B (142.0) is on a par with o1 and Claude Sonnet 4. Qwen3.5-9B (139.4) matches o3-mini (140.3, January 2025). OpenAI’s own open model gpt-oss-20b (137.8) sits at the level of GPT-4.1 (136.7, April 2025).

GPT-6 Astra and its closest rival

GPT-6 Astra is OpenAI’s new-generation flagship. Early access opened on 3 September 2026. In the API the model costs $10 per million input tokens and $50 per million output tokens, and its context is 1.05 million tokens (OpenRouter). It is the first OpenAI model that the company has rated at the highest, “critical” level for cybersecurity on its own preparedness scale (OpenAI system card). OpenAI does not disclose the number of parameters. The company cancelled the next version, GPT-6.1 Astra, after it failed safety and alignment checks in internal testing, according to Reuters (Reuters, 28 September 2026).

Independent assessments rank Astra among the strongest models in the world. In the ECI it comes first of 271 models with a score of 169.1 (Epoch AI). In the Artificial Analysis index it scores 57 points, while the leaders, Gemini 4 Carbon and Claude Opus 5.5, have 59 and 58 (Artificial Analysis, as of 1 November 2026). The open model closest to it is the same DeepSeek V4.1 Flash 1017. The difference shows on every scale.

A gap on every scale. GPT-6 Astra leads the best open model both on the composite index and on individual tests, most of all on Terminal-Bench-Science: 63% against 13%.

GPT-6 Astra cannot be reproduced on your own hardware. Its weights are closed, and no open model reaches its level. The closest you can download is the level of GPT-5.5. In closed-model terms, that is roughly where things stood six months ago.

The hardware ladder

Hardware for local models comes in steps. Prices are as of 1 November 2026, and speeds are in tokens per second for a single user.

A computer with an RTX 5090 (32 GB, 1,792 GB/s). The card’s recommended price is $1,999 (TechRadar), and at Regard on 1 November it cost from RUB 849,990 (Regard). Qwen3.8-27B (GPT-5 level) runs at 59 tokens per second. If a model does not fit in video memory and spills over into RAM, the speed drops to 1.5–4.6 tokens per second (MacStories).
128 GB of unified memory: NVIDIA DGX Spark (about $7,000; RUB 986,500 at ServerFlow), mini PCs based on the AMD Ryzen AI Max+ 395 ($3,000–3,650) and the MacBook Pro with M5 Max (HotHardware, ServerFlow). On gpt-oss-120b they produce 39, 34 and 88 tokens per second (Hardware Corner; Hardware Corner, M5 Max). This tier holds models with 100–120 billion parameters, such as gpt-oss-120b (63 GB) and, with almost no room to spare, Qwen3.8-Flash-Next (111 GB at 4 bits).
Mac Studio M5 Ultra with 512 GB (1.2 TB/s): from $22,299 since 28 October 2026 (MacRumors). Apple does not officially sell in Russia. GLM-5.3 fits at 4 bits (418 GB, ECI 156.2).
Two 512 GB Mac Studios connected by a Thunderbolt 5 cable cost about $44,600. In Apple’s measurement, an open MoE model with 816 billion parameters (42 billion active) runs at 25 tokens per second on two machines and at 36.7 on four (Apple). This is the first step where DeepSeek V4.1 Flash 1017 (501 GB) and Mistral Large 4 (605 GB) fit, which means GPT-5.5 level.
NVIDIA DGX Station GB300: 748 GB of memory (252 GB of fast HBM3e and 496 GB of LPDDR5X), from $94,930 to $181,500 (NVIDIA, Tom’s Hardware, pi3g). GLM-5.3 runs at 44 tokens per second on one station, and DeepSeek V4.1 Flash at 441 on two (StorageReview).
A server with eight NVIDIA B200s (1,440 GB): $360,000–470,000 (AMCompute), or about $54 an hour to rent (Lambda). DeepSeek-V4-Pro, with 1.6 trillion parameters, runs on it at 199 tokens per second (LMSYS).

The hardware ladder. A GPT-5-level model (Qwen3.8-27B) fits one gaming graphics card; a GPT-5.5-level one (DeepSeek V4.1 Flash) needs at least two 512 GB Mac Studios.

Prices of professional cards are rising. The 96 GB RTX PRO 6000 Blackwell went on sale in 2025 for under $8,000, and in August 2026 NVIDIA raised its recommended price to $16,000 (Tom’s Hardware).

What to run them with

The easiest way to start is with ready-made programs that download the model themselves and open a chat window. These are LM Studio (version 0.4.28) and Ollama (version 0.40.13, 28 October 2026) for Windows, macOS and Linux. For fine-grained control, such as offloading MoE experts to RAM, there is llama.cpp (build b12030, 31 October 2026). Servers for several users run vLLM (version 0.32.0) and SGLang, and on a Mac there is Apple’s MLX framework.

What follows

Open models trail closed ones by a few months, and in 2026 this gap is not narrowing. Yet the GPT-5.5 level, which in spring was available only through the OpenAI API, can now be downloaded. For tasks where data must not be sent outside, this is a real option. A GPT-5-level model runs on a gaming computer with a single graphics card, and a GPT-5.5-level model on a pair of Mac Studios.

For tasks that need the strongest model there is no local option. The GPT-6 Astra level is available only from Astra itself and from its closed rivals.

What comes next

The first thing to watch is the Kimi K3.1 Pro weights, which Moonshot has promised by 4 November (The Next Web). On the Artificial Analysis index this model scores 46 points, and if the weights really appear, the gap with closed models will narrow at once. Mistral promises smaller versions of Large 4, including one for laptops, but gives no dates (The Next Web). OpenAI still has no successor to its open gpt-oss models.

Sources

Published on sohoai.ru — SOHO AI, a council of neural networks that checks documents, estimates and calculations.

← back to SOHO AI

本文的有效期

本文材料收集于2026年11月1日。模型排行榜每周更新，显卡价格变动得更快。月之暗面（Moonshot）承诺在11月4日前公开Kimi K3.1 Pro模型的权重，按照Artificial Analysis指数，这款模型明显强于现有的开放模型（The Next Web），届时格局将会改变。文中数字以旁边标注的日期为准。

为什么要在本地运行模型

只要请求里不涉及个人数据、商业秘密或不能给外人看的项目，云端聊天机器人用起来很方便。对俄罗斯企业来说，这还是一个法律问题。只有在通知主管机关俄罗斯联邦通信、信息技术和大众传媒监督局（Roskomnadzor）并核查接收方的保护措施之后，才能把个人数据传输到境外（第152-FZ号联邦法律第12条）。收集俄罗斯公民的数据时，法律禁止将其存放在境外数据库中：

“在收集个人数据时，包括通过“互联网”信息电信网络收集时，不得使用位于俄罗斯联邦境外的数据库对俄罗斯联邦公民的个人数据进行记录、系统化、积累、存储、更正（更新、变更）和提取”

第152-FZ号联邦法律《个人数据法》第18条第5款，ConsultantPlus2026年7月26日修订版

在自己的电脑或服务器上运行的模型，不会把数据发往任何地方。它没有订阅费，也没有用量限制，不联网、不用VPN也能工作。为此付出的代价是硬件、电费和回答质量。

怎样估算内存

这里最关键的参数是内存容量。模型要整个加载进显存或电脑的统一内存，它的大小很容易估算：参数量乘以每个参数占用的字节数。英伟达的技术博客举过一个例子：一个70亿参数的模型，以16位精度存储约占14 GB（英伟达）。在家里运行时，模型几乎总是经过压缩，也就是量化。在llama.cpp项目常用的Q4_K_M格式中，每个参数占4.89比特，一个80亿参数的模型从16 GB降到4.9 GB（llama.cpp）。此外还要为上下文留出内存，即所谓的KV缓存，对话越长，它占用的越多。

几乎所有大型开放模型都采用“混合专家”（MoE）架构。生成每个词时只有一小部分参数参与运算，但全部参数都得存放在内存里。Hugging Face以Mixtral 8x7B为例解释了这一点：它需要的内存相当于470亿参数的稠密模型，速度却与120亿参数的模型相当（Hugging Face）。生成速度受限于内存带宽，苹果在分析如何在Mac Studio上运行模型时明确写到了这一点（Apple Machine Learning Research，2026年10月15日）。因此，对本地人工智能来说，又快又大的内存比强大的处理器更重要。

现在能下载什么

截至2026年11月1日，开放模型排行榜的前列如下。文件大小取自Hugging Face上的模型仓库，评分来自两套独立的标尺，下文会介绍：Artificial Analysis指数（AA）和ECI指数（Epoch Capabilities Index）。

DeepSeek V4.1 Flash 1017（DeepSeek，10月17日）：5520亿参数，其中160亿为激活参数，上下文长度100万token，采用MIT许可证（模型卡）。4比特版本大小为501 GB（Unsloth）。AA为32，ECI为158.8。它是已公开权重的开放模型中最强的一款。
GLM-5.3（Z.ai，8月）：据AA数据约有7530亿参数，面向Mac的4比特版本为418 GB（模型卡）。AA为32，ECI为156.2。
Kimi K3（月之暗面，7月27日公开权重）：2.8万亿参数，其中1040亿为激活参数（模型卡）。即使是4比特版本也要占用1.5 TB。ECI为158.3。许可证对大型企业设有条件。
Mistral Large 4（Mistral，10月29日公开权重）：约1万亿参数，其中490亿为激活参数（模型卡）；4比特版本为605 GB。AA为26。
Qwen3.8-27B（阿里巴巴，8月）：270亿参数的稠密模型，采用Apache 2.0许可证（模型卡）；4比特版本为16.5 GB。AA为20，ECI为151.8。在能装进单张游戏显卡的模型中，它是最强的。
gpt-oss-20b和gpt-oss-120b是OpenAI自己的开放模型，发布于2025年8月。据模型卡介绍，较小的那款在16 GB内存中即可运行（模型卡）。两者目前还没有后继型号。

拿什么来比较

要把开放模型和闭源模型放在一起比较，需要一把共同的尺子。研究机构Epoch AI把数十项测试汇总成一个ECI指数，其中Claude 3.5 Sonnet定为130分，GPT-5定为150分（Epoch AI，数据截至2026年11月1日）。Epoch定期用这把尺子衡量开放模型落后闭源模型多少：

“自2026年1月以来，按照我们衡量模型能力的综合指标Epoch能力指数（ECI），最强的开放权重模型平均落后前沿闭源模型四个月。ECI的平均差距为8分，与GPT-5和GPT-5.5之间的差距相近。”

杰克·爱德华兹和卢克·恩伯森，Epoch AI研究人员Epoch AI2026年5月29日

Artificial Analysis公司10月27日发布了其指数的第五版，新版中的差距扩大了。该公司的分析师写道：“开放权重模型的差距从3分扩大到12分”（Artificial Analysis，2026年10月27日）。这12分指的是权重尚未公开的Kimi K3.1 Pro。已公开权重的最佳模型得分为32，比榜首低26分，甚至不如Anthropic最小的模型Claude Haiku 5.5（36分）。

同一把尺子。ECI指数把数十项测试汇总为一个数字。最强的开放模型与2026年春季的GPT-5.5持平。

按照ECI标尺，每个开放模型都能找到同一水平的闭源模型。DeepSeek V4.1 Flash 1017（158.8）与GPT-5.5（159.4，2026年4月）和Claude Opus 4.8（159.6，2026年5月）不相上下。Qwen3.8-27B（151.8）对应GPT-5（150.0，2025年8月）和Claude Opus 4.5（150.2，2025年11月）。Gemma 4 26B-A4B（142.0）对应o1和Claude Sonnet 4。Qwen3.5-9B（139.4）对应o3-mini（140.3，2025年1月）。OpenAI自己的开放模型gpt-oss-20b（137.8）对应GPT-4.1（136.7，2025年4月）。

GPT-6 Astra和它最接近的对手

GPT-6 Astra是OpenAI的新一代旗舰模型。预览访问于2026年9月3日开放，API价格为每百万输入token 10美元、每百万输出token 50美元，上下文长度为105万token（OpenRouter）。按照OpenAI自己的准备度分级，这是该公司第一个在网络安全方面被评为最高的“关键”级别的模型（OpenAI系统卡）。OpenAI没有披露参数量。下一个版本GPT-6.1 Astra已被公司取消：据路透社报道，它在内部测试中没有通过安全性和对齐检查（路透社，2026年9月28日）。

根据独立评估，Astra是全球最强的模型之一。在ECI指数中，它以169.1分位列271个模型之首（Epoch AI）。在Artificial Analysis指数中，它得57分，领先的Gemini 4 Carbon和Claude Opus 5.5分别为59分和58分（Artificial Analysis，截至2026年11月1日）。离它最近的开放模型仍是DeepSeek V4.1 Flash 1017。无论用哪把尺子，差距都很明显。

每把尺子上都有差距。GPT-6 Astra在综合指数和单项测试上都领先最强的开放模型，差距最大的是Terminal-Bench-Science：63%对13%。

在本地复制GPT-6 Astra是做不到的：它的权重不公开，也没有任何开放模型达到它的水平。能下载到的最接近的模型是GPT-5.5的水平。对闭源模型来说，这大约是半年前的水平。

硬件阶梯

运行本地模型的硬件是一级一级往上走的。价格截至2026年11月1日，速度按单个用户每秒生成的token数计算。

配备RTX 5090的电脑（32 GB，1792 GB/s）。这张显卡的建议零售价为1999美元（TechRadar），11月1日在Regard的售价为849990卢布起（Regard）。Qwen3.8-27B（GPT-5水平）在它上面的速度为每秒59个token。如果模型装不进显存、溢出到内存，速度会降到每秒1.5至4.6个token（MacStories）。
128 GB统一内存：英伟达DGX Spark（约7000美元；ServerFlow售价986500卢布）、搭载AMD Ryzen AI Max+ 395的迷你电脑（3000至3650美元）、搭载M5 Max的MacBook Pro（HotHardware，ServerFlow）。运行gpt-oss-120b时，它们的速度分别为每秒39、34和88个token（Hardware Corner；Hardware Corner, M5 Max）。这一级能装下1000亿至1200亿参数的模型：gpt-oss-120b（63 GB），以及勉强装下的Qwen3.8-Flash-Next（4比特版本111 GB）。
512 GB的Mac Studio M5 Ultra（1.2 TB/s）：自2026年10月28日起售价22299美元起（MacRumors）。苹果官方不在俄罗斯销售。能装下4比特的GLM-5.3（418 GB，ECI 156.2）。
两台512 GB的Mac Studio，用Thunderbolt 5线缆连接，约44600美元。据苹果实测，一个8160亿参数（420亿激活参数）的开放MoE模型在两台机器上的速度为每秒25个token，在四台上为每秒36.7个token（苹果）。从这一级开始能装下DeepSeek V4.1 Flash 1017（501 GB）和Mistral Large 4（605 GB），也就是GPT-5.5的水平。
英伟达DGX Station GB300：748 GB内存（252 GB高速HBM3e和496 GB LPDDR5X），售价94930至181500美元（英伟达，Tom’s Hardware，pi3g）。GLM-5.3在一台工作站上的速度为每秒44个token，DeepSeek V4.1 Flash在两台上为每秒441个token（StorageReview）。
配备八块英伟达B200的服务器（1440 GB）：36万至47万美元（AMCompute），租用约每小时54美元（Lambda）。1.6万亿参数的DeepSeek-V4-Pro在它上面的速度为每秒199个token（LMSYS）。

硬件阶梯。GPT-5水平的模型（Qwen3.8-27B）一张游戏显卡就能装下；GPT-5.5水平的模型（DeepSeek V4.1 Flash）至少需要两台512 GB的Mac Studio。

专业显卡的价格在上涨。96 GB的RTX PRO 6000 Blackwell在2025年开售时价格不到8000美元，2026年8月英伟达把建议零售价提高到16000美元（Tom’s Hardware）。

用什么软件运行

最简单的入门方式是用现成的程序，它们会自动下载模型并打开聊天窗口。这类程序有LM Studio（0.4.28版）和Ollama（0.40.13版，2026年10月28日），支持Windows、macOS和Linux。需要精细设置时，例如把MoE专家卸载到内存，可以用llama.cpp（b12030版本，2026年10月31日）。面向多用户的服务器使用vLLM（0.32.0版）和SGLang，在Mac上则用苹果的MLX框架。

由此可见什么

开放模型落后闭源模型几个月，而且在2026年，这一差距并没有缩小。不过，春天还只能通过OpenAI的API使用的GPT-5.5水平，如今已经可以下载。对于数据不能外传的任务，这是一个现实的选择：GPT-5水平的模型能在单显卡的游戏电脑上运行，GPT-5.5水平的模型能在两台Mac Studio上运行。

需要最强模型的任务则没有本地方案：GPT-6 Astra的水平，只有它自己和它的闭源对手才具备。

接下来

最近的一件事是Kimi K3.1 Pro的权重，月之暗面承诺在11月4日前公开（The Next Web）。在Artificial Analysis指数中，这款模型得46分；如果权重真的放出，与闭源模型的差距会立刻缩小。Mistral承诺推出Large 4的缩小版本，其中包括面向笔记本的版本，但没有给出时间（The Next Web）。OpenAI的开放模型gpt-oss目前还没有后继者。

资料来源

发布于 sohoai.ru — SOHO AI，核对文件、预算和计算的神经网络会诊。

← 返回 SOHO AI