Експерти твърдят, че експлоатацията на Fable на Anthropic не е причината Kimi K3 да е толкова добра

Научният съветник на Белия дом Майкъл Кратсиос заяви, че компанията Moonshot, която стои зад Kimi K3, най-голямата налична LLM с отворени тегла, е изградил своя модел, копирайки Fable LLM на Anthropic, използвайки чипове, които не са разрешени за износ в Китай.

„Мащабната, тайна индустриална дестилация, насочена към кражба на собствена технология на САЩ и подкопаване на американските изследвания, е неприемлива“, написа Кратсиос, в контекста на съобщенията за забрана на китайските модели с отворени тегла, които предизвикаха вълнения в сектора на ИИ. Moonshot не отговори на въпросите относно процеса на обучение, а Кратсиос не сподели повече подробности относно източниците на своите обвинения.

Туитът на Кратсиос отразява коментари на министъра на финансите Скот Бесент, който заяви, че „намираме водни знаци на нашите американски големи езикови модели в много от китайските модели, и това е неприемливо.“ Не е ясно какво точно представляват тези водни знаци, а Министерството на финансите не отговори на запитване.

Въпреки това, експертите са скептични, че дестилацията – процесът на запитване на LLM, за да се определи как работи и да се копират неговите способности – е отговорна за напредналите способности, които Kimi K3 демонстрира.

„Не мисля, че можеш да получиш модел с такава сила и толкова бързо, след като Fable прави само дестилация“, каза Брейдън Хенкок, изследовател в Института Лауде и съосновател на Snorkel AI, пред TechCrunch. „Просто няма достатъчно време, нали? Fable е публично достъпен от 1 юли. Не можеш да дестилираш толкова много данни, да обучиш модел и да го пуснеш за две седмици.“

„Смятам, че дестилацията става все по-малко значима с течение на времето, тъй като китайските модели се приближават до фронтира и режимът на обучение преминава към [обучение с подсилване]“, каза Нейтън Ламбърт, изследовател на ИИ в Института Алън за ИИ, в подкаст, публикуван вчера. „[Ако това беше така, всеки щеше лесно да навакса с GLM или K3, използвайки данните му за дестилация. Но ние не сме виждали, и вероятно няма да видим, това само от супервайзирано фино настройване.“

Извършването на дестилация изисква лаборатория да систематично запитва целевия си модел, за да генерира данни, които могат да се използват за последващо обучение. Понякога това изрично включва питане на модела да формулира веригата на мислене, за да се разбере как решава проблеми. В други случаи, подканите и отговорите от модела се използват за обучение на нов модел в процес, наречен супервайзирано фино настройване или SFT.

Точно този процес на фино настройване може да доведе до модел, който явно е създаден от трета страна, твърдяща, че е Клод. Според Ламбърт, именно там „моделът усвоява своите манери.“

Но Ламбърт заявява, че ползите от SFT стават все по-малко важни, тъй като моделите стават все по-сложни. За да се дестилират способности, подобни на Fable, вероятно ще са необходими техники за обучение с подсилване. В много случаи това означава, че агентът на по-големия модел оценява отговорите на по-малкия модел и коригира на базата на оценката.

По-напредналите техники също изискват по-значителна инфраструктура. Големите операции за обучение с подсилване могат да изискват десетки милиони агенти. Използването на API на лаборатория на фронтира за това „би било безумно скъпо и вероятно би било времеви bottleneck, тъй като тези модели са доста бавни и, честно казано, може дори да не ти дадат подобрение в производителността.“

Изглежда вероятно, че предишни фронтови модели могат да са допринесли за Kimi; Anthropic публично обвини Moonshot, DeepSeek и MiniMax, че систематично дестилират своите модели по-рано тази година. Anthropic заяви, че е открила милиони обмена между своите модели и потребители, които е идентифицирала в тези компании чрез IP адреси и друга мета информация. Тези запитвания бяха „различни от нормалните модели на употреба, отразяващи целенасочено извличане на способности, а не легитимна употреба.“ Anthropic не отговори на запитванията на TechCrunch относно дестилацията на Fable.

Въпреки това, дестилацията се счита за обичайна сред компаниите за ИИ, не само в Китай. Илон Мъск свидетелства по-рано тази година, че неговата компания SpaceXAI е дестилирала модели на OpenAI, за да разработи Grok, и че тази практика е обичайна в индустрията. Границата между дестилацията и разработването на синтетични набори от данни, например, може да бъде доста размита.

„[В] общи линии, американците подценяват техническата експертиза на тези китайски екипи“, каза Хенкок. „Един от основателите на Moonshot беше докторант в CMU. Това са легитимни изследователи и инженери, които вършат солидна работа. …ако американските модели спрат, смятам, че напредъкът на Китай ще се забави, но ще продължи. Те не просто се възползват от успехите на другите.“

Също така е трудно да се разграничат дестилацията от втората част на коментара на Кратсиос – че Moonshot е придобила напреднали Nvidia чипове, Grace Blackwell 300s, и също така е получила достъп до сървъри с GB300 в Тайланд. Тези чипове са забранени за износ в Китай, но съществува черен пазар, според Сам Бресник, изследовател в Центъра за сигурност и нови технологии на Джорджтаун. През май основателят на Supermicro, производител на сървъри в САЩ, беше обвинен в контрабанда на напреднали чипове в Китай.

„Аз съм привърженик на законите за познаване на клиента за центрове за данни по целия свят“, каза Бресник. „Ако позволяваш на компания да провежда огромни обучителни сесии на своето авангардно оборудване, трябва да има механизъм за отчитане на това коя е тази компания и какво прави.“

Министерството на търговията на президента Джо Байдън предложи федерални правила за познаване на клиента за центрове за данни през 2024 г., но не изглежда, че е направен напредък под управлението на Доналд Тръмп. Износителите, които изпращат напреднали чипове в чужбина, обаче трябва да се уверят, че те се използват само за одобрени цели.