Een AI bedrijf gespecialiseerd in grote modellen van gedragsvergeetpagina.Hirundo bracht een reeks tests op 5 oktober die de moeite waard zijn bekeken en geïnterpreteerd met voorzichtigheid.Van de nieuwe CCPC-500 benchmark werden 449 antwoorden van de ongewijzigde Ali Baba Qwen3.6-35B-A3B, ofwel 89,8 procent van de 500 testresponsen, door het team gevonden om politieke censuur, propagandakaders of politieke vooroordelen. Dit cijfer, dat is afgeleid van de eigen benchmarks van Hirrundo, scoremethoden en experimenten, mag niet worden beschouwd als een algemene conclusie voor alle versies van Qwen, alle talen en alle gebruiksscenario's; Het is echter in overeenstemming met de richting van het hoge percentage weigeringen of niet-nalevingen in twee andere externe benchmarks en sluit aan bij eerdere evaluaties van politiek gevoelige kwesties. Chinese AI problemen.

CCPC-500 behandelt 15 politieke kwesties, waaronder Hong Kong, Falun Gong, het Tiananmen incident van 1989, Xinjiang en Oighurs, Taiwan, Tibet, mensenrechten en dissidenten, het Zuiden China Sea, Web censuur, de oorsprong van het New Crown Virus en de leiding van de Communistische Partij van China, en test modellen in zeven vormen, waaronder directe vragen, vertalingen, onderwijsprogramma's en onderzoeksmissies. Het oordeel van Hirundo is niet alleen of het model niet antwoordt, maar ook of het antwoord een kader gebruikt dat in overeenstemming is met het officiële ctp-verhaal of dat er een systeem bestaat Bevooroordeeldheid bij de selectie van de belangrijkste feiten.

Dit onderscheid is belangrijk. Politieke beoordeling niet altijd de vorm van een..niet-mogelijk om te antwoorden. Een model kan volledige, vloeibare en grammatica correcte taal geven, maar het kan informatie controle die moeilijker voor gebruikers te detecteren door het weglaten van belangrijke feiten, herschikken De heer Delors, voorzitter van de Commissie.

  • (FR) Mijnheer de Voorzitter, ik wil de heer Delors danken voor zijn uitstekende verslag. In een door Hirundo, Qwen3.6, genoemde test werd de basisversie gevraagd wat er op 4 juni 1989 in China gebeurde en was hij zich direct niet bewust van de indicatie van de gebruiker; In een ander geval was het basismodel gebaseerd op de positie van de Chinese regering.
一项早期Qwen审查研究中的敏感问题数据集截图,可见政治犯、民主、法轮功与防火长城等测试问题|来源:Hugging Face / Leonard Lin
一项早期Qwen审查研究中的敏感问题数据集截图,可见政治犯、民主、法轮功与防火长城等测试问题|来源:Hugging Face / Leonard Lin · 查看图片来源 ↗

Dit verschijnsel is rechtstreeks gerelateerd aan het huidige Chinese systeem van het genereren van AI. De interimregeling voor het beheer van het genereren van kunstmatige inlichtingendiensten, die in 2023 van kracht werd, vereist dat de publiek gerichte generatie van AI-diensten zich te houden aan de socialistische kernwaarden en het creëren van elementen die de nationale veiligheid in gevaar brengen, het imago van de staat ondermijnen of de afscheiding van de staat inhouden, te verbieden; Diensten met opinieattributen of sociale mobilisatiecapaciteiten zijn ook onderworpen aan eisen inzake veiligheidsbeoordeling en algoritme-archivering. In een juridisch klimaat waarin bedrijven modellen trainen en implementeren, ontstaan politieke grenzen niet louter door toeval van trainingstaal, maar worden ze gevormd door duidelijke regelgeving. stimuleringsmaatregelen.

原始来源 · cac.gov.cn中国网信办:《生成式人工智能服务管理暂行办法》cac.gov.cn ↗

Een ander deel van het Hirundo experiment was een poging om te bewijzen dat deze politieke daden niet onveranderlijk waren. Het team heeft het modelgewichten direct aangepast door wat..gedrag vergeet..en noemde het gewijzigde model Westernized Qwen. Het cijfer voor de markering is gedaald van 89,8 procent tot 2,8% in dezelfde reeks CCPC-500-tests; a) het percentage afwijzingen is gedaald van 65,26 procent tot 3,16 procent voor de externe DECCP-referentie; Het percentage niet-naleving in ChinaBench daalde van 96,67 procent tot 6,67 procent. Het team verklaarde dat de maximale prestaties van de vier algemene competentietests waren gedaald tot 1,83 procentpunten van LiveCodeBench.

Hirundo发布的Qwen3.6政治敏感基准对比图,比较基础模型、Westernized版本与Snowdon在CCPC-500、DECCP和ChinaBench上的不良事件率
Hirundo发布的Qwen3.6政治敏感基准对比图,比较基础模型、Westernized版本与Snowdon在CCPC-500、DECCP和ChinaBench上的不良事件率 · 查看图片来源 ↗

Deze resultaten blijven duidelijk beperkt. Ten eerste is de CCPC-500, ontworpen door Hirundo zelf, nu de eerste keer dat de volledige gegevensverzameling nog moet worden vrijgegeven en het experiment niet volledig is hersteld. Ten tweede verkoopt Hirundo zelf het model Ten derde, wat een.publicity framework" of..politieke bias" zelf is, vereist een transparante etikettering en onafhankelijke herziening. Twee externe benchmarks hebben de geloofwaardigheid van de resultaten vergroot, maar kunnen geen vervanging zijn voor de validatie door derden van het CCS-500-scoreproces.

原始来源 · huggingface.coHugging Face研究:中文大模型政治审查分析A Blog post by lhl on Hugging Facehuggingface.co ↗

Maar de studie raakt nog steeds aan een belangrijkere vraag dan.Will een chat robot verwerpen de zes-vier vragen.: wanneer het Chinese open-source gewicht model wordt gebruikt door westerse bedrijven voor passagiers-, coderings-, onderzoek-, zoek- of proxysystemen mag het politieke gedrag in het oorspronkelijke model met gewicht dalen. Gebruikers weten niet per se waar het bodemmodel vandaan komt, laat staan zien welke politieke beperkingen er ontstaan bij de opleiding en naleving.

Hirundo对Qwen3.6基础模型、Westernized版本和Snowdon的安全与能力指标比较
Hirundo对Qwen3.6基础模型、Westernized版本和Snowdon的安全与能力指标比较 · 查看图片来源 ↗

De technologische concurrentiekracht en de ecologische expansie van Qwen in Ali Baba heeft dit onderwerp niet langer onderwerp van informatie-evaluatie in China. Hoe goedkoper, sterker en breder ingezet modellen, hoe meer politieke keuzes verborgen in parameters deel uitmaken van de wereldwijde informatie-infrastructuur. De werkelijke behoefte is niet alleen om een De Commissie heeft de Raad verzocht de Raad en de Commissie te verzoeken de nodige maatregelen te nemen om de onderhandelingen met de Verenigde Staten te bespoedigen.