نماذج LLM المحلية رائعة لأن إنهم محليون، وبالنسبة لنا نحن الأشخاص العاديين الذين لديهم أجهزة عادية، فعادةً ما ينتهي الأمر عند هذا الحد. ولكن، لدي مفاجأة. أحدث طراز صوتي من NVIDIA لا يبدو هكذا. لقد كان مذهلاً، ببساطة لأنه كان مذهلاً، بغض النظر عن الوسيط. حقيقة أنه كان يعمل محليًا على أجهزتي زادت من الدهشة، ولم تسبب ذلك.
أستطيع أن أصف ذلك، ولكن أعتقد أنه من الأفضل أن ترى بنفسك.
PersonaPlex هو نموذج صوتي مزدوج الاتجاه
لقد قامت NVIDIA بالطهي مؤخرًا
عندما أقول الأحدث، أعني متأخرا قليلا. بيرسونابلكس تم إصداره في يناير 2026 كنموذج كلام مزدوج كامل مكون من 7 مليارات معلمة. سأؤكد على الجزء المزدوج الكامل، وجزء نموذج الكلام. هذا ليس نموذج تحويل النص إلى كلام، أو نموذج تحويل الكلام إلى نص، أو نموذج نص، أو مزيج من هؤلاء. وهو نموذج الكلام. نموذج يمكنك التحدث إليه بمجرد إخراجه من الصندوق.
يقدم الكثير من مساعدي الذكاء الاصطناعي أوضاعًا “مباشرة” أو “صوتية”، ولكن هذه عادةً ما تكون أدوات تضاف إلى ماجستير إدارة الأعمال النصي فقط. لذلك، أنت تتحدث، يقوم نموذج بنسخ ما قلته، ويرسل النص إلى LLM، ويستجيب LLM في النص، ثم يستخدم نموذجًا صوتيًا لتحويل استجابته إلى الصوت وتشغيله مرة أخرى. هذه ليست الطريقة التي تعمل بها المحادثات. عندما نتحدث نحن البشر، فإننا لا نكتبه أولاً ثم نقرأه. عندما يتحدث إلينا شخص ما، لا نكتبه أولاً، ثم نفكر فيه. لا، نحن ببساطة نفكر بالصوت.
يعد نموذج الكلام ثنائي الاتجاه هو أقرب تقريب للمحادثة الفعلية. يقوم PersonaPlex بمعالجة دفقين صوتيين بشكل مستمر (خاص بك وخاص به) مع التنبؤ أيضًا بتدفق الاستجابة الداخلي. يعمل الوضع المباشر الجديد لـ ChatGPT أيضًا بنفس الطريقة – سأتحدث أكثر عن ذلك لاحقًا.
في الأسفل، يعتمد PersonaPlex على موشي، وهو نموذج كلام مفتوح مزدوج الاتجاه من شركة Kyutai (التي شارك في تأسيسها الرئيس التنفيذي السابق لشركة Google إريك شميدت). يستخدم موشي برنامج ترميز صوتي عصبي يسمى Mimi لضغط الكلام إلى رموز بمعدل 12.5 إطارًا في الثانية. ثم يقوم محول زمني كبير بتشكيل المحادثة، ويتعامل محول أصغر عمقًا مع الرموز الصوتية داخل كل إطار.
ما فعلته NVIDIA هو ضبط هذا الأساس للأدوار والأصوات التي يمكن التحكم فيها. يمكنك تقديم مطالبة نصية تصف النموذج الذي يجب أن يكون، بالإضافة إلى عينة صوتية قصيرة. يمكن أن يصبح العرض التوضيحي المتضمن مدرسًا، أو وكيل خدمة عملاء، أو رائد الفضاء أليكس.
كان تشغيله أمرًا عاديًا بشكل مدهش
سحب، venv، وتشغيل
هناك بعض الإعدادات بالطبع، لكننا نعيش في العصر الذهبي لأوامر الإعداد من سطر واحد. أنت بحاجة إلى المستودع، وPyTorch، ومكتبة Opus الصوتية، والوصول إلى الأوزان الموجودة على Hugging Face، ومتصفح بإذن الميكروفون. ثم يقوم الخادم بتنزيل النموذج ويكشف عن واجهة ويب محلية. توفر NVIDIA الأوامر في ملف مستودع جيثب.
عند التشغيل لأول مرة، سيقوم التطبيق بتنزيل النموذج الذي يبلغ حجمه حوالي 9 جيجابايت. بمجرد الانتهاء من ذلك، سيتم تشغيله وسيمنحك عنوان ويب للوصول إليه.
افتح الصفحة، واختر صوتًا، واكتب شخصية، وابدأ في التحدث. لا يوجد حساب API ولا فاتورة بالدقيقة. بمجرد تنزيل الأوزان، تظل المحادثة على جهازك.
تسمح المتصفحات بالوصول إلى الميكروفون فقط من سياق آمن، مما يعني عادةً أن الصفحة يجب أن تستخدم HTTPS. وبالتالي، يقوم أمر بدء تشغيل PersonaPlex بإنشاء شهادة SSL مؤقتة موقعة ذاتيًا لواجهة الويب. سيحذرك متصفحك من أن الشهادة غير موثوقة، ولكن يمكنك المتابعة طالما أنك متصل بخادم PersonaPlex الخاص بك. إذا كان لديك بالفعل شهادة SSL تم تكوينها بشكل صحيح، فيمكنك تخطي خطوة الشهادة المؤقتة هذه.
في بطاقة RTX 3090 الخاصة بي، يستخدم تطبيق BF16 القياسي حوالي 19 جيجابايت من VRAM ويعمل بسلاسة شديدة في الوقت الفعلي. 19 غيغابايت هي مساحة كبيرة، لكنها بالكاد تمثل مساحة للكمبيوتر العملاق. يمكن لجهاز 3090 المستخدم تشغيل نموذج كلام تحادثي شامل كان سيبدو وكأنه عرض بحثي من المستقبل منذ وقت ليس ببعيد.
لكنني قلت أنه يمكنك تشغيله على 8 جيجابايت، أليس كذلك؟ حسنًا، لا يزال تطبيق PyTorch الرسمي يتوقع وحدة معالجة رسومات كبيرة. لكن المشاريع المجتمعية أضافت بالفعل تكميم 8 بت و4 بت، مع دعم 8-16 جيجابايت. تم الإبلاغ عنها من خلال مشاريع مثل التكامل مع PersonaPlex ComfyUI. هناك أيضا moshi.cpp والذي يقدم أداءً رائعًا حتى مع الكمبيوتر المحمول RTX 2070 بسعة 8 جيجابايت. لذا، نعم، يمكن تشغيل PersonaPlex على بطاقة سعة 8 جيجابايت على جهاز كمبيوتر محمول – ولكن ليس من خلال المسار المرجعي الذي لم يمسه NVIDIA، وسيعتمد الأداء على التكميم والواجهة الخلفية ومقدار العمل المنسكب على وحدة المعالجة المركزية.
لدى PersonaPlex حد مثير للاهتمام
أربع دقائق من أليكس إلى كيم
PersonaPlex مذهل في الوقت الحالي. يصبح الأمر أقل إقناعًا بعد محادثة طويلة، لكنه لا يزال مذهلاً، لأنه حتى الفشل مثير للاهتمام.
يحتوي النموذج على ذاكرة متداولة تصل إلى 3000 إطار. يتقدم Mimi بمعدل 12.5 إطارًا في الثانية، وبالتالي فإن العملية الحسابية بسيطة للغاية:
3,000 frames ÷ 12.5 frames per second = 240 seconds
هذه أربع دقائق. تمر مطالبة الشخصية وتكييف الصوت والصوت الوارد والمحادثة الناتجة عبر هذه النافذة المحدودة. وبمجرد ملئها، تحل الإطارات الجديدة محل الإطارات الأقدم. لا يتعطل برنامج PersonaPlex عندما تكون ذاكرته ممتلئة، لكنه يبدأ في نسيان كيف بدأت المحادثة.
لقد شاهدت هذا يحدث في اختبار ترفيهي بشكل خاص. بدأ النموذج باسم أليكس، رائد الفضاء من سيناريو المريخ. لقد تجولنا في النهاية في محادثة طويلة حول المال والسيارات. وبعد مرور الوقت الكافي، لاحظت أن أليكس يستمر في تكرار بعض الكلمات في ردودها. سألت أليكس عن اسمها، وأعلن أليكس فجأة، “اسمي كيم. أنا في الواقع صديق جيد جدًا لك.”
هذا لم يكن المقصود. لقد سقط أليكس من ذاكرة العارضة. لقد تم ذكره فقط في الإطارات الأولى للمحادثة ولم يتم ذكره مرة أخرى، لذلك نسيت العارضة أن اسمها هو Alex. وعندما سُئل مرة أخرى، جاء باسم جديد وهوية جديدة تمامًا.
وتسارع التدهور من هناك. “هذا جيد جدًا” أصبح “جيد جدًا جدًا بالنسبة لك”. ثم سأل مرارًا وتكرارًا ما إذا كان لدي المزيد من الأسئلة. وأخيرا، أصبح محاصرا، قائلا: “ماذا سيحدث؟” مرارا وتكرارا.
يدخل كل تكرار إلى الجزء الأحدث من السياق، مما يزيد احتمال تكرار آخر، بينما تستمر المحادثة المفيدة في الاختفاء من الطرف الآخر. لا يطبق الخادم الحالي عقوبة تكرار فعالة، لذلك ليس هناك الكثير لسحب النموذج بمجرد وقوعه في تلك الحفرة.
تمكنت من إعادة إنشاء هذا والتقاطه بالفيديو. لقد أرفقته في بداية المقال – انتقل إلى الدقيقة الرابعة لترى.
زيادة السياق ممكن. تبلغ تكلفة ذاكرة التخزين المؤقت التي تبلغ 3000 إطارًا حوالي 1.46 جيجابايت من VRAM وتنمو بشكل خطي، لذا فإن ذاكرة التخزين المؤقت لمدة ثماني دقائق ستكون معقولة على بطاقة سعة 24 جيجابايت. ولكن… هذا يؤجل المشكلة فقط. وعلى الرغم من أنه يمكنك زيادة ذاكرة التخزين المؤقت للانتباه، فقد تم تصميمها لاستخدامها في الإطارات الافتراضية البالغة 3000 إطار. قد يعاني الاستدلال من وجود ذاكرات تخزين مؤقت أكبر، على الرغم من أجهزتك.
GPT‑Live هي المقارنة الواضحة
مزدوج الاتجاه ويعمل على مركز بيانات سحابي ضخم
يتمتع GPT‑Live الجديد من OpenAI بنفس الميزة الرئيسية. فهو يستمع أثناء حديثه، ويتفاعل مع المقاطعات، ويملأ الفجوات الطبيعية، ويمكنه أن يقرر ما إذا كان سيستمر في الحديث أو يبقى هادئًا عدة مرات في الثانية.
لكن مقارنة PersonaPlex بـ GPT-Live صالحة فقط في منطقة الكلام، وليس أبعد من ذلك. يعد GPT‑Live جزءًا من نظام أكبر بكثير. وهو يدعم المحادثات الأطول وبحث الويب والذاكرة والأدوات. عندما يحتاج الطلب إلى تفكير سليم، يمكنه تفويض العمل إلى نموذج حدودي مثل GPT‑5.5 في الخلفية، ثم إعادة النتيجة إلى المحادثة المباشرة.
ليس لدى PersonaPlex أحد ليطلب المساعدة. ولا يمكنه البحث في الويب، أو استدعاء أداة، أو تسليم سؤال صعب إلى نموذج أقوى، أو تذكر محادثة طويلة بشكل موثوق (4 دقائق، في حالتنا). يجب على نفس النموذج المكون من 7 مليارات معلمة أن يستمع ويفكر ويحافظ على الشخصية ويولد الكلام بنفسه.
في المقابل، PersonaPlex سريع للغاية. ومن خلال تجربتي، كان أسرع بكثير من GPT‑Live على الرغم من تشغيله محليًا. وبطبيعة الحال، هذا لا يجعله أكثر ذكاءً أو أكثر فائدة. إنه يجعله عرضًا جيدًا بشكل ملحوظ لمدى الاستجابة التي يمكن استخلاصها من نموذج قائم بذاته.
يعد PersonaPlex عرضًا رائعًا
بيرسونابلكس ليس منتجًا نهائيًا. إنها عرض. إنه ينسى، وينجرف، ويخترع التفاصيل، وفي محادثات طويلة، يتحدث في النهاية عن نفسه في حلقات. الأصوات المخصصة تقريبية، و رسمي التنفيذ لا يزال يريد GPU باهظ الثمن.
ولكن، إذا استطعت، قم بتشغيله والتحدث معه لمدة دقيقتين. شاهد نموذجًا قيد التشغيل محليًا يستمع ويتحدث ويتردد – كل ذلك يحدث بسرعة كبيرة.
وبغض النظر عن ذلك، فإن PersonaPlex مفتوح المصدر بالكامل. لقد أظهرت NVIDIA للمجتمع كيفية عمل هذا النوع من النماذج الصوتية ثنائية الاتجاه، ثم أصدرت التعليمات البرمجية والأوزان للمطورين لتعديلها وإدراجها في مسارات عمل أخرى. إن PersonaPlex في حد ذاته ليس منتجًا نهائيًا، ولكنه سيكون الأساس للعديد منها. ومن يدري، ربما استلهمت أنظمة مثل GPT-Live بعض الأفكار من نفس الأفكار.
