كيفية تنزيل وتثبيت Llama 2 محليًا

كيفية تنزيل وتثبيت Llama 2 محليًا
القراء مثلك يساعدون في دعم MUO. عند إجراء عملية شراء باستخدام الروابط الموجودة على موقعنا، قد نكسب عمولة تابعة. اقرأ أكثر.

أصدرت Meta لعبة Llama 2 في صيف عام 2023. تم تحسين الإصدار الجديد من Llama باستخدام رموز أكثر بنسبة 40% من نموذج Llama الأصلي، مما يضاعف طول سياقه ويتفوق بشكل كبير على النماذج الأخرى مفتوحة المصدر المتاحة. الطريقة الأسرع والأسهل للوصول إلى Llama 2 هي عبر واجهة برمجة التطبيقات (API) من خلال منصة عبر الإنترنت. ومع ذلك، إذا كنت تريد أفضل تجربة، فمن الأفضل تثبيت Llama 2 وتحميلها مباشرة على جهاز الكمبيوتر الخاص بك.





مع أخذ ذلك في الاعتبار، قمنا بإنشاء دليل خطوة بخطوة حول كيفية استخدام Text-Generation-WebUI لتحميل Llama 2 LLM محليًا على جهاز الكمبيوتر الخاص بك.



لماذا تثبيت Llama 2 محليًا

هناك العديد من الأسباب التي تجعل الأشخاص يختارون تشغيل Llama 2 مباشرة. البعض يفعل ذلك لأسباب تتعلق بالخصوصية، والبعض الآخر للتخصيص، والبعض الآخر لإمكانيات عدم الاتصال بالإنترنت. إذا كنت تبحث عن Llama 2 أو تضبطه أو تدمجه في مشاريعك، فقد لا يكون الوصول إلى Llama 2 عبر واجهة برمجة التطبيقات (API) مناسبًا لك. الهدف من تشغيل LLM محليًا على جهاز الكمبيوتر الخاص بك هو تقليل الاعتماد عليه أدوات الذكاء الاصطناعي التابعة لجهات خارجية واستخدم الذكاء الاصطناعي في أي وقت وفي أي مكان، دون القلق بشأن تسرب البيانات الحساسة المحتملة للشركات والمؤسسات الأخرى.





ومع ذلك، فلنبدأ بالدليل خطوة بخطوة لتثبيت Llama 2 محليًا.

الخطوة 1: تثبيت أداة إنشاء Visual Studio 2019

لتبسيط الأمور، سوف نستخدم أداة التثبيت بنقرة واحدة لـ Text-Generation-WebUI (البرنامج المستخدم لتحميل Llama 2 باستخدام واجهة المستخدم الرسومية). ومع ذلك، لكي يعمل هذا المثبت، تحتاج إلى تنزيل أداة إنشاء Visual Studio 2019 وتثبيت الموارد اللازمة.



تحميل: فيجوال ستوديو 2019 (حر)

  1. تابع وقم بتنزيل إصدار المجتمع من البرنامج.
  2. الآن قم بتثبيت Visual Studio 2019، ثم افتح البرنامج. بمجرد فتحه، ضع علامة في المربع تطوير سطح المكتب باستخدام C++ واضغط على التثبيت. HuggingFace اصطلاح تسمية النموذج

الآن بعد أن قمت بتثبيت تطوير سطح المكتب باستخدام C++، فقد حان الوقت لتنزيل برنامج التثبيت Text-Generation-WebUI بنقرة واحدة.



هي ألعاب ps3 متوافقة مع ps4

الخطوة 2: تثبيت Text-Generation-WebUI

يعد برنامج التثبيت Text-Generation-WebUI بنقرة واحدة عبارة عن برنامج نصي يقوم تلقائيًا بإنشاء المجلدات المطلوبة وإعداد بيئة Conda وجميع المتطلبات الضرورية لتشغيل نموذج الذكاء الاصطناعي.

لتثبيت البرنامج النصي، قم بتنزيل برنامج التثبيت بنقرة واحدة بالنقر فوق شفرة > تحميل الرمز البريدي.



تحميل: مثبت إنشاء النص-WebUI (حر)

  1. بمجرد التنزيل، قم باستخراج الملف المضغوط إلى موقعك المفضل، ثم افتح المجلد المستخرج.
  2. داخل المجلد، قم بالتمرير لأسفل وابحث عن برنامج التشغيل المناسب لنظام التشغيل الخاص بك. قم بتشغيل البرامج بالنقر المزدوج فوق البرنامج النصي المناسب.
    • إذا كنت تستخدم نظام التشغيل Windows، فاختر start_windows ملف دفعي
    • بالنسبة لنظام التشغيل MacOS، حدد start_macos سكريبت شل
    • لنظام التشغيل Linux، start_linux شيل. تنزيل نموذج Llama 2 الذي تفضله

  3. قد يقوم برنامج مكافحة الفيروسات الخاص بك بإنشاء تنبيه؛ هذا جيد. المطالبة هي مجرد مكافحة الفيروسات إيجابية كاذبة لتشغيل ملف دفعي أو البرنامج النصي. انقر فوق تشغيل على أي حال .
  4. سيتم فتح المحطة وبدء الإعداد. في وقت مبكر، سيتوقف الإعداد مؤقتًا ويسألك عن وحدة معالجة الرسومات التي تستخدمها. حدد النوع المناسب من وحدة معالجة الرسومات المثبتة على جهاز الكمبيوتر الخاص بك واضغط على زر الإدخال. بالنسبة لأولئك الذين ليس لديهم بطاقة رسومات مخصصة، حدد لا شيء (أريد تشغيل النماذج في وضع وحدة المعالجة المركزية) . ضع في اعتبارك أن التشغيل على وضع وحدة المعالجة المركزية (CPU) أبطأ بكثير مقارنةً بتشغيل النموذج باستخدام وحدة معالجة الرسومات المخصصة. وضع نموذج Llama 2 في مجلد النموذج
  5. بمجرد اكتمال الإعداد، يمكنك الآن تشغيل Text-Generation-WebUI محليًا. يمكنك القيام بذلك عن طريق فتح متصفح الويب المفضل لديك وإدخال عنوان IP المقدم على عنوان URL.
  6. واجهة WebUI جاهزة الآن للاستخدام.

ومع ذلك، فإن البرنامج هو مجرد محمل النموذج. لنقم بتنزيل Llama 2 لبدء تشغيل أداة تحميل النموذج.

الخطوة 3: قم بتنزيل نموذج Llama 2

هناك عدد لا بأس به من الأشياء التي يجب مراعاتها عند تحديد إصدار Llama 2 الذي تحتاجه. وتشمل هذه المعلمات، والتكميم، وتحسين الأجهزة، والحجم، والاستخدام. سيتم العثور على كل هذه المعلومات مذكورة في اسم النموذج.

  • حدود: عدد المعلمات المستخدمة لتدريب النموذج. المعلمات الأكبر تصنع نماذج أكثر قدرة ولكن على حساب الأداء.
  • الاستخدام: يمكن أن تكون قياسية أو دردشة. تم تحسين نموذج الدردشة لاستخدامه كروبوت دردشة مثل ChatGPT، في حين أن المعيار هو النموذج الافتراضي.
  • تحسين الأجهزة: يشير إلى الأجهزة التي تعمل بشكل أفضل على النموذج. يعني GPTQ أن النموذج تم تحسينه للتشغيل على وحدة معالجة رسومات مخصصة، بينما تم تحسين GGML للتشغيل على وحدة المعالجة المركزية.
  • توضيح: يدل على دقة الأوزان والتنشيط في النموذج. للاستدلال، دقة q4 هي الأمثل.
  • مقاس: يشير إلى حجم النموذج المحدد.

لاحظ أن بعض النماذج قد يتم ترتيبها بشكل مختلف وقد لا تحتوي على نفس أنواع المعلومات المعروضة. ومع ذلك، فإن هذا النوع من اصطلاح التسمية شائع إلى حد ما في HuggingFace المكتبة النموذجية، لذلك لا تزال تستحق الفهم.

في هذا المثال، يمكن تحديد النموذج على أنه نموذج Llama 2 متوسط ​​الحجم تم تدريبه على 13 مليار معلمة محسنة لاستنتاج الدردشة باستخدام وحدة المعالجة المركزية المخصصة.

بالنسبة لأولئك الذين يعملون على وحدة معالجة رسومات مخصصة، اختر أ GPTQ النموذج، بينما بالنسبة لأولئك الذين يستخدمون وحدة المعالجة المركزية، اختر جي جي إم إل . إذا كنت تريد الدردشة مع العارضة كما تفعل مع ChatGPT، فاختر محادثة ، ولكن إذا كنت ترغب في تجربة النموذج بكامل إمكاناته، فاستخدم معيار نموذج. أما بالنسبة للمعلمات، فاعلم أن استخدام نماذج أكبر سيوفر نتائج أفضل على حساب الأداء. أنا شخصياً أوصيك بالبدء بنموذج 7B. أما بالنسبة للتكميم، فاستخدم q4، لأنه مخصص للاستدلال فقط.

تحميل: جي جي إم إل (حر)

تحميل: GPTQ (حر)

الآن بعد أن عرفت ما هو تكرار Llama 2 الذي تحتاجه، تابع وقم بتنزيل النموذج الذي تريده.

في حالتي، بما أنني أقوم بتشغيل هذا على جهاز Ultrabook، سأستخدم نموذج GGML الذي تم ضبطه بدقة للدردشة، call-2-7b-chat-ggmlv3.q4_K_S.bin.

بعد انتهاء التحميل، ضع النموذج فيه إنشاء النص-webui-main > عارضات ازياء .

الآن بعد أن قمت بتنزيل النموذج الخاص بك ووضعه في مجلد النموذج، فقد حان الوقت لتكوين أداة تحميل النموذج.

الخطوة 4: تكوين Text-Generation-WebUI

الآن، لنبدأ مرحلة التكوين.

  1. مرة أخرى، افتح Text-Generation-WebUI عن طريق تشغيل ملف start_(نظام التشغيل الخاص بك) الملف (راجع الخطوات السابقة أعلاه).
  2. على علامات التبويب الموجودة أعلى واجهة المستخدم الرسومية، انقر فوق نموذج. انقر فوق زر التحديث في القائمة المنسدلة للنموذج وحدد النموذج الخاص بك.
  3. الآن انقر على القائمة المنسدلة لل محمل النموذج وحدد AutoGPTQ لأولئك الذين يستخدمون نموذج GTPQ و com.ctransformers لأولئك الذين يستخدمون نموذج GGML. وأخيراً اضغط على حمولة لتحميل النموذج الخاص بك.
  4. لاستخدام النموذج، افتح علامة تبويب الدردشة وابدأ في اختبار النموذج.

تهانينا، لقد قمت بتحميل Llama2 بنجاح على جهاز الكمبيوتر المحلي الخاص بك!

جرب LLMs أخرى

الآن بعد أن عرفت كيفية تشغيل Llama 2 مباشرة على جهاز الكمبيوتر الخاص بك باستخدام Text-Generation-WebUI، يجب أن تكون قادرًا أيضًا على تشغيل LLMs أخرى إلى جانب Llama. فقط تذكر اصطلاحات تسمية النماذج وأنه لا يمكن تحميل سوى الإصدارات الكمية من النماذج (عادة بدقة Q4) على أجهزة الكمبيوتر العادية. تتوفر العديد من شهادات LLM الكمية على HuggingFace. إذا كنت ترغب في استكشاف نماذج أخرى، فابحث عن TheBloke في مكتبة نماذج HuggingFace، وستجد العديد من النماذج المتاحة.

يستيقظ كمبيوتر windows 10 من تلقاء نفسه