Star For Training And Information Systems

ليه مش أي حد يقدر يعمل موديل زي ChatGPT من الصفر؟ والموضوع بسيط، يعني ليه مثلا ميكونش مشروع تخرج لمجموعة طلبة أو حد يعمل startup يكون ده هدفها؟

السؤال ده لطيف وحد سألني عليه قبل كده، وقررت اتكلم فيه بتفصيل مبسط من جزئين، فركز معايا عشان الموضوع تقيل شوية بس هتستمتع:

*️⃣الداتا:

الداتا هي أساس أي موديل، وهي اللي بيتدرب عليها. عشان تعمل موديل زي ChatGPT لازم يكون عندك كمية داتا ضخمة جدًا، مش بس من مواقع أو كتب، لأ، دي داتا من كل حتة، مقالات، كتب، مواقع، وسوشيال ميديا، ورق الطعمية حتى هيكون مفيد، ومن لغات وثقافات مختلفة.ده اللي بيخلي الموديل يفهم السياق ويقدر يتعامل مع أساليب كتابة مختلفة.

وطبعًا، مش هتقدر تجمع الداتا دي ببلاش. يعني مثلًا عشان تاخد داتا عربية من فيسبوك أو تويتر، هتضطر تشتريها، وعشان تشتريها، ده هيتكلف ملايين

أبل مثلا دفعت ٥٠ مليون دولار لبعض المؤسسات عشان بس تدرب الموديلز ب على أرشيف الصحف ودور النشر دي!!

فهتلاقي نفسك في الاخر عشان جزء الداتا فقط دفعت فيه ملايين الدولارات-حرفيًا- وانت لسا بتقول ياهادي :""

*️⃣ تدريب الموديل:
كل اللي فات ده كان تسخين وهنا الله المعين.. بعد مادفعت كام مليون للداتا.. هيجي وقت تدريب الموديل ده. هنا مش حابب ادخل في تفاصيل تدريب الموديلز الموجودة ع المنصات واسعار التدريب بالساعة لكن هديك مثال بسيط عن ازاي بس تحسب احتياجك لGPU Memory ..

هنضرب مثال بموديل صغير جدًا في عدد الparams بتاعته، LLAMA 2 حوالي 13 مليار باراميتر.. والموديل ده بيهندل 10 ريكويست والتوكينز 8192 توكين مثلا:""

- كل باراميتر عامة بيحتاج 4bytes في الميموري ع ما اتذكر وده عشان الfloating point precision فيي العادة بتكون 32bits ولو هتشتغل على 16bitعشان توفر التكلفة فهيكون 2bytes لكل بارام وهنحسبها على الاقل كمان.

يبقى الموديل ده 13 مليار مضروبة في 2 بايت لكل بارام يبقى انت كدا محتاج 26 جيجا

- وبما انه بيهندل فقط 10 ريكويست -عشرة بسسسس- وب8192 توكينز والتوكن الواحد بيستخدم حوالي 800 كيلو بايت فلازم نحسب دول برده يبقى 100x 8192x800 هتكون النتيجة حوالي 66 جيجا!

-يتبقى الoverhead ودي بتكون حوالي من 10~20% من توتال الميموري اللي عندك، ودي لازم نضيفها عشان الموديل طبيعي بيحتاج لذاكرة اثناء الInference وال‏intermediate results لما الموديل بينفذ الاوردر بتاعك.
يعني حوالي 10 او 9 جيجا اضافية لما تضرب 66 في 26 في 0.1

كدا انت محتاج 26+66+9 =101 جيجا عشان بسسس تهندل 10 ريكويستس ع موديل بالحجم الصغير ده،

صغير؟ اه صغير ماهو انت لما تعرف ان موديل 4 chatgpt معدي ال1.7 تريليون يعني 1700 مليار باراميتر يبقى صغير طبعًا وكدا بنكرمه:““😃😃😃

طيب الموديل الصغير ده عشان يهندل العدد البسيط سواء من الريكويستس او عدد التوكينز محتاج 3 كروت شاشة من نيفيديا الواحد فيهم 40 جيجا مثلا من نوع A100 مش هنروح لH100 عارف انت كدا محتاج كام؟
انت محتاج من 90~ 100 الف دولار عشان الكارت الواحد من A100 تكلفته من 30~40 الف دولار 😃

فعشان كدا الموضوع مش سهل فعلًا وللسبب ده معندناش الى الان مثلا AI Model مصري، والموضوع كله بيكون finetuning او RAG

فلما تلاقي حد متحمس ويقولك ليه منعملش الموديل بتاعنا كمشروع تخرج ابقى الصقله البوست ده سكرين شوت ع قفاه وربنا يتوب علينا من الفقاعة دي