كيف يعمل ChatGPT؟ وكيف يفهم الكلام؟
سلسلة: الذكاء الاصطناعي ببساطة
في المقال السابق، تعرفنا على الفرق بين الذكاء الاصطناعي AI والتعلم الآلي Machine Learning والتعلم العميق Deep Learning، وعرفنا أن الشبكات العصبية متعددة الطبقات أصبحت من أهم التقنيات التي تقف وراء كثير من أنظمة الذكاء الاصطناعي الحديثة.
لكن بقي سؤال أكثر قربًا منا جميعًا:
ماذا يحدث عندما نكتب سؤالًا إلى ChatGPT؟
كيف تتحول الجملة التي نكتبها إلى أرقام يفهمها الكمبيوتر؟
كيف يستطيع النظام التعامل مع كلمات مثل «بنك» و«بنك الدم» و«بنك القاهرة» بحسب السياق؟
كيف يعرف أن كلمة معينة مرتبطة بكلمات أخرى في الجملة؟
وكيف ينتقل من سؤالنا إلى إجابة تبدو وكأن شخصًا يجلس أمامنا ويفكر في الرد؟
والأهم...
هل ChatGPT يفهم الكلام فعلًا، أم أنه يفعل شيئًا مختلفًا تمامًا؟
لنفتح الصندوق قليلًا، ونرى ماذا يحدث خلف الشاشة.
أولًا: ChatGPT لا يقرأ الكلمات بالطريقة التي نقرأها نحن
عندما ينظر الإنسان إلى هذه الجملة:
«ذهبت إلى الطبيب لأنني أشعر بالتعب.»
فهو يرى كلمات لها معانٍ مباشرة.
أما النموذج اللغوي، فلا يتعامل مع النص بالطريقة نفسها.
قبل أن يبدأ النموذج في معالجة النص، يتم تقسيمه إلى وحدات أصغر تسمى:
Tokens — الرموز النصية
وقد يكون الـToken كلمة كاملة، أو جزءًا من كلمة، أو علامة ترقيم، أو حتى جزءًا صغيرًا من النص، بحسب اللغة والسياق.
وبالتالي، فالجملة التي نكتبها لا تدخل إلى النموذج كجملة بشرية جاهزة، وإنما تتحول إلى سلسلة من الوحدات التي يستطيع النموذج معالجتها رياضيًا.
وهنا تبدأ أول خطوة في الرحلة.
كلمات → Tokens → تمثيلات رقمية
لكن كيف يمكن للكمبيوتر أن يتعامل مع معنى كلمة مثل «طبيب» أو «سيارة» أو «تعلم» إذا كانت في النهاية أرقامًا؟
هنا تظهر فكرة مهمة جدًا.
كيف تتحول الكلمات إلى أرقام؟
الكمبيوتر في النهاية يعمل على العمليات الحسابية.
لذلك لا يمكن للنموذج أن يتعامل مع كلمة «قطة» بالطريقة التي يتعامل بها الإنسان معها.
يجب تحويل الكلمة أو الـToken إلى تمثيل رياضي.
وهنا نصل إلى مفهوم يسمى:
Embedding — التمثيل المتجهي
وهو تمثيل رقمي يمكن من خلاله للنموذج التعامل مع الكلمات أو الرموز داخل مساحة رياضية، بحيث تستطيع هذه التمثيلات التعبير عن علاقات وتشابهات بين العناصر.
ولنبسط الفكرة.
تخيل أننا نضع الكلمات على خريطة ضخمة جدًا.
قد تكون الكلمات المتعلقة بالحيوانات قريبة نسبيًا من بعضها.
والكلمات المتعلقة بالطعام في منطقة أخرى.
والكلمات المتعلقة بالطب في منطقة أخرى.
لكن الأمر ليس بهذه البساطة حرفيًا؛ فالنموذج لا يضع الكلمات على خريطة ثنائية الأبعاد، وإنما يستخدم تمثيلات رياضية عالية الأبعاد.
والأهم أن السياق يمكن أن يغير التمثيل الذي يتعامل به النموذج مع الكلمة.
وهذه نقطة جوهرية.
لأن كلمة واحدة قد تحمل معاني مختلفة بحسب الجملة التي ظهرت فيها.
لماذا السياق مهم جدًا؟
تخيل الجملتين:
«ذهبت إلى البنك لإيداع المال.»
و:
«ذهبت إلى بنك الدم للتبرع.»
كلمة «بنك» موجودة في الجملتين.
لكن معناها مختلف.
في الجملة الأولى، نحن نتحدث عن مؤسسة مالية.
وفي الثانية، نتحدث عن الدم.
كيف يعرف النموذج الفرق؟
من خلال السياق والعلاقات بين الكلمات.
وهنا تظهر واحدة من أهم الأفكار التي ساعدت على تطوير النماذج اللغوية الحديثة:
Attention — الانتباه
ما هو الـAttention؟
الانتباه هو آلية تساعد النموذج على تحديد أهمية أجزاء مختلفة من النص بالنسبة إلى الجزء الذي يعالجه.
ولنفترض أننا كتبنا:
«ذهب أحمد إلى الطبيب لأنه كان يشعر بالتعب.»
عندما يحاول النموذج تفسير كلمة مثل «التعب»، فإنه لا ينظر إلى الكلمة منفصلة عن بقية الجملة.
بل ينظر إلى الكلمات والعلاقات الموجودة حولها.
والفكرة الأساسية في Self-Attention هي أن كل Token يمكن أن يقيّم مدى أهمية الـTokens الأخرى بالنسبة إليه داخل السياق.
وهذا يساعد النموذج على التقاط العلاقات بين الكلمات حتى عندما تكون الجملة طويلة ومعقدة.
وهنا حدث تحول مهم جدًا في عالم معالجة اللغة.
لأن النموذج لم يعد مضطرًا إلى التعامل مع الكلمات باعتبارها سلسلة بسيطة فقط.
بل أصبح بإمكانه دراسة العلاقات بين أجزاء مختلفة من السياق.
ومن هنا ظهر الـTransformer
عندما نتحدث عن ChatGPT والنماذج اللغوية الحديثة، سنجد كلمة تتكرر كثيرًا:
Transformer — المحوّل
وهو نوع من معماريات الشبكات العصبية يعتمد بصورة أساسية على آليات الانتباه.
وقد قدمت ورقة بحثية شهيرة عام 2017 معمارية Transformer، التي اعتمدت على آليات الانتباه بدلًا من البنى التكرارية أو الالتفافية المستخدمة في نماذج سابقة.
ولماذا كان ذلك مهمًا؟
لأن الـTransformer أصبح أساسًا لعدد ضخم من التطورات اللاحقة في النماذج اللغوية.
وبصورة مبسطة جدًا يمكن أن نتخيل المسار هكذا:
النص
↓
Tokens
↓
تمثيلات رقمية
↓
Transformer + Attention
↓
تحليل السياق والعلاقات
↓
توقع الـToken التالي
↓
إجابة
لكن هناك سؤال مهم جدًا:
هل ChatGPT يكتب الإجابة كلها مرة واحدة؟
الإجابة:
لا.
وهنا نصل إلى واحدة من أكثر الأفكار إثارة في طريقة عمل النماذج اللغوية.
هل ChatGPT يتوقع الكلمة التالية؟
نعم، ولكن علينا أن نفهم العبارة جيدًا.
النموذج اللغوي يتعلم أنماطًا وعلاقات في البيانات، ثم يستخدم هذه الأنماط للتنبؤ بما يأتي بعد ذلك في التسلسل.
فإذا كتبت:
«القاهرة هي عاصمة...»
فقد تكون هناك احتمالات قوية لأن يأتي بعدها:
«مصر»
وإذا كتبت:
«ذهبت إلى الطبيب لأنني أشعر بـ...»
فقد تكون هناك احتمالات مختلفة بحسب السياق، مثل:
«التعب» أو «الألم» أو كلمات أخرى.
خلال التدريب، يتعلم النموذج تحسين قدرته على هذه التوقعات عبر التعامل مع كميات ضخمة من البيانات.
وتوضح OpenAI أن النماذج تتعلم الأنماط والعلاقات في البيانات، ثم تستخدم ما تعلمته للتنبؤ بالجزء التالي من النص أثناء توليد الاستجابة.
لكن لا تقع في فخ فهم هذه الفكرة بطريقة مبسطة أكثر من اللازم.
فعبارة:
«يتوقع الكلمة التالية»
لا تعني أن النموذج يبحث عن كلمة عشوائية من قاموس.
إنه يستخدم السياق الذي أمامه، وتمثيلاته الداخلية، ومعاملاته التي تعلمها، لإنتاج توزيع احتمالي للنتائج الممكنة.
وهذا ما يجعل الأمر أكثر تعقيدًا بكثير من مجرد:
كلمة → كلمة.
طيب... كيف ينتقل من كلمة إلى جملة كاملة؟
تخيل أنك كتبت:
«اكتب لي فقرة عن أهمية القراءة.»
النموذج لا يكتب الفقرة كاملة في خطوة واحدة.
بصورة مبسطة، يبدأ من السياق الموجود أمامه، ثم يختار Token مناسبًا، ثم يستخدم ما أصبح موجودًا في السياق لتوقع الـToken التالي، وهكذا.
أي أن عملية التوليد تكون تدريجية:
السياق
↓
Token
↓
Token جديد
↓
Token جديد
↓
Token جديد
↓
...
حتى تتكون الإجابة.
ولهذا يمكن النظر إلى عملية توليد النص باعتبارها عملية تنبؤ متتابع، وليس استرجاعًا لفقرة محفوظة مسبقًا.
وتوضح OpenAI أن النموذج يولد الاستجابة بصورة متتابعة، اعتمادًا على الأنماط التي تعلمها أثناء التدريب.
لكن من أين جاءت هذه القدرة أصلًا؟
هنا نعود إلى المقال السابق.
قبل أن يستطيع النموذج الإجابة على أسئلتنا، يمر بمرحلة تدريب ضخمة.
وخلال التدريب، يتعرض النموذج إلى كميات كبيرة من المعلومات المستخدمة لتطوير قدراته.
وتوضح OpenAI أن تطوير النماذج الأساسية التي تشغل ChatGPT يمر بمراحل تشمل إعداد بيانات التدريب، والتدريب المسبق Pre-training، والتدريب اللاحق Post-training، ثم التقييم والتحسين المستمر.
وفي التدريب المسبق، يتعلم النموذج أنماطًا وعلاقات واسعة داخل البيانات.
يمكن أن يتعلم مثلًا:
أن بعض الكلمات تظهر عادةً مع كلمات أخرى.
أن تركيبًا لغويًا معينًا يرتبط بسياق معين.
أن السؤال عادةً يتطلب نوعًا محددًا من الإجابات.
أن بعض الكلمات لها علاقات قوية بمفاهيم أخرى.
ومع تكرار التدريب على نطاق هائل، تتغير القيم الداخلية للنموذج بحيث يصبح أكثر قدرة على إنتاج توقعات مفيدة.
هل يخزن ChatGPT كل ما قرأه؟
هنا توجد واحدة من أكثر الخرافات شيوعًا.
قد يتخيل البعض أن النموذج عبارة عن مكتبة ضخمة تحتوي على نسخة من كل صفحة تدرب عليها.
لكن الصورة أدق من ذلك.
النموذج يتعلم أنماطًا وعلاقات من البيانات، وتنعكس هذه المعرفة في أعداد ضخمة من القيم الداخلية التي تسمى:
Parameters — المعاملات
وتوضح OpenAI أن النماذج لا تعمل ببساطة عن طريق الاحتفاظ بنسخ من جمل التدريب ثم نسخها عند الإجابة، وإنما يتم تعديل المعاملات أثناء التعلم لتلتقط الأنماط التي يتعلمها النموذج.
وهذا يشبه، بصورة تقريبية، الفرق بين:
حفظ كتاب كامل كلمة بكلمة
وبين:
التعلم من آلاف الكتب حتى تصبح لديك قدرة على استخدام اللغة والمعلومات بطريقة جديدة.
لكن التشبيه ليس كاملًا؛ لأن النموذج لا يمتلك تجربة بشرية أو ذاكرة بشرية بالطريقة نفسها.
وماذا يحدث عندما تكتب سؤالًا إلى ChatGPT؟
يمكننا الآن أن نرسم رحلة السؤال بصورة مبسطة.
لنفترض أنك كتبت:
«اشرح لي لماذا السماء زرقاء؟»
تبدأ العملية تقريبًا هكذا:
أولًا: تقسيم النص
يتم تحويل النص إلى Tokens.
ثانيًا: تحويل الـTokens إلى تمثيلات رقمية
يتم تمثيلها رياضيًا حتى يستطيع النموذج التعامل معها.
ثالثًا: معالجة السياق
تمر المعلومات عبر طبقات النموذج، وتعمل آليات الانتباه على دراسة العلاقات بين أجزاء السياق.
رابعًا: حساب احتمالات النتائج
النموذج يحسب احتمالات للـTokens الممكنة التالية.
خامسًا: اختيار Token
يتم اختيار أحد الاحتمالات وفق آلية التوليد المستخدمة.
سادسًا: تكرار العملية
يضاف الـToken الجديد إلى السياق، ثم تبدأ العملية من جديد.
وهكذا تتكون الإجابة تدريجيًا.
سؤال → Tokens → معالجة → احتمالات → Token → Token → Token → إجابة
هذه هي الفكرة الأساسية وراء ما نراه على الشاشة خلال ثوانٍ قليلة.
ولكن أين «الفهم» في كل ذلك؟
وهنا نصل إلى الجزء الأكثر إثارة.
عندما تكتب سؤالًا إلى ChatGPT، قد تشعر أن النظام فهمك بالفعل.
إذا قلت:
«اكتبها بطريقة أبسط.»
فهو غالبًا يعرف أن كلمة «ها» تشير إلى شيء تحدثت عنه قبل ذلك.
وإذا غيرت الموضوع فجأة ثم عدت إلى نقطة سابقة، فقد يستطيع ربط الكلام بالسياق الموجود أمامه.
فهل هذا يعني أنه يفهم اللغة مثل الإنسان؟
ليس بالضرورة.
النموذج يمتلك قدرة متقدمة جدًا على تمثيل الأنماط والعلاقات اللغوية واستخدامها لإنتاج استجابات مناسبة للسياق.
لكن هذا لا يثبت أنه يمتلك وعيًا بشريًا أو تجربة داخلية أو فهمًا مطابقًا لفهم الإنسان.
ولهذا من الأفضل أن نميز بين:
القدرة على التعامل مع اللغة
و
التجربة الإنسانية للغة.
هل ChatGPT يفكر مثل الإنسان؟
هنا يجب أن نكون أكثر دقة.
عندما نقول:
«ChatGPT يفكر»
فقد تكون العبارة مفيدة في الحديث اليومي لوصف سلوك معقد.
لكنها لا تعني تلقائيًا أن النموذج يمتلك عقلًا بشريًا أو وعيًا أو مشاعر.
النموذج يعمل من خلال عمليات حسابية معقدة داخل شبكة عصبية، ويستخدم ما تعلمه من الأنماط لإنتاج النتائج.
ولهذا فإن استخدام كلمات مثل:
يفكر
يفهم
يعرف
يشعر
يحتاج إلى قدر من الحذر.
فالسلوك الذي يبدو لنا بشريًا لا يثبت وحده وجود تجربة داخلية بشرية وراءه.
إذن لماذا يبدو ChatGPT وكأنه إنسان؟
هناك عدة أسباب.
أولًا، لأنه تدرب على كميات ضخمة من اللغة البشرية.
ثانيًا، لأن اللغة نفسها تحتوي على أنماط هائلة من الحوار والسؤال والشرح والجدال والقصص.
ثالثًا، لأن النماذج الحديثة لا تكتفي بالتدريب المسبق فقط، بل تمر أيضًا بمراحل تدريب لاحقة تساعدها على الاستجابة للتعليمات بطريقة أكثر فائدة وملاءمة.
وتوضح أبحاث OpenAI حول InstructGPT كيف استُخدمت أمثلة بشرية ومقارنات بين الاستجابات لتدريب النماذج على اتباع تعليمات المستخدم بصورة أفضل، ضمن أساليب من بينها التعلم بالتعزيز من التغذية الراجعة البشرية RLHF.
وهذا يساعد على تفسير شيء مهم جدًا:
النموذج لا يتعلم فقط:
«ما الكلمة التالية؟»
بل يتم تحسينه أيضًا ليصبح أكثر قدرة على التعامل مع:
«ماذا يريد المستخدم؟ وكيف تكون الإجابة مفيدة وآمنة ومناسبة؟»
.jpg)
هل الإجابة نفسها محفوظة مسبقًا؟
ليس بالضرورة.
إذا كتبت سؤالًا جديدًا، فالنموذج لا يبحث ببساطة عن بطاقة تحتوي على الإجابة الجاهزة.
بل يستخدم المعاملات التي تعلمها، والسياق الذي أمامه، وآلية التوليد لإنتاج استجابة.
ولهذا يمكن أن تحصل على إجابات مختلفة لسؤال متشابه في مرات مختلفة.
وتوضح OpenAI أن هناك عنصرًا من الاحتمالية في توليد النص، لأن أكثر من تكملة قد تكون مناسبة للسياق نفسه.
وهذا يقودنا إلى نقطة مهمة جدًا.
لماذا يمكن أن يخطئ ChatGPT بثقة؟
لأن النموذج ليس جهازًا سحريًا لمعرفة الحقيقة.
يمكنه إنتاج جملة تبدو ممتازة لغويًا، لكنها تكون غير صحيحة.
قد يخلط بين شخصين.
قد يذكر تاريخًا خاطئًا.
قد يقدم تفسيرًا غير دقيق.
وقد يختلق أحيانًا معلومة أو مصدرًا يبدو حقيقيًا.
وهذه الظاهرة تُعرف غالبًا باسم:
Hallucination — الهلوسة
والسبب الأساسي أن النموذج مصمم لإنتاج استجابات بناءً على الأنماط التي تعلمها واحتمالات التوليد، وليس لأن لديه جهازًا داخليًا يضمن أن كل جملة صحيحة.
ولهذا فإن:
اللغة المقنعة ≠ الحقيقة المؤكدة.
وهذه واحدة من أهم القواعد التي يجب أن نتذكرها عند استخدام الذكاء الاصطناعي.
هل ChatGPT يعرف كل شيء؟
بالطبع لا.
وهنا يجب التمييز بين المعرفة التي اكتسبها النموذج أثناء التدريب وبين الوصول إلى المعلومات في الوقت الحالي.
فالنموذج يعتمد على ما تم تدريبه عليه، وعلى الأدوات والبيانات التي قد تكون متاحة له في السياق الذي يعمل فيه.
وفي بعض الاستخدامات، يمكن لأنظمة الذكاء الاصطناعي أن تتصل بأدوات أو مصادر خارجية للحصول على معلومات حديثة، لكن هذا ليس هو الشيء نفسه الذي يحدث داخل النموذج الأساسي أثناء التدريب.
لذلك عندما تكون المعلومة حديثة أو حساسة أو قابلة للتغير، فمن الأفضل التحقق منها من مصدر موثوق.
وماذا يحدث عندما يتعامل ChatGPT مع صورة أو صوت؟
هنا تصبح القصة أكثر إثارة.
الذكاء الاصطناعي الحديث لم يعد محصورًا في النصوص فقط.
فالنماذج الحديثة يمكن أن تتعامل، بحسب النظام وقدراته، مع أنواع مختلفة من المعلومات مثل:
النصوص
الصور
الصوت
الفيديو
وتوضح OpenAI أن نماذجها الأساسية الحديثة يتم تطويرها باستخدام أنواع متعددة من المعلومات، وأن ChatGPT يمكن أن يتعامل مع أكثر من نمط من المحتوى بحسب القدرات المتاحة.
وهذا يقودنا إلى مفهوم مهم جدًا:
Multimodal AI — الذكاء الاصطناعي متعدد الوسائط
أي الأنظمة التي تستطيع التعامل مع أكثر من نوع من المعلومات بدلًا من الاقتصار على النص وحده.
فقد ترسل صورة وتسأل:
«ماذا يوجد في هذه الصورة؟»
أو ترسل نصًا وتطلب:
«لخصه لي.»
أو تتحدث بصوتك وتطلب:
«اشرح لي هذه الفكرة بطريقة بسيطة.»
وهنا تبدأ الحدود بين النص والصوت والصورة في التداخل أكثر فأكثر.
إذن... ماذا يحدث في ثوانٍ قليلة؟
دعونا نضع كل ما سبق في رحلة واحدة.
عندما تكتب سؤالًا إلى ChatGPT:
أنت تكتب السؤال
↓
يتم تقسيم النص إلى Tokens
↓
تتحول الـTokens إلى تمثيلات رقمية
↓
تمر المعلومات عبر شبكة عصبية عميقة
↓
تستخدم آليات الانتباه لدراسة العلاقات والسياق
↓
يعالج النموذج المعلومات من خلال طبقات متعددة
↓
يحسب احتمالات الـTokens التالية
↓
يولد Token
↓
يعيد العملية مرة أخرى
↓
تتكون الجملة
↓
ثم الفقرة
↓
ثم الإجابة كاملة
وكل هذا يحدث بسرعة كبيرة جدًا.
ما نراه نحن على الشاشة كجملة واحدة متماسكة، هو في الداخل سلسلة ضخمة من العمليات الحسابية.
هل هذا يعني أن ChatGPT مجرد «توقع للكلمة التالية»؟
هذه العبارة صحيحة كمدخل مبسط، لكنها غير كافية لوصف الصورة كاملة.
لأن توقع الـToken التالي يعتمد على شبكة عصبية عميقة ذات عدد هائل من المعاملات، وعلى تمثيلات رقمية معقدة، وعلى آليات الانتباه، وعلى السياق السابق، وعلى مراحل تدريب متعددة.
ولهذا فإن السؤال:
«ما الكلمة التالية؟»
يبدو بسيطًا جدًا.
لكن الوصول إلى توقع جيد في سياق معقد يتطلب قدرًا هائلًا من الحسابات والأنماط التي تعلمها النموذج.
وهنا تكمن إحدى المفارقات الجميلة في الذكاء الاصطناعي:
المهمة تبدو بسيطة، لكن الوصول إلى أداء متقدم فيها شديد التعقيد.
وهل يستطيع ChatGPT أن يفهم المعنى الحقيقي للكلام؟
ربما هنا يجب أن نعيد صياغة السؤال.
بدلًا من أن نسأل:
«هل يفهم مثل الإنسان؟»
قد يكون السؤال الأدق:
«إلى أي مدى يستطيع النموذج بناء تمثيلات مفيدة للعلاقات والمعاني في اللغة واستخدامها في السياق؟»
وهذا سؤال علمي أكثر دقة.
فالنماذج اللغوية تستطيع التعامل مع العلاقات بين الكلمات والجمل والسياقات بدرجات مذهلة من التعقيد.
لكن ذلك لا يعني أننا نستطيع ببساطة أن نستنتج منها وجود وعي أو تجربة داخلية بشرية.
ولهذا تظل مسألة:
ما معنى «الفهم» في الآلة؟
من أكثر الأسئلة إثارة في علوم الذكاء الاصطناعي.
إذن... ما الخلاصة؟
إذا أردنا اختصار المقال كله، فيمكننا أن نتذكر الرحلة التالية:
الكلام الذي نكتبه لا يدخل إلى ChatGPT ككلمات بشرية مباشرة، بل يتم تقسيمه إلى Tokens.
ثم يتم تمثيل هذه الوحدات بصورة رقمية حتى يستطيع النموذج معالجتها رياضيًا.
بعد ذلك تستخدم الشبكة العصبية العميقة آليات مثل Self-Attention لدراسة العلاقات بين أجزاء السياق.
ثم يستخدم النموذج ما تعلمه لتوقع الـToken التالي بصورة متتابعة، حتى تتكون الإجابة.
أما ChatGPT نفسه، فهو تطبيق مبني على نماذج ذكاء اصطناعي لغوية متقدمة، وقد مرت هذه النماذج بمراحل من التدريب والتطوير والتقييم والتحسين لتصبح أكثر قدرة على التعامل مع التعليمات والحوار.
لكن علينا أن نتذكر دائمًا:
إنتاج إجابة تبدو ذكية لا يعني أن الآلة تفكر بالطريقة نفسها التي يفكر بها الإنسان.
والأهم:
الإجابة المقنعة ليست بالضرورة إجابة صحيحة.
ولكن... هناك سؤال أكبر ينتظرنا
الآن عرفنا:
كيف تتحول الكلمات إلى Tokens؟
وكيف تتحول الـTokens إلى تمثيلات رقمية؟
وكيف تعمل الشبكات العصبية؟
وكيف يساعد الـAttention النموذج على فهم السياق؟
وكيف يتوقع النموذج الـToken التالي؟
لكن ما زال هناك لغز مهم:
كيف يستطيع النموذج التعامل مع ملايين أو مليارات العلاقات بين الكلمات والمفاهيم؟
وكيف يمكن لرقم أو مجموعة أرقام أن تمثل معنى كلمة؟
وكيف تصبح كلمة مثل:
«ملك»
مرتبطة بمفاهيم مختلفة بحسب السياق؟
وكيف يعرف النموذج الفرق بين:
«ملك مصر»
و
«ملك الشطرنج»؟
وهنا سنقترب من واحدة من أهم الأفكار في عالم النماذج اللغوية:
كيف تمثل الآلة المعنى؟
وهذا سيكون موضوع المقال القادم:
كيف تفهم الآلة معنى الكلمات؟
من الـEmbeddings إلى التمثيلات الرقمية
.jpg)
المصادر والمراجع
OpenAI — How ChatGPT and our foundation models are developed
شرح مبسط لكيفية تطوير النماذج الأساسية، والتدريب، والـTokens، وتوقع النص، والمعاملات الداخلية.
OpenAI — What are tokens and how to count them?
شرح مفهوم الـTokens وكيف يتم تقسيم النص ومعالجته قبل توليد الاستجابة.
Google for Developers — LLMs: What's a large language model?
شرح النماذج اللغوية الكبيرة، والـTransformers، والـSelf-Attention، وكيفية توليد النص.
Google for Developers — Embeddings
شرح التمثيلات الرقمية والعلاقات بين العناصر في فضاء الـEmbeddings.
Google for Developers — Machine Learning Glossary
مصطلحات أساسية مثل Attention وTransformer وLanguage Model وLarge Language Model.
Vaswani et al. — Attention Is All You Need
البحث العلمي الأصلي الذي قدم معمارية Transformer عام 2017.
OpenAI — Aligning language models to follow instructions
شرح دور التغذية الراجعة البشرية وRLHF في تحسين قدرة النماذج على اتباع التعليمات.
بقلم
د. سامح هدهود
