![](https://www.msf-online.com/wp-content/uploads/2021/05/خوارزميات-أم-عنصرية-متعمّدة؟-السر-وراء-تضييق-فيسبوك-على-المناصرين-للقضية-الفلسطينية-767x405.jpg)
خوارزميات أم عنصرية متعمّدة؟ السر وراء تضييق فيسبوك على المناصرين للقضية الفلسطينية
إعداد شادي عبد الحافظ
لنفترض أنك صحفي فلسطيني تغطي موضوعا طبيا وهو جائحة “كوفيد-19″، تكتب عدة تقارير وتنقل منها أجزاء إلى فيسبوك مع رابط لمَن يود الاستزادة، لكنك تتفاجأ أن فيسبوك يحذف منشورك الذي لا علاقة له بالسياسة، بل ويُحذِّرك بلهجة شديدة، ساعتها ستُدرك أن الخوارزميات ليست ذكية كما كنت تعتقد، فهي لا ترى السياقات وإنما فقط ترصد جملة “الحرب على “كوفيد-19” في فلسطين”، على أنها شيئا يحتوي على “الحرب” و”فلسطين” في نطاق واحد، وبالتالي فإن ذلك يعني انتهاكا للمعايير.
سنُطبِّق ذلك تطبيقا أوسع على كل شيء آخر تقريبا، لن تتمكَّن مثلا من تغطية المعركة الدائرة حاليا، لأن خوارزميات فيسبوك ما إن تشتم رائحة كلمات مثل “حماس” أو “مقاومة” أو “اليهود” حتّى تقوم بتجهيز سكاكين الحذف والحظر، هذا لأن خوارزمياتها مُطعَّمة بمضادات لكراهية اليهود والصهيونية بُنيت بالأساس لتقاوم المنشورات الصادرة من أنصار اليمين المتطرف أصحاب الفكر النازي، لكنها الآن تُستخدم لمناهضة المقاومة الفلسطينية، سواء بصورها السلمية أو العسكرية، وبالتالي يسمح فقط لدولة الاحتلال بنشر أفكارها ووجهة نظرها المتحيزة، في هذا التقرير سيتضح لك لِمَ يمكن أن تصبح الخوارزميات مُضلِّلة، ولِمَ يتعيَّن على المنصات مثل فيسبوك وغيره أن تعمل على ضبط السياقات بشكل يسمح للجميع بعرض قضيته، وإلا فإنها ستكون مثل آلة الحرب، تُساهم في قتل أبرياء.
“يظن الجميع أن الخوارزميات موضوعية وصحيحة وعلمية، هذه خدعة تسويقية”.
(كاثي أونيل)
كايل هو شاب هادئ الطباع، وسيم الشكل، ستميل إلى الشعور بالراحة أثناء حديث قصير معه، خلال وجوده بمدينة أتلانتا الأميركية لإتمام دراسته الجامعية قرَّر أن يعمل ليتحمَّل جزءا من مسؤوليته تجاه مصاريف الدراسة الخاصة به، فتقدَّم للعمل في إحدى أكبر سلاسل البيع بالتجزئة هناك، وهي محلات كروجرز، في مقر الشركة الرئيسي طُلب منه أن يخضع لاختبار شخصية بسيط مُكوَّن من عدة عشرات من الأسئلة، وبعد عدة أسابيع من تقديم أوراقه، أتاه رفض الشركة.
![](https://www.aljazeera.net/wp-content/uploads/2020/08/%D8%B5%D9%88%D8%B1%D8%A9-%D9%85%D9%8A%D8%AF%D8%A7%D9%86-2021-05-18T125602.720.png?w=770&resize=770%2C513)
في الغالب، فإن ما يحدث في حالة كهذه هو أنك تبحث عن عمل آخر وانتهى الأمر، وكان كايل بالفعل يتجهَّز لذلك غير آبهٍ بما حدث، لكن والده(1) الذي يعمل محاميا، السيد بيم، كان في غاية الحيرة، إنها فقط محال تجارة بالتجزئة، ما الذي يمكن أن يكون معقدا في هذا العمل بحيث لا يمكن لكايل أن يتحمله؟! هنا يسأل السيد بيم ابنه عن طبيعة هذا الاختبار الذي خضع له، فيجيب كايل أنها تشبه الأسئلة التي كان يجيب عنها في المستشفى بينما كان يتلقَّى علاجا للاضطراب ثنائي القطب.
تمنع القوانين في أميركا -وحول العالم- استخدام اختبارات الصحة العقلية في اختيار المتقدمين للوظائف، ولكن حينما قرَّر السيد بيم وولده التقديم في شركات أخرى كبيرة وجدا اختبارات شبيهة، بل ويمكن لك أن تجد اختبارات من هذا النوع في شركات مثل “راديو شاك” أو “ماكدونالدز”، هنا قد تسأل: هل قصدت تلك الشركات أن تُنحّي جانبا فئة محددة من الناس -أصحاب الاضطراب النفسي- من العمل بها؟
في الواقع، هذا لم يحدث، وتلك الشركات تعرف القانون بالفعل. لكن المشكلة كانت في الكيفية التي صُمِّمت بها تلك الاختبارات من قِبَل شركات تحليل البيانات. خوارزميات الذكاء الاصطناعي تعمل بآلية بسيطة تشرحها كاثي أونيل في كتابها “أسلحة الدمار بالرياضيات” (Weapons of Math Destruction) حينما تضرب مثالا عن إطعام أطفالها.
كونها أُمًّا، فإنه يمكن تعريف النجاح في هذه المهمة بأنه أكبر قدر ممكن من الطعام الصحي على مدى يوم واحد فقط، لذلك فإنها تحاول استخدام كل الحِيَل الممكنة لأداء هذه المهمة، كأن ترفق هدايا مع الخضار والفواكه، أو أن تقوم بتحلية اللبن بالعسل، أو أن تسمح بالشوكولاتة فقط بعد إنهاء طبق الخضار كاملا، حينما تنجح إحدى تلك الطرق مع أطفالها فإن كاثي تُركِّز أكثر على تطوير تلك الطريقة من أجل الحصول على أفضل نجاح ممكن لمهمتها مستقبلا.
ي عالم خوارزميات الذكاء الاصطناعي ذاتية التعلُّم، فإن الأمر ذاته يحدث. حينما تطلب من شركة بيانات ما أن تُصمِّم آلية لتقييم الموظفين الجدد في عملك، فإن صانع الخوارزمية يضع تعريفا للموظف الناجح، ليكن مثلا ذلك الذي تلقَّى ترقية بعد ثلاث سنوات، وخلالها ظهرت تجاهه أقل من ثلاثة تحفظات، مع حفاظ على مستوى الإنتاجية ضمن 70-80%. عند ظهور هذا الموظف فإن الخوارزمية تتخذ منه نموذجا وتحاول تكراره، ومع كل دورة تتحسَّن دقة الخوارزمية في الاختيار، عبر ما نسميه بحلقات التغذية الراجعة(2) (Feedback Loops)، إذا كنت تمتلك مصنع حلوى فإن قسم التسويق في مصنعك يستطلع آراء الناس مع الدفعة الأولى من إنتاجك، تُستخدم تلك الآراء لتطوير الدفعة التالية، ثم التالية، ثم التالية، وهكذا.
هنا تظهر المشكلة، هناك فئات مجتمعية محددة تتعرَّض للضغط بشدة بسبب طبيعة جنسها أو عِرقها أو حالتها العقلية أو حتى وضعها السياسي، لنأخذ السود في الولايات المتحدة على سبيل المثال -المثال الأكثر خضوعا للدراسة-، من المعروف أن أعداد الذين يتعاطون الحشيش من الشباب أصحاب البشرة السوداء والبيضاء متقاربة، رغم ذلك فإن عدد الذين يُوضعون في السجن من متعاطي الحشيش يميل ليكون من أصحاب البشرة السوداء بفارق ثلاثة إلى أربعة أضعاف.
لنفترض الآن أنك حاكم لإحدى المدن وتود أن تُقلِّل الجرائم في محيطك، تُقدِّم شركات البيانات الضخمة (Big Data) مفهوما جديدا في عالم الشرطة يسمى “التنبؤ الشُّرطي”(3) (Predictive Policing)، والفكرة أن نغذِّي تلك الخوارزميات القادرة على التعلُّم ذاتيا -عبر الذكاء الاصطناعي- ببيانات المواطنين في المدينة، تتعلَّم الخوارزمية فورا أن السود أقرب للإيداع في السجن بسبب الجرائم الصغيرة -بسبب تحيُّز الشرطيين البيض من البداية- لذا فإنها تُوصي بأن تُوضَع أعداد أكبر من عربات الشرطة في أحياء السود، ما يتسبَّب في إيداع أعداد أكبر من السود في السجن، وهكذا تستمر حلقات التغذية الراجعة.
في كتابها “أتمتة التفاوت – كيف تصنّف التقنية الفقراء وتعاقبهم؟” (Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor) تضرب فرجينيا يوبانكس مثالا بخوارزمية تُستخدم لتوقُّع إمكانية استغلال أو إيذاء طفل ما في مقاطعة أليني بولاية بنسلفانيا الأميركية، تحصل هذه الخوارزمية على بياناتها من مؤسسات حكومية محيطة، المكاتب التي بدورها تتعامل مع الطبقات العاملة أو الفقيرة، وبسبب تحيُّز البيانات فإن الخوارزمية ستخلص لنتيجة تقول إن استغلال أو إهمال أو إيذاء الأطفال في الطبقات الفقيرة شائع جدا.
في أرض الواقع، فإن إيذاء الأطفال يتمثَّل بالفعل في الطبقات الفقيرة بدرجة أكبر، لكنها لا تكون بهذا الفارق الضخم الذي تُمثِّله الخوارزمية، بالتالي فإن الخوارزمية -عبر حلقات التغذية الراجعة- تضع قيمة أكبر للفقر في أثناء حساباتها، وهنا يمكن أن تغض البصر تماما عن أُسر الطبقة المتوسطة، التي يوجد بها إيذاء الأطفال أيضا بنسبة واضحة، لكنهم لا يذهبون إلى مكاتب أو مصحات أو مستشفيات حكومية، بل يتعاملون مع جهات خاصة لا تعطي بياناتها للخوارزمية.
تظهر المشكلة الخاصة بتحيُّز البيانات بوضوح أكثر في حالة تقنيات التعرُّف على الوجه، فهي تفشل في التعرُّف على وجه أي شخص غير أشقر بفارق كبير عن أصحاب البشرة الشقراء، أحد الأسباب هو أنها غُذِّيت من الأساس بعدد أكبر من بيانات الأشخاص أصحاب البشرة البيضاء فتعلَّمت أن تضعهم معيارا رئيسيا، حينما نستخدم تلك التقنيات في أقسام الشرطة فإنها قد تخلط بين الناس من الأعراق الأخرى وتكون غير دقيقة، ما يُمثِّل مشكلة بالنسبة لهؤلاء.
اهتمت جوي بولامويني، التي تعمل الآن في معهد ماساتشوستس العالي للتكنولوجيا (MIT)، بالمقارنة بين استجابات منظومات التعرُّف على الوجوه المختلفة بالنسبة إلى الجندر والعِرق. في ورقتها البحثية(4) الصادرة عام 2018، أكَّدت النتائج أن دقة تلك البرمجيات كانت أقل بفارق نحو 10% لصالح أصحاب الوجوه البيضاء من الرجال مقارنة بأصحاب البشرة السوداء، وبدا واضحا أنه كلما كان لون البشرة داكنا أكثر كان الخطأ أكبر.
لكن المشكلة الأساسية ظهرت حينما قارنت بولامويني نِسَب الخطأ بين الرجال أصحاب البشرة البيضاء والنساء أصحاب البشرة السمراء، حيث وصل الخطأ -في برمجية شهيرة خاصة بشركة “آي بي إم”- إلى نسبة 34%، وكلما كانت البشرة داكنة أكثر وصل الخطأ إلى قرابة 50%، أشعلت تلك النتائج جدلا شديدا في الأوساط التقنية والعامة، ليس لأنها الأولى من نوعها، لكن لأنها المرة الأولى التي تختبر فيها برمجيات مستخدمة في سوق العمل بالفعل.
ظهرت تلك المشكلة أيضا في مجال الرعاية الصحية، وكانت دراسة صادرة في 2019 بدورية “ساينس” المرموقة قد أشارت(5) إلى أنه بسبب التفاوت الموجود سابقا في بيانات منظومة الصحة الأميركية فإن الخوارزميات التي تُستخدم للمقارنة بين المرشحين للخضوع للعلاج تُظهِر التحيُّزات نفسها، فتتعامل مع الأسود المريض بالسكّري على أنه أكثر تكلفة من الأبيض المريض بالسكّري عند السن والمعايير المرضية نفسها، هنا ستختار الأبيض ليسبق الأسود في طوابير العلاج.
الخوارزميات تبدو محايدة بطبعها، هل تلاحظ ذلك؟ كل ما تفعله هو تكرار دورات التغذية الراجعة مع الزمن للوصول إلى نتيجة تناسب تعريف النجاح، لكن المشكلة هي أنها تُضخِّم من التحيُّزات الموجودة بالفعل، في نطاق العمل على سبيل المثال، تواجه النساء مشكلات كبيرة في وظائف بعينها بسبب التنمر والتنميط، حينما تطلب من خوارزمية ما أن تُقيِّم صفات الناجحين في تلك الوظيفة فإنها ستُنحِّي المتقدمين من النساء تلقائيا لأنها لا ترى تحيُّزاتنا البشرية، بل ترى البيانات فقط.
أضف إلى ذلك مشكلة أخرى كبيرة وهي تهديد الصورة النمطية(6) (Stereotype threat)، ويُعرَّف بأنه ميل مجموعة بعينها من البشر إلى تأكيد فكرة المجتمع عنها، فمثلا كون المجتمع ينظر للفتاة على أنها ليست مؤهلة لدراسة الرياضيات أو العلوم يدفع بها إلى التوتر والخوف في أثناء محاولتها لدراسة تلك الموضوعات، فتفقد الثقة في ذاتها وتفشل فعلا مؤكِّدة لصورة المجتمع عنها، رغم أن ذلك بالأساس لم يكن لمشكلة لها علاقة بقدراتها.
بالتالي فإن عليًّا، وهو مهاجر مصري مسلم إلى دولة غريبة، حينما يتقدَّم إلى العمل في مؤسسة علمية ما ويخضع للاختبار الأوّلي، قد يتعرَّض لمشكلة شبيهة فقط لأنه مصري أو لأنه مسلم، فالخوارزمية -إذا لم يُتَدخَّل لتعديلها- يمكن أن تضع ثقلا أكبر لتلك البيانات، ببساطة لأن تعريفها للنجاح يضع في حسبانه أن هناك ثلاثة مسلمين قد فشلوا في أداء هذه الوظيفة من قبل، ما يُقلِّل من احتمالات قبولك في الوظيفة، لكن الواقع هو أن النجاح في الوظيفة لم يرتبط بجنس أو جنسية أو دين (لا توجد بيانات على حدوث مثل هذا النوع من التحيُّز، لكن المثال هنا افتراضي للتوضيح فقط).
لكن المشكلة الأكبر هي وجهة نظر البشر لما تعنيه اصطلاحات كـ “الذكاء الاصطناعي” أو “الخوارزميات” أو “التعلُّم العميق” أو “شبكة عصبونية اصطناعية”، فهم يتصوَّرون أنها محايدة وصادقة وتعتمد على العلم، وبالتالي فإن التحيُّز أو العنصرية ضد الآخرين يتخذ نوعا جديدا تماما من التأكيد لم نكن نحن البشر، في مجتمعاتنا المعاصرة، مستعدين له.
دعنا نتأمل “غوغل” لنفهم تلك الفكرة فهما أعمق، حينما أسألك عن سبب استخدامك له فعادة ما ستُجيب بأنه سهل أو أنك لا تعرف غيره أو أنه “دقيق”، تلك الملاحظة الأخيرة مهمة، لأن الناس بالفعل تعتقد أن نتائج بحث غوغل محايدة في المطلق، ويمكن من خلالها أن تحصل على وصف دقيق لظاهرة ما، ابحث مثلا عن “ماء” أو “بركان” أو “الاضطراب ثنائي القطب”، عادة ما ستلتقي ببيانات دقيقة وعلمية عن الأمر، لكن ماذا لو قرَّرت البحث(7) في الصور عن “Latin Girl” أو “Asian Girl” أو قرَّر مواطن أميركي أن يبحث عن “Black Girl”؟
هنا ستكون النتائج أكثر ميلا ناحية المحتوى الإباحي مقارنة بالبحث عن “American Girl” على سبيل المثال، هل يعني ذلك أن الفتيات اللاتينيات مثلا سيئات السمعة؟ بالطبع لا، كذلك فإن الخوارزمية لم تقصد ذلك، لكنها فقط عملت -عبر حلقات التغذية الراجعة- على توقُّع رغباتك من البحث عن الصور ومحاولة التوافق معها، لكنه بالنسبة لشخص معتاد على البحث عن الصور قد تعطيه تلك النتائج إيحاء بأن البنات من أميركا اللاتينية، عموما، سيئات السمعة، الأمر الذي بدوره قد يُكرِّس للعنصرية.
حسنا، تسأل الخوارزمية “ما النجاح؟”، وتعمل من خلال الإجابة على إخراج أفضل نتيجة ممكنة، لكنها لا تسأل: ما العدل؟ ما الخصوصية؟ مَن يستحق الدعم أكثر من الآخر؟ ما الشيء الأخلاقي؟ ما الحقيقة؟ ما الشفافية؟
طالما كانت هذه الأسئلة الأخيرة -على مدى قرون- محل جدل فلسفي واجتماعي خرجت منه إجابات عدة، ونشأت مدارس فكرية كبيرة تؤيد إجابة منها على حساب الأخرى، والآن في عصر البيانات الضخمة نعيد النظر إلى تلك الإجابات بصورة حرجة للغاية، لأن تأثيرها يمتد إلى ما هو أعمق من مجرد حساب على فيسبوك أو تويتر أو خوارزمية لاختيار الموظفين في إحدى الشركات، يمتد ليُشكِّل مجتمعنا البشري كاملا.
قال لوشيانو فلوريدي، فيلسوف المعلومات البارز من أوكسفورد ذات مرة(8): “هؤلاء الذين يعيشون بالأرقام، يموتون بالأرقام”، في إشارة إلى أن البيانات الضخمة وخوارزمياتها ليست مجرد شيء في حياتنا، بل هي حالة نعيش داخلها ولا يمكن الهرب من تأثيرها مهما حدث، إنها أقرب ما يكون للماء بالنسبة للسمك، والمشكلة الأكبر هي أننا لا نعرف عنها شيئا، نستخدم التطبيق على الهاتف الذكي أو نستخدم حسابنا في فيسبوك أو نستخدم خوارزمية تصنيف المعلمين لـ “أفضل” و”أسوأ” توفيرا للوقت والجهد دون أن نعرف كيف تعمل، ومع الجهل يمكن للتحيُّز أن يجد طريقه بكل سهولة.
حاليا، يعمل فريق كبير من الخبراء في مجالات البيانات الضخمة على محاولات عدة لتطوير آليات بناء الخوارزميات لتتفادى التحيُّز، هذا بالفعل ممكن مع بذل قدر مناسب من الوقت والجهد في سبيله، أو على الأقل مع الوعي المبدئي بوجود مشكلات من هذا النوع في خوارزميات عادة ما تتصف بأنها “موضوعية” و”حيادية”، فلا نُسلِّم أمرنا بالكامل لها.
__________________________________________________
المصادر
- Weapons of Math Destruction – Cathy O’Neil
- Positive and Negative Feedback Loops in Biology
- Predictive policing algorithms are racist. They need to be dismantled.
- Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification
- Dissecting racial bias in an algorithm used to manage the health of populations
- Stereotype Threat Widens Achievement Gap
- Algorithms of Oppression: Safiya Umoja Noble
- الثورة الرابعة: كيف يعيد الغلاف المعلوماتي تشكيل الواقع الإنساني؟، العدد: 452، تأليف: لوتشيانو فلوريدي، ترجمة: لؤي عبد المجيد السيد.
(المصدر: ميدان الجزيرة)