عندما تحكم الخوارزميات قد تذوي القيم

dropcap]يستمر[/dropcap] الاهتمام بالإمكانيات التي توفرها الخوارزميات Algorithms والبيانات الكبيرة Big data في الازدهار، إذ يستفيد أول من يتبنى استخدام أنظمة الذكاء الاصطناعي AI التي تؤتمت القرارات المتنوعة مثل: تقديم توصيات العملاء، وتمحيص المتقدمين للوظائف، واكتشاف الاحتيال، وتحسين مسارات الخدمات اللوجستية.¹T.H. Davenport and R. Bean, “Becoming an ‘AI Powerhouse’ Means Going All In,” MIT Sloan Management Review, June 15, 2022, https://sloanreview.mit.edu. لكن عندما تفشل تطبيقات الذكاء الاصطناعي، فإنها تفشل فشلاً ذريعاً.²C. O’Neil, “Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy” (New York: Crown Publishers, 2016).

تأملوا المثال الأخير لفضيحة ”روبودت“ Robodebt الأسترالية.³“Accountability and Justice: Why We Need a Royal Commission Into Robodebt,” PDF file (Canberra, Australia: Senate Community Affairs Reference Committee, May 2022), https://parlinfo.aph.gov.au. في العام 2015، أنشأت الحكومة الأسترالية برنامج الامتثال للدخل الخاص بها Income Compliance Program، بهدف استرداد مزايا البطالة والعجز التي منحت لمستفيدين لا يستحقونها. وانطلق البرنامج لتحديد المدفوعات الزائدة عن طريق تحليل التناقضات بين الدخل السنوي الذي أبلغ عنه الأفراد والدخل الذي ثبت تقييمه من قِبل مكتب الضرائب الأسترالي Australian Tax Office. في السابق استخدمت الإدارة تقنية مطابقة البيانات لتحديد التناقضات، وحقق الموظفون الحكوميون فيها لاحقاً لتحديد ما إذا كان الأفراد قد حصلوا بالفعل على مزايا لا يستحقونها. وبهدف توسيع نطاق هذه العملية لزيادة التسديد وخفض التكاليف، طورت الحكومة نظاماً مؤتمتاً جديداً افترض Presumed أن كل تباين يعكس دفعة زائدة. وأصدر في كل حالة منها خطابَ إشعار بالتسديد، ووقع عبء الإثبات على كل من يرغب في الاستئناف. وإذا لم يرُد شخص ما على الخطاب، تُحوَّل حالته تلقائياً إلى محصل ديون خارجي. وبحلول العام 2019، قُدر أن البرنامج حدد أكثر من 734,000 دفعة زائدة تبلغ قيمتها الإجمالية بليون دولار أسترالي (1.3 بليون دولار أمريكي).⁴“Centrelink’s Compliance Program: Second Interim Report,” PDF file (Canberra, Australia: Senate Community Affairs Reference Committee, September 2020), chap. 1, https://parlinfo.aph.gov.au.

جرى تصميم النظام الجديد لتحسين الكفاءة، لكن من دون الانتباه لتفاصيل الحالات الفردية. وتلخصت الفكرة في أنه من خلال القضاء على الحكم البشري، الذي يتشكل بفعل التحيزات والقيم الشخصية، سيتخذ البرنامج المؤتمت قرارات أفضل وأكثر إنصافاً وعقلانية بتكلفة أقل بكثير. ومع الأسف أدت اختيارات مصممي النظام في كل من كيفية تصميم الخوارزمية وكيفية عمل العملية إلى مطالبة الحكومة مئات الآلاف من الأشخاص الذين كانوا مستحقين للمزايا التي حصلوا عليها بالتسديد. وأُجبر البعض على إثبات أنهم لم يطالبوا بطريقة غير مشروعة بالمزايا منذ سبع سنوات مضت. وكانت العواقب وخيمة على عديد من الأفراد.

أشارت المراجعات البرلمانية اللاحقة إلى ”الافتقار الأساسي للإنصاف الإجرائي“ ووصفت البرنامج بأنه ”يؤدي إلى إضعاف قدرة الأشخاص المتضررين بنحو لا يُصدق، مما سبب صدمة عاطفية كبيرة وتوتراً وشعوراً بالخزي“.⁵“Centrelink’s Compliance Program,” chap. 2. وتلقت اللجنة البرلمانية أدلة على حدوث عمليتي انتحار على الأقل فيما يتعلق بالبرنامج، وكانت هناك تقارير عديدة عن مرور الأفراد بصعوبات مالية جمة.⁶Ibid. وفي العام 2020، ألغى وزير الخدمات الحكومية في البلاد البرنامج وأعلن استرداد 470,000 دين صادرة عن طريق الخطأ – بإجمالي 721 مليون دولار أسترالي – بالكامل.

في هذه المقالة سنشرح التحيزات غير المدروسة والضمنية والمنهجية التي يمكن أن تسبب إخفاقات كارثية كهذه، وما يمكن للمديرين فعله للتخفيف من خطر أن تسبب الأنظمة الخوارزمية ضرراً مؤسسياً أو اجتماعياً. من الأهمية بمكان للمديرين أن يفهموا أن حل هذه الإخفاقات التكنولوجية ليس عبر تكنولوجيا أفضل أو أكثر، بل عبر فهمٍ أفضل للخيارات الضمنية التي نتخذها – ولاسيما ماهية القيم التي يعطيها الحل الأولوية – عندما نستخدم التكنولوجيا لحل مشكلة ما في المقام الأول. بناءً على كتاب الفيلسوف الفرنسي جاك إيلول Jacques Ellul المجتمع التكنولوجي The Technological Society الصادر في العام 1954، يسعى بحثنا الخاص إلى تفكيك الآلية العاملة، كما هو مفصل أدناه.⁷D. Lindebaum, C. Moser, M. Ashraf, et al., “Reading ‘The Technological Society’ to Understand the Mechanization of Values and Its Ontological Consequences,” Academy of Management Review, July 2022, https://journals.aom.org.

طغيان التقنية
يجادل إيلول في كتابه بأن السمة المركزية للمؤسسات الحديثة هي استخدام التقنية Technique، التي جرى تحديها في هذه الحالة باعتبارها السعي العقلاني إلى أي وسيلة أو ممارسات موحدة لتحقيق النتائج المرجوة. ومن ثم فإن التقنية مدمجة في التكنولوجيا، وهي تؤدي دوراً عندما تفكر المؤسسات، مثلاً، في طرق لتعزيز عوائد معمل للتصنيع إلى حدها الأقصى، أو تطبيق خوارزميات توصية لزيادة بيع الخدمات والمنتجات – أو عندما تسعى الحكومات إلى إدارة المزايا الاجتماعية من خلال البرامج الخوارزمية. عندما نطبق التقنية، نتفق ضمنياً على وجوب قياس كل شيء وتحديد كميته وتوحيد معاييره وترشيده بحيث يكون جاهزاً للحوسبة Computation. التقنية، إذن، هي أيضاً طريقة لتخيل كيف يجب أن يبدو العالم بشكل مثالي.

بناءً على تفكير إيلول، نقترح أن هذا يستحث عملية نصفها بـ مكننة القيم Mechanization of values. تعزز التقنيةُ العقلانيةَ كطريقة مفضلة للسلوك، وتعطي الأولوية للكفاءة باعتبارها النتيجة المفضلة. وهذا بدوره يقوي تأثير التقنية في حياتنا؛ تركز عديد من أعمالنا على الحل العقلاني للمشكلات بغرض تحقيق قدر أكبر من الكفاءة في العمل. ولا تتناسب الصداقة والتماسك الاجتماعي والعدالة والرحمة والسعادة (على سبيل المثال لا الحصر بعض الظواهر الإنسانية العميقة) مع هذا النموذج: إذ لا يمكن رصد جوهرها النوعي بالكامل من خلال التقنية.⁸O’Neil, “Weapons of Math Destruction.”

وبدلاً من ذلك، ”تحشر“ التقنية بلا رحمة كل شيء في ضوابط قابلة للقياس الكمي. انظروا في مثال الصداقة: على وسائل التواصل الاجتماعي، التي تطبق أسلوباً لإدارة العلاقات الإنسانية، الصديق هو الشخص الذي تتواصلون معه. تقاس شدة الصداقة بأفعال قابلة للقياس مثل ”الإعجابات“ Likes أو ”المتابعات“ Follows. ومع ذلك، يجرد هذا النهج ظاهرة إنسانية معقدة من ثرائها. نفقد الفوارق الدقيقة في القيم والديناميكيات المختلفة، مثل الأنواع المختلفة من الأصدقاء (المقربين، ورفاق النادي الرياضي، والزملاء الودودين، والشركاء الرومانسيين المحتملين) ومراحل مختلفة من الصداقة. أصبحت ”قيمة“ الصداقة الآن مسطحة إلى ما يمكن قياسه كمياً أو آلياً، مثل عدد الإعجابات على صورة، أو تمنيات أعياد الميلاد التي يطلبها تنبيه تلقائي. نفقد المعنى المشترك للصور، وصدق تمنيات أعياد الميلاد، وعديداً من أغنى جوانب كيف يمكن أن يكون عليه الشعور Feel بالصداقة.

بعبارة أخرى، عندما نطبق تقنية على عملية ما، ولاسيما في شكل أنظمة اتخاذ القرارات المؤتمتة، نحصر ضمنياً النظر في النطاق الكامل للقيم الإنسانية في تلك العملية. وهذا له تداعيات عملية مهمة، لأن القيم تتعلق بالسلوكيات والأهداف المفضلة شخصياً واجتماعياً، وهي عادةً متعددة ومعقدة وأحياناً متناقضة.⁹M. Rokeach, “The Role of Values in Public Opinion Research,” Public Opinion Quarterly 32, no. 4 (winter 1968-1969): 550.

في الأغلب تعمل المؤسسات في واجهة ذات قيم متعددة. مثلاً، استند برنامج الامتثال الأسترالي إلى فرضية التقنية: قَمَعَ بالضرورة القيم الأخرى، مثل التعاطف مع المواطنين، والإنصاف، ومعاملة الناس باحترام، والتي كان من الممكن في الماضي استيعابها عندما يضطلع البشر بتقييم – واتخاذ – قرارات بشأن حالات فردية. لكن عندما تغرز التقنية أنيابها في عمليات سبق اختراقُها بقيم متعددة، ينتهي الأمر بهذه القيم المتعددة لتصبح خاضعة للقيم النهائية للعقلانية والكفاءة. كذلك دفعت أهداف نموذج روبودت العقلاني – بهدف توفير التكاليف الإدارية وتعزيز عمليات التسديد للحكومة – إلى خيار إخراج العاملين البشريين من العملية سعياً وراء كفاءة أكبر.

باختصار، كلما طبقنا تقنية لحل مشكلة ما، نخاطر بتوليد أثر جانبي مدمر عن غير قصد: تتغلب العقلانية كسلوك مفضل والكفاءة كهدف مفضل على القيم الأخرى كلها، وتصبح قيماً نهائية في حد ذاتها. من الواضح أن هذا يمثل مشكلة، ويمكن أن يصبح خطيراً عندما لا يعود البشر قادرين على تجاوز الأنظمة المؤتمتة وعواقب قراراتها.

بناء ضمانات تحمي اتخاذ القرارات باستخدام الخوارزميات
كيف يمكن للمديرين والمؤسسات الذين يحتاجون أو يرغبون في الاستفادة من هذه التكنولوجيات حمايةُ القيم المتعددة في قراراتهم وروتينهم لتجنب استبداد التكنولوجيا؟ نقترح أن الالتزام بثلاثة مبادئ يمكن أن يساعد:

1. احذروا من الوكلاء Proxies وتأثيرات الأحجام الكبيرة Scalling.

2. أدخلوا التدخلات البشرية استراتيجياً في عملية اتخاذ القرارات باستخدام الخوارزميات.

3. أنشئوا أنظمة تقييمية تأخذ في الاعتبار القيم المتعددة.

سننظر من كثب في كل من هذه المبادئ أدناه.

أدركوا مشكلة الوكلاء Recognize the problem with proxies. عند بناء نماذج (نمذجات) خوارزمية Algorithmic models، في الأغلب يكون من الضروري تمثيل ظاهرة باستخدام وكيل. مثلاً، في حالة روبودت، استخدم البرنامج ”متوسط الدخل“ Average income كوكيل للدخل الحقيقي. كان متوسط الدخل اختياراً مناسباً: كان من السهل احتسابه، وبدا ظاهرياً أنه وكيل معقول. ومع ذلك وجدت المراجعات اللاحقة أنه يعاني عديداً من نقاط الضعف. مثلاً جرى احتساب متوسط الدخل على أساس سنوي، لكن الأجور الفعلية التي يتلقاها الأفراد تحدث خلال فترات الدفع. لا يعكس وكيل متوسط الدخل – عند توزيعه على فترة عام – ما يسمى بالتوظيف المتكتل Lumpy employment حيث يتنقل الناس بنحو غير متسق داخل العمل وخارجه، ويحصلون على مزايا خلال فترات البطالة. باستخدام مقياس الدخل المتوسط، يبدو أن الدخل قد جرى اكتسابه عندما كان الأفراد عاطلين عن العمل بالفعل. إضافة إلى ذلك، لم ينتج عن احتساب متوسط الدخل في الواقع دليل قانوني على الدين. لقد أغرت التقنية وسعيها إلى توليد تدابير عقلانية لتمثيل الواقع موظفي الخدمة المدنية المسؤولين بالمضي قُدماً في إجراء خاطئ وافتراض الديون، من دون دليل قانوني.

من خلال هذا المثال يمكننا أن نرى كيف يمكن للوكالة أن تختزل بسهولة ظاهرة ما إلى بُعد واحد قابل للقياس يُفترض أنه ثابت عندما يكون في الواقع متغيراً. ويمكن أن يتضمن استخدام الوكلاء أيضاً معالجة الظواهر المتميزة من الناحية المفاهيمية كأدوات توقع مُكافِئة Equivalent predictors (مثل التصنيف الائتماني الضعيف كأداة لتوقع الأداء الوظيفي الضعيف). المسافة أو عدم التوافق بين الأصل المفاهيمي الخاص بظاهرة (مثل الأداء الوظيفي) وقياسها الفعلي (عن طريق التصنيفات الائتمانية) يعني التباعد بين ما نعتقد أننا نقيسه وما يجري قياسه.

ثانياً، يجب أن نكون على دراية بمخاطر تأثيرات توسيع النطاق إلى الأحجام الكبيرة. في حين أن توسيع نطاق استخدام خوارزمية معينة هو أمر فعّال، فإن كبح جماح الخوارزمية يصبح أقرب إلى الاستحالة بمجرد استخدامها على نطاق واسع داخل قطاع ما. انظروا في أمثلة نظام تسجيل الائتمان الذي يصبح معياراً واقعياً تستخدمه كل شركة: إذا كانت الخوارزمية تميز بنحو فاعل ضد الأشخاص الذين لديهم سمات (ملفات تعريف) Profile معينة، فلا مفر من اختيارها الاضطلاع بأعمال مع شركة قد يكون لديها نظام تسجيل أكثر إنصافاً أو أكثر مرونة. وبالمثل يمكن لتصنيفات الجامعات التي جرى تعميمها والتسويق لها بواسطة التقرير الأمريكي للأنباء والعالم US News & World Report أن تدفع المؤسسات المعنية في اتجاه السعي إلى تحقيق الأهداف نفسها (أي تسجيل درجات عالية في الفئات ذات الصلة) للارتقاء في التصنيف وتجنب خفض التصنيف. وعادةً ما يكون لتأثيرات الأحجام الكبيرة هذه حلقات تغذية راجعة Feedback loops من ردود فعل ضارة، لذلك ستجد الجامعة ذات التصنيف الضعيف صعوبة متزايدة في جذب موظفين وطلبة ذوي جودة عالية، مما يؤدي بدوره إلى زيادة احتمال الحصول على ترتيب منخفض في المستقبل.¹⁰O’Neil, “Weapons of Math Destruction.” تجدر الإشارة إلى الحالات التي يجري فيها استخدام الوكلاء بالفعل بكثافة، إذ يمكن أن تؤدي تأثيرات الأحجام الكبيرة إلى تضخيم الاختلاف بين ما نعتقد أننا نقيسه وما يجري قياسه بالفعل. يجب فهم المشكلات المحتملة في استخدام الوكلاء بنحو صحيح للحد من مخاطر سوء المواصفات في النموذج، لكن من الصعب جداً – إن لم يكن من المستحيل – التخفيف من آثار الأحجام الكبيرة بعد وقوعها.

أشركوا البشر في دائرة العمل Put humans in the loop. تشمل الإجراءات الوقائية الأخرى إدراج التدخلات البشرية بنحو استراتيجي في عملية اتخاذ القرارات باستخدام الخوارزميات. مثلاً في العملية الأصلية التي كانت موجودة قبل تنفيذ برنامج الامتثال للدخل لنظام روبودت، استخدم مسؤولو الضرائب متوسط الدخل لتحديد التناقضات، لكن بعد ذلك حقق البشر في أكثر من 20,000 حالة قصوى. يمكن للعاملين في الحكومة الموازنة بين القيم المتضاربة الناشئة عن رغبة الحكومة في استرداد المدفوعات الزائدة من المزايا بكفاءة مع المعاملة العادلة للمواطنين. راجع موظفو الخدمة المدنية البيانات يدوياً للتأكد من أن متوسط الدخل كان كبيراً، ثم حاولوا التحقق من صحة الإجراء عبر معلومات من مصادر أخرى قبل إخطار الأفراد بالديون المراد تسديدُها.

وأدى تطبيق التقنية في حالة روبودت إلى إزالة هذه التدخلات البشرية والسماح للتقنية ومكْنَنَة القيم من دون رادع. وتحول عبء الإثبات من المسؤول الضريبي الذي كان عليه تبرير التواصل مع متلقي المزايا الفردية، إلى الفرد الذي صار عليه دحض الاتهام المؤتمت. من دون حكم بشري في النقاط الرئيسة، لم تكن هناك طريقة لاستبعاد العواقب غير المتوقعة وغير المقصودة.

اختبِروا تواؤم النتائج مع القيم Test outcomes for alignment with values. بينما رأينا أن الحلول التكنولوجية تعطي الأولوية للعقلانية والكفاءة، يمكن للمؤسسات إنشاء عمليات لتقييم مخرجات هذه الأنظمة ونتائجها لمعرفة مدى جودة الدعم الذي تقدمه – أو سوئه – لقيم أخرى متعددة. في حالة روبودت، أعطى تصميم البرنامج الأولوية إلى توفير التكاليف وتعزيز عمليات التسديد، لكن إضافة عملية تقييم أكثر شمولاً ربما كان سيخفف من استبداد التكنولوجيا. ربما كشفت مراجعة النموذج وعينات عشوائية من مخرجاتها عن قراراتها السيئة؛ وبالمثل فإن التدقيق في عملية الشفافية والإنصاف والعدالة الإجرائية من شأنه أن يكشف عن أوجه قصور خطيرة. اعتمد النظام الذي لم يعد له وجود الآن على نهج واحد للجميع وسمح بوجود ثغرات واسعة بين الحالات الفردية والنماذج.

وكانت إحدى الطرق لتحقيق قدر أكبر من الإنصاف هي سدَّ تلك الثغرات. في الممارسة العملية كان هذا سيتطلب نموذجاً أكثر تعقيداً يراعي الظروف الشخصية المختلفة للأفراد مع ضمان عدم التمييز ضد فئات ديموغرافية أو اجتماعية اقتصادية معينة من الأفراد.

يتضمن هذا النهج التطوير والاختبار الدائبين للبرنامج قبل تطبيقه في الحياة الواقعية. في الأغلب يجري اختزال هذا الاختبار بغرض التأكد من أن البرنامج يعمل بسلاسة، ومن ثم نفشل في التحقّق من نتائجه لتحديد التحيزات التي يمكن أن تكون متضمنة فيه. لذلك يجب اختبار أي برنامج يعتمد على إجراءات خوارزمية في دورات متعددة تحاكي ظروف الحياة الواقعية التي سيجري تطبيق البرنامج فيها. مثلاً كان تشغيل برنامج تجريبي قبل التنفيذ الكامل للخوارزميات سيساعد على تحديد الوكلاء الضارين، والخطوات المبسطة بقدر مفرط التي يمكن أن تؤدي إلى اتهامات خاطئة. أما اضطلاع موظفي الخدمة المدنية بفحص نسبة مئوية من المطالبات المؤتمتة للتسديد على أساس منتظم فكان من شأنه أن يساعد على اكتشاف العيوب في نظام الحكومة الأسترالية ومدى عمليته. يمكن أن يعني اختبار البرامج قبل التطبيق أن بعض الأنظمة لا يجري تطبيقها أبداً لمجرد أن خطر الضرر سيكون أكبر من اللازم.

أخيراً، عند تطبيق عمليات مؤتمتة كهذه، يجب أن تكون هناك سياسات وإجراءات معمول بها تسمح للمتضررين بالتعبير عن مخاوفهم – وأن يسمعها البشر، وليس الآلات. وهذا من شأنه أن يسمح بتحديد العواقب غير المقصودة والإخفاقات المحتملة والتحيزات وتصحيحها من خلال التدخل البشري لضمان عملية أكثر أماناً وإنصافاً. من الواضح أن اختباراً وتكييفاً كهذين ينطويان على حساسية أكبر للإنصاف الإجرائي – وهي قيمة يجب أن يتمتع بها النظام – إلى جانب الرغبة في توفير الكفاءة – إذا كنا جادين في معالجة استبداد التكنولوجيا.

يؤكد تحليلنا على الحاجة إلى مزيد من الحساسية لكيفية تأثير التقنية ومكْنَنَة القيم بقدر كبير في تطبيق التكنولوجيا في المؤسسات والمجتمع. عندما تنشأ حالات من الخطأ التكنولوجي، يجب على المديرين كبح الرغبة في البحث عن مزيد من الحلول التكنولوجية، وأن يشككوا بدلاً من ذلك – وبنمط دوري – في القيم التي يأخذونها في الاعتبار في عمليات اتخاذ القرارات لديهم لضمان عدم إعطاء الأولوية إلى الكفاءة بنحو تلقائي. كذلك لوحظ الميل إلى استخدام الحل التكنولوجي في حالة روبودت – كما يتضح من ثلاث نسخ من الأداة، لم تُعالِج أي منها المشكلات الأساسية الخطيرة في النظام والعمليات بوجه عام.

هل كانت الضمانات التي اقترحناها، والتقدير المتجدد للقيم المختلفة التي تسترشد بها عملية اتخاذ القرارات البشري، ستمنع فضيحة روبودت؟ نعتقد أنها كانت ستفعل ذلك على الأرجح، لأن الاعتراف بالقيم المتعددة وتقديرها، بدلاً من قيم العقلانية والكفاءة فقط، كان سيعني تطبيقاً مختلفاً للقواعد والتنظيمات.

مع وضع ذلك في الاعتبار نأمل أن يتبنى المديرون الممارسون الاستعداد لتشكيك أكثر انتقاداً – وأعمق تأملاً – حول القيم التي يستخدمونها لاتخاذ القرارات الإدارية، مع تطوير حساسية أكبر فيما يتعلق بالعواقب المحتملة لاختياراتهم.

ديرك ليندباوم Dirk Lindebaum

أستاذ أول في التنظيم والإدارة في كلية غرينوبل للإدارة Grenoble Ecole de Management.

فيرن غلاسر Vern Glaser

أستاذ مشارك في ريادة الأعمال والمشروعات العائلية وأستاذ كرسي إريك غيدس للأعمال Eric Geddes Professor of Business في قسم الاستراتيجية وريادة الأعمال والإدارة Strategy, Entrepreneurship, and Management Department بجامعة ألبرتا University of Alberta.

كريستين موسر Christine Moser

أستاذة مشاركة في نظرية التنظيم في جامعة فريجي بأمستردام Vrije Universiteit Amsterdam.

مهرين أشرف Mehreen Ashraf

طالبة دكتوراه في كلية كارديف للأعمال Cardiff Business School.