המפקח האירופי על הגנת מידע (הגוף הממונה על הגנת מידע במוסדות האיחוד האירופי) פרסם דו"ח על אודות פיקוח אנושי על קבלת החלטות אוטומטית, כולל אלה המתקבלות על-ידי בינה מלאכותית. הדו"ח בוחן את ההנחות הנפוצות לגבי פיקוח אנושי ואת האמצעים הנדרשים כדי להפוך אותו ליעיל ומשמעותי.
מערכות החלטות אוטומטיות משפיעות על חיי הפרט בתחומים כמו בריאות, גיוס לעבודה, ואשראי. הן מציגות סיכונים של אי-בהירות על טעמי ההחלטה, הטיה ואפליה. מעורבות אנושית נתפסת כהכרחית לצורך הגנה מפני סיכונים אלה. עם זאת, הדו"ח מדגיש כי שילוב אדם בתהליך לא מבטיח שיפור בתוצאות ולא מוצדק שישמש להסרת אחריות משפטית.
הדו"ח מזהה סדרה של הנחות שגויות בקשר לטכנולוגיית בינה מלאכותית, לאינטראקציה האנושית איתה ולהתנהגות אנושית בכללה. הנחות אלה כוללות את הסברה שמערכות החלטות אוטומטיות יאצילו את השליטה לאדם במצבים חריגים, והסברה שבכוחם של המשתמשים במערכת לקבל החלטה שונה מהמלצת המערכת. סברה נוספת היא שאוטומציה לא משפיעה על שיקול הדעת האנושי (תופעה המכונה הטיית אוטומציה). עוד מסביר הדו"ח כי הסתמכות על פיקוח אנושי עלולה לשמש הצדקה לפריסת אלגוריתמים לקויים.
כדי לקדם פיקוח שהוא "משמעותי" (כלומר, משפר את איכות ההחלטות) וגם "יעיל" (כלומר, מונע נזק ומקדם הגינות), נדרשים צעדים ארגוניים וטכניים שהדו"ח מונה:
- צעדים ארגוניים משמעם סביבת עבודה יציבה והוגנת למפעילי שיקול הדעת האנושיים, הקצאת זמן מספיק לבדיקה, והבטחה שהפיקוח אינו מנוצל כקו הגנה לכשלים המערכת. חיוני להעניק הכשרה מספקת בנוגע ליכולות המערכת ולכשלים אפשריים.
- צעדים טכניים משמעם שיש לוודא שהחלטות המערכת ניתנות להסבר וכי ממשק המערכת מעוצב בצורה ברורה ואינטואיטיבית כדי לעודד חשיבה ביקורתית.
- כלים מעשיים כוללים יישום מהלכי ביקורת (Auditing) שימוש בעקרון הדגימה (Sampling) באופן אסטרטגי, ואימוץ גישה של "חוסר אמון ממוסד" (Institutionalized distrust) יחד עם משוב מאנשים המושפעים ישירות מהמערכת.
הדו"ח מסכם כי פיקוח אנושי הוא רק אמצעי משלים, וכי מערכות הפוגעות בזכויות יסוד צריכות להיפסל באופן מוחלט, במקום הסתמכות על תיקון בדיעבד על ידי בן-אדם.
