אחריות להטיה אלגוריתמית תחת החוק ההולנדי והאיחוד האירופי

אחריות להטיה אלגוריתמית היא האחריות המשפטית שארגון נושא כאשר מערכת אוטומטית מייצרת תוצאות מפלות. בהולנד, אחריות זו נשענת על שלושה יסודות שכבר חלים כיום: סעיף 6:162 לחוק האזרחי ההולנדי בדבר נזיקין, חקיקת שוויון היחס בפיקוח המכון ההולנדי לזכויות אדם, וכללי ה-GDPR בנושא הגינות וקבלת החלטות אוטומטיות. חוק הבינה המלאכותית של האיחוד האירופי מוסיף שכבה נוספת, שחלקה כבר בתוקף וחלקה ייכנס לתוקף בהמשך העשור הזה.

התוצאה המעשית היא פשוטה. חברה שמפעילה מסנן גיוס, מודל אשראי או ציון גילוי הונאות אחראית על מה שהמערכת עושה, בין אם היא בנתה את המודל בעצמה ובין אם לאו, ובין אם מישהו התכוון לתוצאה. בחוק האפליה ההולנדי, ההשפעה של החלטה חשובה, ולא המניע שמאחוריה.

מה מכסה בפועל אחריות הטיה אלגוריתמית

הטיה אלגוריתמית מתעוררת כאשר מערכת אוטומטית מתייחסת לאנשים דומים בצורה שונה מטעמים שהחוק מגן עליהם, או מטעמים המשמשים כתחליף להם. היא כמעט ולא מכריזה על עצמה. מודל שאומן על עשור של החלטות של החברה עצמה ישחזר כל דפוס שההחלטות הללו הכילו, והוא יעשה זאת באופן עקבי, במהירות, בכל קובץ בו הוא נוגע. עקביות זו היא מה שהופכת פגם טכני לחשיפה משפטית: החלטה אנושית מוטה אחת היא אירוע, בעוד שמודל מוטה הוא מדיניות.

אחריות נובעת משלושה מקורות נפרדים, והם יכולים להיות מופעלים בו זמנית על ידי אותה החלטה. אחריות אזרחית מפצה את האדם שסבל נזק. חוק שוויון היחס מעניק לאדם זה דרך לפנות למכון ההולנדי לזכויות אדם (College voor de Rechten van de Mens) או לבית משפט אזרחי, כאשר נטל ההוכחה עובר לכיוון הארגון לאחר שנוצרת חזקה של אפליה. חוק הגנת המידע מעניק לרשות להגנת המידע ההולנדית (Autoriteit Persoonsgegevens) סמכויות אכיפה שאינן תלויות כלל בהגשת תביעה של אף אדם.

שום דבר מזה לא דורש חוק ייעודי בנושא בינה מלאכותית. הכללים שמכריעים במקרים אלה נכתבו לפני שהטכנולוגיה הייתה קיימת וחלים עליה ללא שינוי.

היכן שהטיה נכנסת למערכת אוטומטית

הטיה אינה כשל בודד שניתן לבחון אותו פעם אחת. היא מופיעה בנקודות ניתנות לזיהוי במחזור החיים, וכל נקודה מתבטאת בטענה שונה של רשלנות.

• נתוני האימון. החלטות היסטוריות נושאות דפוסים היסטוריים. מודל שאומן עליהן לומד דפוסים אלה כסטנדרט ולא כבעיה שיש לתקן.
• בחירת המשתנים. מאפיין שנראה ניטרלי יכול להיות קשור קשר הדוק למאפיין מוגן. מיקוד המחליף אתניות הוא דוגמה לספר הלימוד, והוא יוצר אפליה עקיפה גם כאשר המאפיין המוגן עצמו מעולם לא תועד.
• אופן השימוש בפלט. מודל שביצועיו אינם אחידים בין קבוצות יכול להיות בר הגנה ככלי מחקר ובלתי בר הגנה כעילה היחידה לדחיית בקשה. אותו ציון, בשימוש שונה, מייצר תוצאה משפטית שונה.
• היעדר הפיקוח. מערכת שהייתה מאוזנת בעת ההשקה נסחפת ככל שהנתונים סביבה משתנים. אי-התבוננות היא כשלעצמה מעשה רשלני בתביעות רבות.

ההבחנה החשובה מבחינה משפטית היא בין אפליה ישירה, שבה נעשה שימוש בגלוי בעילה מוגנת, לבין אפליה עקיפה, שבה קריטריון ניטרלי פוגע בקבוצה מוגנת. ניתן להצדיק אפליה עקיפה אם המטרה לגיטימית והאמצעים מתאימים והכרחיים, אך יש להוכיח הצדקה זו, וארגון שאינו יכול להסביר מדוע המודל שלו משתמש במשתנה נתון לא יגיע לשם.

הקרן ההולנדית: דיני נזיקין וחוק שוויון יחס

שני גופי משפט הולנדי עוסקים בעיקר בתביעת הטיה, והם עונים על שאלות שונות. דיני נזיקין שואלים האם הארגון פעל ברשלנות ומה שווה ההפסד. דיני שוויון שואלים האם התוצאה הייתה מפלה, ועושים זאת תוך נטל הוכחה שמכוון ידידותי לתובע.

פריסה רשלנית כמעשה בלתי חוקי

סעיף 6:162 לחוק האזרחי ההולנדי מטיל על אדם אחריות על מעשה בלתי חוקי (onrechtmatige daad) שניתן לייחס לו וגורם נזק. פריסת מערכת אוטומטית שהארגון לא בדק, אימת או ניטר יכולה להיחשב התנהגות בלתי חוקית בפני עצמה, מלבד התוצאה המפלה. על התובע להראות את המעשה, את הייחוס, את הנזק ואת הקשר הסיבתי ביניהם; הסטנדרט המיושם הוא מה שארגון זהיר באותו מצב היה צריך לעשות.

כאשר המערכת הגיעה מספק, הארגון המבצע את הפריסה אינו פטור מחובה זו. ייתכן שיש לו תביעה חוזית נגד הספק לפי סעיף 6:74 לחוק האזרחי בגין ביצועים פגומים, אך זוהי תביעה נפרדת בין שני צדדים מסחריים. היא אינה עונה על תביעת המבקש שנדחה.

חוק שוויון היחס ונטל ההוכחה המשתנה

ה-Algemene wet gelijk behandeling וחוקי הענף הנלווים אליו, כולל חוק אפליית גיל (WGBL) וחוק הנכות ומחלות כרוניות (WGBH/CZ), אוסרים על הבחנה ישירה ועקיפה על רקע מוגן. בתעסוקה, סעיף 7:646 לחוק האזרחי מוסיף את הוראות המגדר.

הכלל הפרוצדורלי הוא זה שמכריע ברוב המקרים. ברגע שהתובע מציג עובדות המעלות חזקה של אפליה, הנטל עובר: על הארגון להוכיח שלא הפר את האיסור. ארגון שאינו יכול להראות מה היה משקלו של המודל שלו, על אילו נתונים, ובאיזה בדיקות, אין לו דרך לעמוד בנטל זה. זוהי הנקודה שבה תיעוד לקוי מפסיק להיות בעיית ניהול פנימית והופך לסיבה לאובדן התביעה.

ניתן להגיש תלונות גם בפני המכון ההולנדי לזכויות אדם, שחוות דעתו אינן מחייבות אך זוכות למילוי נרחב ומשמשות לעתים קרובות כראיות בהליכים אזרחיים עוקבים.

מה ה-GDPR דורש מהחלטות אוטומטיות

ה-GDPR מסדיר את אותן מערכות מבחינת הגנת המידע. סעיף 22 מעניק לאדם את הזכות לא להיות כפוף להחלטה המבוססת אך ורק על עיבוד אוטומטי, כולל יצירת פרופילים, כאשר להחלטה זו יש השלכות משפטיות או משפיעה עליו באופן דומה באופן משמעותי. החלטות גיוס, אשראי והטבות נכללות בדרך כלל בתיאור זה.

המילה הנושאת את המשקל היא אך ורק . מעורבות אנושית מקבלת החלטה מחוץ לסעיף 22 רק אם היא משמעותית: אדם בעל הסמכות והמידע להגיע למסקנה אחרת, לא מפעיל שמאשר את כל מה שמוצג על המסך. החתמת גומי נחשבת לקבלת החלטות אוטומטית.

שתי התחייבויות נוספות חלות ללא קשר לסעיף 22. עקרון ההגינות בסעיף 5(1)(א) הוא דרישה עצמאית שמודל מפלה מפר מעצם הגדרתו, וסעיף 35 דורש הערכת השפעה על הגנת המידע לפני עיבוד שעלול לגרום לסיכון גבוה לאנשים, דבר שבדרך כלל מהווה יצירת פרופיל שיטתית של מועמדים או לקוחות. הקנס המרבי על הפרות של הוראות אלה נקבע בסעיף 83(5) של ה-GDPR כגבוה מבין עשרים מיליון אירו או ארבעה אחוזים מהמחזור השנתי העולמי.

הסקירה שלנו בנושא פרטיות נתונים, ה-GDPR, בינה מלאכותית וביג דאטה מפרטת ביתר פירוט כיצד חובות אלו מתקשרות עם שימוש בנתונים בקנה מידה גדול.

מה חוק הבינה המלאכותית כבר דורש ומה מתחיל בהמשך

תקנה (EU) 2024/1689, חוק הבינה המלאכותית, אינה עוד הצעה. היא נכנסה לתוקף ב-1 באוגוסט 2024 וחלה בשלבים. מאז ה-2 בפברואר 2025 חלים האיסורים בסעיף 5, יחד עם החובה בסעיף 4 להבטיח שלצוות העובד עם מערכות בינה מלאכותית תהיה רמת אוריינות בינה מלאכותית נאותה. החובות למודלים כלליים של בינה מלאכותית חלות מאז ה-2 באוגוסט 2025, וכך גם הוראות הממשל והענישה.

משטר הסיכון הגבוה הוא החלק הנוגע באופן הישיר ביותר להטיה, והוא גם החלק שנדחה. מערכות בינה מלאכותית המפורטות בנספח III, הכוללות מערכות המשמשות לגיוס ובחירה, להחלטות על קידום ופיטורים, להערכת אשראי ולהערכת סיכונים בביטוח, כפופות כעת לחובות הסיכון הגבוה החל מ-2 בדצמבר 2027. מערכות בסיכון גבוה שהן רכיבי בטיחות של מוצרים מוסדרים תחת נספח I יבואו לאחר מכן ב-2 באוגוסט 2028.

כאשר חובות אלו נוגעות, הן מקודדות רבות ממה שכבר כרוך בפועל זהיר: ניהול נתונים המכוון למערכי נתונים מייצגים ובודקים שגיאות, תיעוד טכני, רישום אוטומטי, שקיפות כלפי האנשים המושפעים, פיקוח אנושי המותאם למערכת ולא מובנה, והערכת תאימות לפני שהמערכת מוכנסת לשוק או מוכנסת לשירות. למפעילים, ולא רק לספקים, יש חובות משלהם, כולל ניהול יומני רישום והקצאת פיקוח לאנשים מוסמכים.

שתי נקודות מוצגות באופן קבוע בצורה שגויה. תקרות הקנסות הן מדורגות ולא אחידות: עד שלושים וחמישה מיליון יורו או שבעה אחוזים מהמחזור העולמי חלים על הפרת הפרקטיקות האסורות בסעיף 5, בעוד שאי עמידה בהתחייבויות הסיכון הגבוה נושאת תקרה נמוכה יותר של חמישה עשר מיליון יורו או שלושה אחוזים. והנחיית האחריות המוצעת בנוגע לבינה מלאכותית, שהייתה מקלה על נטל ההוכחה עבור אנשים שנפגעו ממערכות בינה מלאכותית ברחבי האיחוד האירופי, בוטלה. אין משטר אחריות אירופאי הרמוני לנזקי בינה מלאכותית; תביעה בהולנד היא תביעה לפי החוק ההולנדי.

האכיפה הלאומית עדיין נמצאת בתהליך בנייה. הולנד טרם השלימה את חוק היישום שממנה את רשויות פיקוח השוק שלה במסגרת התקנה, למרות שרשות הגנת המידע ההולנדית והרשות ההולנדית לתשתיות דיגיטליות לקחו תפקידי תיאום בעבודת ההכנה. אנו דנים במסגרת ביתר פירוט במדריך שלנו לצד המשפטי של בינה מלאכותית וחוק הבינה המלאכותית של האיחוד האירופי.

כיצד שלושת המסגרות משתוות

המסגרות חופפות ולא מתחרות. בקשה אחת שנדחתה יכולה להוביל לתביעה אזרחית, תלונה למכון, חקירה רגולטורית, ובהמשך, אי ציות לחוק הבינה המלאכותית, על סמך אותה מערכת עובדות.

מה שהמקרים ההולנדים קבעו

שתי פרשות מעצבות את האופן שבו בתי המשפט והרגולטורים ההולנדיים ניגשים להחלטות אוטומטיות, ושניהם עוסקים באותו כישלון: מערכת אטומה המיושמת על אנשים שלא יכלו להבין כיצד היא פועלת.

בפברואר 2020 בית המשפט המחוזי של האג עצר את SyRI, מערכת אינדיקציה לסיכונים שבאמצעותה גופים ציבוריים משלבים נתונים ממגוון מקורות כדי לאתר הונאות קצבאות ומס. בית המשפט קבע כי החקיקה העומדת בבסיס המערכת נכשלה במבחן האיזון ההוגן לפי סעיף 8 לאמנה האירופית לזכויות אדם. מה שהיה קטלני לא היה השימוש בניתוח נתונים כשלעצמו, אלא היעדר השקיפות והיכולת לאמת: לא מודל הסיכון ולא האינדיקטורים נחשפו, כך שלא האזרח שנפגע ולא בית המשפט יכלו לבדוק את האפקט המפלה. הלקח לארגונים פרטיים הוא שמערכת שאף אחד לא יכול להסביר אינה ניתנת להגנה, משום שהגורם המפעיל אותה נושא בנטל הצדקתה.

שערוריית קצבאות הטיפול בילדים (toeslagenaffaire) העלתה את אותה נקודה באמצעות השלכותיה. מינהל המס השתמש בבחירת סיכונים אוטומטית שהתייחסה לאינדיקטורים כמו אזרחות כפולה כאות להונאה, ועשרות אלפי הורים תויגו בטעות ונדרשו להחזר. רשות הגנת המידע ההולנדית מצאה את עיבוד הנתונים הבסיסי כבלתי חוקי ומפלה והטילה צעדי אכיפה. היא גם אישרה את העיקרון החשוב ביותר כאן: הטענה שהמערכת יצרה את התוצאה אינה נושאת משקל, משום שהבחירה להפעיל את המערכת היא עצמה הפעולה הנבחנת.

כאשר אחריות נובעת משימוש עסקי רגיל

רוב החשיפות לעולם לא מגיעות לפסיקה פורצת דרך. הן מתעוררות בהחלטות מבצעיות מוכרות.

מסנן גיוס שאומן על היסטוריית הגיוס של הארגון עצמו ילמד כל העדפה שההיסטוריה הכילה ויחיל אותה על כל מועמד עתידי. מכיוון שכלי גיוס ממוקמים ישירות בנספח III לחוק הבינה המלאכותית ונוגעים בסעיף 22 של ה-GDPR בו זמנית, הם מושכים את שלושת המסגרות בו זמנית. מודל אשראי או ביטוח המשתמש במיקוד, פער בהיסטוריית תעסוקה או מדד דומה עלול לייצר אפליה עקיפה גם כאשר מערך הנתונים אינו מכיל כלל מאפיין מוגן. מערכת ניהול כוח אדם שמקצה משמרות, מנטרת ביצועים או מזינה את ההחלטות בנוגע לפיטורים נופלת באותה קטגוריה, עם הסיבוך הנוסף שמועצת העובדים עשויה להיות בעלת זכות הסכמה במסגרת חוק מועצות העובדים לפני שמערכת כזו הונהגה.

בכל מקרה, השאלה ששואל בית משפט הולנדי זהה. מה ידע הארגון על התנהגות המערכת, מה עשה כדי לגלות זאת, ומה עשה כאשר הדפוס התגלה?

ספק ומפיץ: מי אחראי על מה

רכישת מערכת אינה מעבירה את הסיכון איתה. על פי חוק הבינה המלאכותית, לספק ולמפעיל יש חובות נפרדות, ועל פי החוק האזרחי ההולנדי, האדם שנפגע תובע את מי שקיבל את ההחלטה שהשפיעה עליו, שהוא כמעט תמיד ארגון הפריסה.

מה שחוזים יכולים לעשות הוא להקצות את ההשלכות הכספיות ולאבטח את המידע הדרוש להגנה מפני תביעה. הסכם רכש שכדאי להכיר בו מפרט את מדדי הביצועים וההגינות שהמערכת מתחייבת לעמוד בהם, מבטיח גישה לתיעוד, תוצאות בדיקות ויומני רישום, מעניק זכות ביקורת, מחייב את הספק להודיע ​​על שינויים מהותיים במודל, וקובע כיצד מחולקות עלויות האחריות וההגנה במקרה של תביעה. מה שחוזים אינם יכולים לעשות הוא להסיר קנס רגולטורי או חובה סטטוטורית. המאמר שלנו בנושא מי אחראי לשגיאות שנעשו על ידי בינה מלאכותית עובר על ההקצאה ביתר פירוט.

בקרת הסיכון לפני הגעת תביעה

עמדת ההגנה בטענה בגין הטיה נבנית הרבה לפני הגשת הטענה, והיא מורכבת כמעט כולה מרשומות. מכיוון שנטל ההוכחה משתנה לאחר שנקבעה חזקה של אפליה, הארגון שיכול להראות מה בדק, מתי ומה עשה עם התוצאה נמצא בעמדה שונה באופן מהותי מזה שאינו יכול לעשות זאת.

תוכנית מעשית כוללת ארבעה אלמנטים. בדיקה לפני הפריסה, השוואת שיעורי תוצאות בין הקבוצות שהחוק מגן עליהן ובחינת נתוני האימון והמשתנים שנבחרו עבור תהליכים משפטיים. המשך בדיקה לאחר הפריסה, כי מודל שהיה מאוזן בעת ​​ההשקה לא יישאר כך. תן לאדם או לוועדה אחת את הסמכות לסקור תוצאות ולהשעות מערכת, כך שההחלטה להמשיך להפעיל אותה תהיה החלטה שקיבל מישהו ולא ברירת מחדל שאף אחד לא היה אחראי עליה. ותעד את הכל, כולל מקורות הנתונים, האימות, ממצאי הביקורת וצעדי התיקון, בצורה שניתן למסור לרגולטור או להציגה בהליכים.

לצד זאת, יש לשמור על ההחלטה האנושית אנושית באמת, כאשר סעיף 22 חל, להשלים את הערכת ההשפעה של הגנת המידע לפני שהמערכת עולה לאוויר ולא לאחר מכן, לבדוק האם לוועד העובדים יש תפקיד, ולהיות מסוגלים להסביר לאדם המעורב בשפה פשוטה מדוע ההחלטה התקבלה כפי שהתקבלה. אף אחד מהצעדים הללו אינו אקזוטי, ומשטר הסיכון הגבוה של חוק הבינה המלאכותית יהפוך את רובם לחובה עבור מערכות גיוס, אשראי וביטוח החל מדצמבר 2027 בכל מקרה. ארגונים שבונים אותם כעת פשוט מגיעים מוקדם מהצפוי.

מה לעשות אם מועמדת לערעור על החלטה

כאשר מגיש מועמדות, לקוח או עובד מטיל ספק בהחלטה אוטומטית, המשימה הראשונה היא עובדתית: לקבוע מה המערכת עשתה בפועל במקרה זה, אילו קלטים היא השתמשה בו, האם אדם הפעיל שיקול דעת אמיתי, והאם התוצאה מתאימה לדפוס רחב יותר. עשו זאת לפני שאתם עונה, מכיוון שקשה לתקן תגובה ראשונה לא מדויקת מאוחר יותר ותיפרש כנגד הארגון.

שמרו את הלוגים ואת גרסת המודל הרלוונטית. העריכו את התביעה מול שלושת המסגרות ולא מול זו שהתובע הגיש במקרה, מכיוון שתלונה להגנת מידע ותביעת אפליה יכולות לנבוע מאותו קובץ. אם הדפוס אמיתי, תיקונו ותיקון ההחלטות המושפעות מגבילים את הנזק בצורה יעילה הרבה יותר מאשר הגנה עליו.

Law & More מייעץ לחברות בנוגע לצד המשפטי של קבלת החלטות אוטומטיות: הערכת חשיפה במסגרת חוק הנזיקין והשוויון ההולנדי, סקירת תאימות לתקנות ה-GDPR בנוגע ליצירת פרופילים והחלטות אוטומטיות, הכנה לחובות חוק הבינה המלאכותית החלות על גיוס, אשראי וביטוח, משא ומתן על חוזי ספקים והגנה על תביעות וחקירות רגולטוריות. עורכי דין בתחום ה-IT נשמח לדון כיצד הכללים חלים על המערכות בהן אתם משתמשים.

שאלות נפוצות על אחריות להטיה אלגוריתמית

ככל שעסקים מתעמקים בבינה מלאכותית, מנהיגים רבים מוצאים את עצמם שואלים שאלות ספציפיות מאוד בנוגע לחבות. להלן, נתמודד עם כמה מהשאלות הנפוצות והמאתגרות ביותר, ונציע תשובות ברורות שיעזרו לכם לנווט בתחום משפטי מורכב זה.