סקר של מודעות תרבותית במודלים לשוניים: טקסט ומעבר לו

הגדרה ותשתית תאורטית לתרבות ולמודעות תרבותית במודלים

תרבות מוגדרת כמערכת מורכבת של התנהגויות, ערכים, אמונות ויחסי גומלין אנושיים. היא נחקרת בפסיכולוגיה ובאנתרופולוגיה מנקודות מבט שונות: הגישה הפסיכולוגית רואה בתרבות הרחבה של ההתנהגות האנושית ובוחנת כיצד הקשרים חברתיים מעצבים תהליכים קוגניטיביים, ואילו הגישה האנתרופולוגית מתמקדת בהקשרים ובמשמעויות של המעשים, האובייקטים והיחסים החברתיים. חיבורן של שתי הגישות מאפשר לראות בתרבות מערכת חיה של ידע ופעולה, שבה התפיסה, השפה והיחסים הבין-אישיים מעצבים יחד את ההבנה האנושית.

מודעות תרבותית במודלים שפתיים גדולים משמעה יכולת להבין את ההקשר החברתי שבו מתבצעת המשימה ולהתאים את הפרשנות והתגובה לערכים, נורמות וידע מקומיים. הבנת ההקשר מחייבת זיהוי של הגורמים החברתיים, הבדלי הערכים בין תרבויות, והכרת "היסודות התרבותיים" – כגון מוסר, לשון, סמלים, אובייקטים ופרקטיקות. מודלים חסרי מודעות תרבותית עלולים לשכפל הטיות, להעצים סטריאוטיפים ולהגיב באופן בלתי רגיש, משום שמרביתם מאומנים על נתונים מערביים.

שיטות ליצירת נתונים ולקידוד ידע תרבותי

לצורך בניית מודלים בעלי מודעות תרבותית, נדרשת יצירה של מאגרי נתונים ובנצ'מרקים המשקפים מגוון תרבויות. שלוש גישות עיקריות משמשות לכך:

יצירה אוטומטית

איסוף נתונים מתבצע ממאגרים רחבי היקף כמו Wikipedia, CC100 ו-mC4, תוך סינון לפי שפות או אזורים תרבותיים. נעשה שימוש במודלים קיימים ליצירת ידע תרבותי באופן סינתטי, לדוגמה באמצעות LLMs המפיקים שאלות או תיאורים בהקשרים תרבותיים שונים. דוגמאות לכך הן CANDLE ו-MANGO, המנצלים מקורות קיימים להפקת ידע ספציפי לתרבות.

יצירה חצי-אוטומטית

בגישה זו משלבים מומחים אנושיים עם עיבוד מכונה. אנוטטורים מקומיים יוצרים קטגוריות, בוחרים דוגמאות ומבקרים את פלט המודלים. כך נוצרים מאגרי נתונים מאוזנים יותר באיכותם, כמו COIG-CQIA ו-CIDAR, שבהם נבדקת התאמה לשפה ולתרבות מקומית.

יצירה ידנית

נתונים הנבנים באופן ידני משמשים בסיס איכותי ליישום ערכים ונורמות אנושיים. אנוטטורים מפתחים שאלות ותשובות, מתעדים ידע יומיומי שאינו מופיע במקורות רשמיים ומתרגמים ניבים מקומיים. מאגרים כאלה קריטיים לשפות ולתרבויות מוחלשות. גם בתחומי הראייה והמולטימדיה נאספים נתונים ידנית, באמצעות בחירת תמונות או סרטונים המשקפים סמלים ומנהגים מקומיים.

שיטות ליישום התאמה תרבותית במודלים שפתיים

ההתאמה התרבותית נעשית בשתי דרכים מרכזיות: באמצעות אימון מחדש ובאמצעות שימוש בהנחיות (prompts) בלבד.

שיטות מבוססות אימון

האימון כולל שני שלבים עיקריים:

1. קדם-אימון (Pretraining): שימוש במאגרי טקסט רחבי היקף בעלי תוכן תרבותי לשם בניית ידע כללי על ערכים ונורמות. לעיתים מתחילים את האימון מאפס על נתונים תרבותיים ייעודיים, ולעיתים ממשיכים קדם-אימון של מודל קיים על טקסטים מקומיים. כך נבנו מודלים כמו HyperClovaX הקוריאני או PersianLLaMA.

2. כוונון עדין (Fine-tuning): שלב שבו המודל מותאם למשימות ספציפיות באמצעות נתונים מתויגים. בין המשימות נמצאות זיהוי שנאה, ניתוח רגשות, איתור סטריאוטיפים, וכן למידה על סמך שאלות-הנחיה (Instruction-tuning) המבוססות על ערכים תרבותיים. מחקרים הראו כי שילוב נתונים כאלה משפר את יכולת המודל להבין רמזים תרבותיים ולהפחית הטיות.

בנוסף קיימות גישות חדשניות כמו למידת העדפות ישירה ו-מודולריזם פלורליסטי, המשלבות מודלים קטנים המכוונים את המודל הראשי להתנהגות מותאמת תרבותית.

שיטות ללא אימון נוסף

ההתאמה מושגת באמצעות ניסוח ההנחיות למודל. הנחיה סוציו-דמוגרפית מוסיפה מידע על שפת הדובר, מוצאו או הקשרו החברתי; הנחיה אנתרופולוגית משלבת היבטי חשיבה תרבותיים; ו-הנחיה תרבותית מבקשת מהמודל להשיב כאדם מתרבות אחרת. שיטות אלו משפרות את הדיוק בהקשרים בין-תרבותיים אך אינן עקביות בכל המודלים. נמצא כי מודלים גדולים מגיבים בצורה משתנה להנחיות מסוג זה, ולעיתים אף משמרים הטיות קיימות.

אסטרטגיות ייעודיות למטרות ספציפיות

יישום ההתאמה התרבותית מתבצע גם בתחומים ממוקדים. במחקרי בקרה על תוכן נעשה שימוש במודלים הלומדים את ההבדלים בין תרבויות בזיהוי לשון פוגענית. בתחום הפחתת הטיות פותחו מערכים למדידת גיוון תרבותי בתגובות המודלים ולזיהוי סטריאוטיפים. מאגרים חדשים כמו MultiNativQA מאפשרים הערכה רב-לשונית של התאמה לשפות ותרבויות מקומיות. מטרתם ליצור מדדים ברורים למדידת מודעות תרבותית ולמנוע קיבוע של זהויות.

הערכה ובנצ'מרקים של ידע תרבותי

מערכות ההערכה חולקו לשמונה תחומים: ידע אקדמי, ידע יומיומי, ערכים חברתיים, נורמות ומוסר, הטיות וסטריאוטיפים, רעילות ובטיחות, רגשות ותחביר לשוני.

ידע אקדמי

מבחנים חינוכיים מקומיים משמשים לבדיקת ידע תרבותי אזורי. סדרת מבחני MMLU פותחה מחדש בעשרות שפות – מערבית ועד קוריאנית וערבית – כדי לשקף תכנים חינוכיים אזוריים. כך ניתן להעריך האם המודל שולט בידע הנלמד במערכות חינוך שונות ולא רק במקורות אמריקניים.

ידע יומיומי וקומונסנס

מאגרי ידע כלליים הורחבו כך שיכללו ידע תרבותי, כמו COPAL-ID לאינדונזית או CLIcK לקוריאנית. בכל אחד מהם השאלות נוצרות בשיתוף דוברים מקומיים ובוחנות מנהגים, אוכל, היסטוריה ופולקלור. מאגרים רב-תרבותיים כמו CULTURALBENCH-V0.1 ו-CULTURE-GEN מאפשרים השוואה בין תרבויות באמצעות שאלות פתוחות או בחירה מרובה.

ערכים, נורמות ומוסר

המודלים נבחנים ביכולתם לזהות כללים מוסריים וערכים חברתיים לפי הקשר תרבותי. נבדקת עמדתם כלפי סוגיות כמו מגדר, היררכיה או קהילתיות, תוך השוואה לנתוני סקרים עולמיים דוגמת World Values Survey.

הטיות, סטריאוטיפים ובטיחות

תחום זה עוסק בזיהוי לשון שנאה והפליה תרבותית. פותחו מאגרים למדידת ההבדלים בתפיסת העלבה בין תרבויות שונות, כגון CHBias לסינית או מערכי נתונים הודים ואינדונזיים המדגישים ניואנסים מקומיים.

רגשות, תחביר ולשון

ההיבט הפסיכולוגי נבחן באמצעות ניתוח רגשות ומוסר, בעוד שהתחום הלשוני בודק כיצד ניבים, פתגמים וצורות דיבור משקפים ערכים תרבותיים ומועברים בתרגום או בדיאלוגים.

אתיקה, שוויון ועתיד המחקר

הטמעת מודעות תרבותית מעלה סוגיות אתיות מרכזיות. השימוש בנתונים המייצגים בעיקר תרבויות חזקות עלול להחמיר אפליה ולהשטיח זהויות. נדרשת מדיניות נתונים שוויונית שתכלול שפות מקומיות, קהילות קטנות ותרבויות לא מערביות. יש להבטיח ייצוג של קבוצות מוחלשות ולבחון את השפעת המודלים על תפיסות חברתיות, ביטוי עצמי ותחושת שייכות.

תחום ממשק אדם-מחשב ממלא תפקיד מרכזי בבדיקת תגובות תרבותיות שונות ובהבנת ציפיות המשתמשים. שילוב עקרונות HCI יכול לשפר את האינטראקציה בין משתמשים ממגוון תרבויות למודלים שפתיים, ולמנוע חוסר התאמה רגשי או ערכי.

כיווני מחקר עתידיים כוללים פיתוח מודלים המזהים אוטומטית את ההקשר התרבותי, הרחבת מאגרי הנתונים לשפות נדירות, ופיתוח מדדים אחידים להערכת מודעות תרבותית. שילוב תחומי דעת מהמדעים החברתיים עם עיבוד שפה טבעית צפוי להוביל למודלים רב-תרבותיים הוגנים ומכלילים יותר.

סיכום

מודעות תרבותית במודלים שפתיים היא תנאי הכרחי לשימוש הוגן, מדויק ומכבד בטכנולוגיות בינה מלאכותית. שילוב גישות מחקר מהפסיכולוגיה, האנתרופולוגיה ומדעי המחשב מאפשר להבין כיצד שפה, הקשר וערכים חברתיים מעצבים את האינטראקציה האנושית. הפיתוח של מאגרי נתונים מגוונים, שיטות אימון רגישות תרבות, ומדדים רב-תחומיים יבטיחו שמודלים עתידיים ישקפו את המורכבות התרבותית של האנושות כולה, ולא רק את קולה של תרבות אחת.

מקור

Pawar, S., Park, J., Jin, J., Arora, A., Myung, J., Yadav, S., … & Augenstein, I. (2025). Survey of cultural awareness in language models: Text and beyond. Computational Linguistics, 1-96.‏