כמו כל מהפכה טכנולוגית, לצד ההזדמנויות האדירות, עלולות להופיע סכנות  משמעותיות, אשר יש להיערך אליהן. אחד החששות משימוש בטכנולוגיה כרוך בטכנולוגיית ה"דיפ פייק", המתארת יישום טכנולוגי מבוסס בינה מלאכותית אשר מאפשר יצירת תוכן לרבות תמונות, סרטוני וידאו וקטעי קול מזוייפים, באופן הנחזה להיות אותנטי.

האפשרות ליצור תמונות, סרטונים וקטעי קול מזוייפים הואצה לאחרונה בשל זמינותם  של כלי AI ופשטות השימוש בהם. כך למשל, ניתן להשתיל פנים של אדם בסרטון בו לא הופיע במקור, או לשנות בצורה מניפולטיבית, את המלל המופיע בסרטון. דוגמאות בולטות מהעת האחרונה אשר עוררו תהודה רבה ברחבי העולם, כוללות בין היתר, תמונות מפוברקות של נשיא ארה"ב דונלד טראמפ מתנגד למעצר ומנסה לברוח משוטרים, תמונות אלו זכו למיליוני צפיות.

הנושא עלה לאחרונה לכותרות גם בארץ, במסגרת פרשת מאי גולן, השרה לשוויון חברתי וקידום מעמד האישה. חדשות 12 שלחה מכתב התראה לפני תביעה, לשרה בדרישה לפיצוי בסך חצי מיליון שקלים ולפרסום התנצלות. חברת החדשות טוענת כי השרה פרסמה נגדה "דברי לשון הרע חמורים" בפוסט שפרסמה בעמוד ה-X שלה, בתגובה לתחקיר ששודר עליה במהדורה המרכזית .במכתב ההתראה צוין כי התחקיר, במסגרת סדרת "המבקר" של יוסי מזרחי ודפנה ליאל, ששודר לאחרונה, העלה לכאורה דפוסי פעולה בעייתיים במשרד השרה גולן. התחקיר כלל קטעים מהקלטות קוליות של השרה, שנשלחו כחלק מתכתובות וואטסאפ במהלך כהונתה .לאחר שידור התחקיר, פרסמה גולן תגובה חריפה ברשת X, להלן: "התחקיר מציג 'קול' מזויף שמיוחס לי, ככל הנראה באמצעות טכנולוגיית בינה מלאכותית, שכל בר דעת יכול לזהות שאינו דומה לקולי האמיתי. מטרתו הברורה היא להנדס את תודעת הציבור כאילו מדובר בקולי." גולן ציינה בנוסף שפרט להודעה אחת שהוקלטה, הודלפה ויצאה מהקשרה שאר החומרים הם יצירות של AI.

האמור מציף מקצת מהאתגרים הצפויים בפני עולם המשפט בעידן הבינה המלאכותית, כאשר מדינות שונות  כבר נקטו בצעדים להגבלת השימושים הבעייתיים בטכנולוגיה זו, עליהן עמדנו בהרחבה בעבר.