👙 משתמשות אייפון משועזעות לגלות שהוא אוסף תמונות של החזיות שלהן, יותר משנה אחרי שהוא התחיל לעשות את זה

בכנס WWDC ביוני 2016 הכריזה אפל על שדרוג באפליקציית התמונות שלה, Photos, שתכלול מעתה זיהוי אנשים לפי הפנים שלהם, ומספר הבעות פנים. המפתח קיי יין חפר בתוכנה וגילה שהאפליקציה יודעת גם לזהות בתמונות מקומות, חיות, פעילויות, נופים, חפצים ועוד, מתוך מרשימה מוגדרת של 4432 פריטים – מאקורדיון דרך שושבינה וכושר ועד תולעים. חיפוש של מילת מפתח – למשל, “כלב” – תציג למשתמשים את כל התמונות ששמורות אצלם אשר מכילות כלב.

יותר משנה אחרי הפרסום, הטוויטראית ell‏ (@ellieeewbu) פרסמה ציוץ נחרד בנושא לכ-19.5 אלף עוקביה: “לתשומת לב כל הבנות!!! חכו לתמונות שלכן והקלידו את ה’חזייה’ למה אפל שומרים את אלו והפכו את זה לתיקייה!!?!!?😱😱😱😱”. בדיקת הרשימה שפרסם יין מעלה שאכן מופיעות בה מילות המפתח לחזייה וחזיות – Brassiere, Bra, Bras, Brassieres. אבל כמו בקלישאה, תמונה שווה 4432 מילים – ורבות מהמגיבות ל-ell‏ חיפשו חזייה בפוטוז והעלו סטטוס משועזע עם צילומסך מצונזר.

@statueofleah כתבה: “זוג סלפים וכמה תמונות שלי עושה מין. מה לעזאזזזזזללל”. @Pr1ncessSyd כתבה: “היה יכול להיות יותר גרוע”. @rnoomin הודתה: “לא ידעתי שחצי מתמונות ההלבשה התחתונה האלו קיימות, אייפונים מזהים ומסדרים את רוב הדברים שאפשר לחשוב עליהם”. @nadinmousa תהתה: “מה זה איך @Apple יודעים שאני משתוללת ככה אומג”

@ohanaleau היתה משועשעת: “בכנות, מתתי מצחוק כשראיתי את זה! אפל חושבים שהזרועות שלי נראות כמו ציצים! 😂”. @ChocoMetaphor, שקיבל בעיקר תמונות של חזהו הגברי, כתב: “אני זונה”. @jewstein3000 הסבירה ביובש את שלוש התמונות שפוטוז מצאה: “היתה לי פריחה”.

הציוץ שהתחיל את הסערה, ושכאמור מגיע שנה לאחר השקת הפיצ’ר, מדגים לנו את ההבדל בין לדעת שטכנולוגיה עושה משהו שעלול להרגיש לנו לא נוח לבין לחוות את הדבר הזה בפועל. מעניין גם לשים לב שאפל עלתה על המוקד, ולא גוגל או פייסבוק, שמספקות פיצ’רים דומים עם יותר פגיעה בפרטיות. בהשקת זיהוי הפריטים הדגישה אפל שפיצ’רי הזיהוי לא פוגעים בפרטיות, משום שהם מבוצעים מקומית על המכשיר ולא בענן. בעמוד של פוטוז באתר אפל נכתב: “אחד הדברים הכי טובים לגבי פוטוז הוא איך שהיא שומרת על הפרטיות שלכם. iOS נבנתה כך שתנצל את המעבד העוצמתי שנמצא בכל אייפון ואייפד. אז כשאתם מחפשים בתמונות שלכם, למשל, כל זיהוי הפנים והנופים והחפצים מבוצע כולו על המכשיר שלכם. מה שאומר שהתמונות שלכם הן שלכם, ושלכם בלבד”. גוגל מבצעת ניתוחים דומים לתמונות לפחות מאז 2013 ובשירות אחסון התמונות המקוון שלה גוגל פוטוז מ-2015, ובשנה שעברה פייסבוק שחררה את הקוד שמזהה מה מופיע בתמונות, שהיא מפעילה על התמונות שמשתמשים מעלים לרשת החברתית שלה. בניגוד לאפל, שתי החברות מבצעות את הניתוחים בענן ולא על המכשיר המקומי.

😷 נקלעתם למיון בזמן התקיפה? איכילוב חשפו את הפנים שלכם בסרטון אבטחה

ב-3:30 לפנות בוקר הגיעו 5 אנשים ברכב לבית החולים איכילוב במרכז הרפואי ת”א ע”ש סורסקי, נכנסו למיון ויצאו ממנו בריצה כשהם תוקפים מאבטחים שניסו לעכבם, כך עולה מסרטון מצלמות מעקב שהפיץ איכילוב. הסרטון, שהופץ שעות ספורות לאחר האירוע, הוא באיכות גבוהה ובצבע וללא טשטוש פנים, כך שהוא מאפשר לראות בבירור את פניהם של חלק מהתוקפים – שזה נחוץ כדי לזהותם ולאתרם – אבל גם של מבקרים ומטופלים שנכחו במקום, שאין הצדקה לפגוע בפרטיותם הרפואית.

באיכילוב העלו את הסרטון ליוטיוב כדארקפוסט (תוכן שאינו מופיע בפרופיל ובחיפוש, וזמין רק למי שקיבל לינק ישיר), ושלחו לינק לכלי התקשורת, שחלקם העלו את הסרטון במלואו.

בנוסף, איכילוב פרסמו את הסרטון בפייסבוק שלהם, ולינקקו בטוויטר שלהם לעותק יוטיוב נוסף שלו, שמפרסמו הסיר אותו בינתיים (אולם הציוץ בטוויטר עדיין באוויר).

“השימוש במצלמות פנימיות כדי למנוע אלימות כלפי מאבטחים הוא שימוש נכון, אבל הפרסום של הצילומים בלי טשטוש, כאשר פרטיהם של מבקרים בבית החולים שלא היו מעורבים בתקרית נחשפים, הוא פגיעה בפרטיות”, אומר היועמ”ש של התנועה לזכויות דיגיטליות, עו”ד יהונתן קלינגר. “עצם הזיהוי שלהם כמי שהיו בבית חולים מעיד לא מעט ומאפשר ללמוד על המצב שלהם. לפי הנחיות משרד המשפטים, כל שימוש במצלמה למעקב ואגירה של תמונות דורש כי המצולמים יקבלו מידע על השימושים שיעשו בשימוש. כרגע, השימוש בפניהם לצורך הצגתם באינטרנט וברשתות חברתיות אינו, ככל הנראה, הולם את המטרה”.

[עדכון 18:33] חוק הגנת הפרטיות אוסר “פרסום תצלומו של אדם ברבים בנסיבות שבהן עלול הפרסום להשפילו או לבזותו” ו”פרסומו של ענין הנוגע לצנעת חייו האישיים של אדם, לרבות […]מצב בריאותו”. אבל “במשפט פלילי או אזרחי בשל פגיעה בפרטיות תהא זו הגנה טובה אם […] הפגיעה היתה בדרך של צילום, או בדרך של פרסום תצלום, שנעשה ברשות הרבים ודמות הנפגע מופיעה בו באקראי”. [\עדכון]

תגובת איכילוב תתפרסם כאן אם תתקבל.

📧 אם אתם צריכים כ-2300 אימיילים של הורי חניכי בני עקיבא, התנועה דאגה לכם

כששולחים אימייל בתפוצה המונית, ובפרט כשהנמענים לא בהכרח מכירים או קשורים זה לזה, מזינים את הכתובות בשדה ה-BCC, כדי לשמור על פרטיות הנמענים וכתובותיהם. בבני עקיבא לא עשו את זה, וחשפו כך לפחות 2300 כתובות אימייל של הורי חניכים בהודעה ששלחו אמש (ג’). בתנועה אמרו שטעות אנוש הביאה לחריגה מהנוהל, שמכתיב שליחה שאינה חושפת פרטים.

ההודעה, “הזמנה לערב הורים מחנה מעפילים‎”, נשלחה מ”מחלקת מפעלים” בכתובת mifalim@bna.org.il. ההודעה מכילה הזמנה ופרטים על “מחנה מעפילים”, שבו “ילדכם חוו עליה מהגולה לעבר ארץ ישראל” וכעת “הגענו לארץ ואנו עסוקים בבניית יישובי חומה ומגדל”, ופרטי ההתקשרות המשרדיים של השולחת ממזכירות מחלקת מפעלים. ההודעה היתה ממוענת לכ-2300 כתובות שהוזנו בשדה ה-To, כך שהן חשופות לכל הנמענים.

“הייתי בשוק כשראיתי את הכתובות שלי ושל כולם חשופות”, אומר שמעון (שביקש ששמו האמיתי לא יתפרסם), הורה לחניכה בתנועה. “נתתי את המייל כדי לקבל אישור הרשמה והודעות חשובות, לא בשביל שיפיצו אותו בתפוצת נאט”ו. המינימום זה לשלוח עותק מוסתר או להשתמש במערכת דיוור”.

רשימת כתובות האימייל מכילה מידע על בעליהן – שמותיהם, עיסוקיהם (של אלו שהשתמשו באימייל העסקי/לימודי/התנדבותי ולא הפרטי – ברשימה יש, בין השאר, כתובות בדומיינים ממשלתיים gov.il, באתר האגודה להתנדבות [שירות לאומי], במועצה מקומית ובמוסד חינוכי), אפשר להניח שיש להם ילדים, שהילדים הם חניכים בבני עקיבא (מכך אפשר להסיק גם את טווח גילאי ההורים, בקירוב), ושהם על הספקטרום הדתי-לאומי, ואף פרטים מביכים כמו כמה מהם משתמשים בוואלה מייל (188) או יאהו מייל (43!).

כל אחד מהנמענים יכול לאסוף את רשימת האימיילים לשימושיו, או להעביר את ההודעה הלאה, בתום לב ובזדון, ולחשוף את הרשימה לגורמים נוספים, שעלולים לעשות בה שימוש זדוני, מספאם ועד גניבת זהות.

דובר בני עקיבא, שאול עופר, מסר בתגובה: “היום בבוקר החלה בתנועת בני עקיבא פעילות מחנות הקיץ שתימשך כשלושה שבועות בהשתתפות עשרות אלפי חניכים. התנועה נמצאת בקשר רציף עם הורי החניכים ומעדכנת אותם באופן עקבי על הפעילות הענפה המתקיימת במהלך השנה, בין היתר באמצעות שליחת מיילים מפורטים מעת לעת. בתנועה קיים נוהל קבוע לשליחת המיילים באמצעות מערכת ניוזלטר מאובטחת כשדרכה נשלחים העדכונים להורים. אתמול, בעקבות טעות אנוש, נשלחה הודעה לכ-2300 הורים שלא באמצעות המערכת על ערבי הורים בפעילות אחד המחנות – שלא באמצעות עותק מוסתר. התנועה מתנצלת על כך ועל כן נשלחה הבוקר הודעת הסבר והתנצלות להורים וחודדו הנהלים אצל כל הגורמים הרלוונטיים על מנת שדבר זה לא יישנה”.

🗳️ “דעה אישית שהפכה לעובדה”; “הוחלט להנחיל שיפורי אבטחה נוספים” 💾 מפלגת העבודה מגיבה על פירצות האבטחה

פירצות אבטחה ופרטיות באתר מפלגת העבודה איפשרו לגלות זהות של חברי מפלגה (וחברי מפלגה לשעבר) באמצעות מספרי תעודת זהות, ולהוריד עותק של הרשימה המלאה על ידי הרצת סקריפט. חשפנו פה את הפירצות בצהרי יום שלישי, יום הפריימריז במפלגה, ורביעי בערב המפלגה חסמה אחת מהן. היום בצהריים הגיעו תגובות.

הרשות למשפט, טכנולוגיה ומידע (רמו”ט) במשרד המשפטים לא נוקטים עמדה, רק אומרים שיבדקו את הטענות:

המידע כפי שהובא בפרסום ייבדק וייבחן על ידי מחלקת הפיקוח ברשות למשפט, טכנולוגיה ומידע. ככלל נציין כי הליכי אכיפה הנערכים על ידי הרשות ותוצאותיהם לא מתפרסמים אלא רק לאחר השלמתם.

תגובת מפלגת העבודה:

האפשרות הדיגיטלית לבדיקת זכות הצבעה בפריימריז, היא איננה פריצת אבטחה או פגיעה בפרטיות של מי ממתפקדי המפלגה וכל טענה שכזו היא בגדר דעה אישית שהפכה לעובדה.

האפשרות לבדיקת זכות הצבעה הינה יכולת שהוטמעה באתר על מנת להקל על חברי המפלגה, לסייע ולהנגיש עבורם מידע בדבר סטטוס חברותם במפלגה. יכולת זו איננה זרה בעולם הטכנולוגי ואתרים רבים אחרים בארץ ובעולם משתמשים בה לטובת הגולשים כמו לדוגמא אתר מפלגת הליכוד ואתר מפלגת הבית היהודי.

לא טענתי זאת. טענתי שיש לאפשר לאליס לבדוק אם יש לה זכות הצבעה, תוך בדיקה שאליס היא אכן זו שמבצעת את הבדיקה על עצמה (למשל, על ידי שליחת התשובה למספר הטלפון הסלולרי של אליס, במקום להציג את התשובה באתר); טענתי גם שאין לאפשר לאליס לבדוק אם לבוב יש זכות הצבעה, משום שבכך היא מקבלת חיווי אם בוב הוא חבר מפלגה, פירצת פרטיות שמהווה פגיעה בפרטיותו של בוב לפי חוק הגנת הפרטיות – פירצה שעדיין לא נחסמה, אגב.

באשר לטענת הגישה למאגר נתוני המתפקדים: המפלגה מבהירה כי בניגוד לאתרי מפלגות אחרות, האתר של מפלגת העבודה הינו אתר מאובטח זאת בניגוד לאתרי המפלגות אחרות אשר אצלם לא שולבו כל אמצעי הגנה כלל, כדוגמת אתרי מפלגות הבית היהודי והליכוד.

ולמה אתה לא מגנה את אבטחת המידע בסוריה. עובדתית, האתר של מפלגת העבודה איפשר להוריד עם סקריפט את מאגר המידע עם רשימת חברי מפלגת העבודה (וחברים לשעבר שעזבו), פירצת אבטחה שמהווה פגיעה בפרטיותם לפי חוק הגנת הפרטיות. בנקודה זו הוא לא היה מאובטח כראוי, אלא האפשרות לשתות את רשימת החברים של המפלגה אינה פירצת אבטחה או פגיעה בפרטיות, וכל טענה שכזו היא בגדר דעה אישית שהפכה לעובדה.

יחד עם זאת ובשל רגישות הנושא מפלגת העבודה התייחסה ברצינות ובכובד ראש לפניית העיתונאי עידו קינן וביצעה סדרה של בדיקות מקיפות על ידי מנהל אבטחת מידע מוסמך שאף קיים התייעצות מקצועית בנושא עם גורמים בכירים ברשות הסייבר הלאומית על מנת לוודא את תקינות מנגנוני האבטחה של האתר. על מנת לנקוט במשנה זהירות הוחלט להנחיל שיפורי אבטחה נוספים על אלו הקיימים, שיפורים שעליהם דווח בכתבה. [הכתבה הזאת;
ע”ק]

מפלגת העבודה רואה את תהליך הדיגיטציה כתהליך מתבקש בעידן הטכנולוגי הנוכחי ותעשה כל שביכולתה, ולא תחסוך במשאבים,על מנת לשפר את השירות אשר ניתן לחבריה, לעמוד בסטנדרטים המחמירים ביותר של אבטחת מידע ולשמור על מאגרי המידע שלה.

🗳️ מפלגת העבודה חוסמת רק אחת משתי הפירצות באתרה כי למי יש כוח לעבודה

שתי פרצות באתר מפלגת העבודה, שהמתכנת רן בר זיק ואני חשפנו פה השבוע, פגעו בפרטיות כשחשפו פרטים של חברים וחברים לשעבר במפלגה. היום חסמה המפלגה אחת משתי הפירצות, הגדולה מביניהן, אולם השאירה את השנייה פתוחה.

הפירצה הקטנה היא פירצת פרטיות מובנית בכלי המקוון לבדיקת זכות הצבעה בפריימריז של המפלגה. הכלי המקוון איפשר לחברי המפלגה להזין מספר תעודת זהות, לעבור מבחן אני-לא-רובוט (reCAPTCHA), ולקבל חיווי אם הם רשומים כבעלי זכות הצבעה, והחזיר להם את שמם המלא ובחלק מהמקרים את מינם. בהיעדר מנגנון לווידוא זהות הבודק, כל גולש יכול להכניס כל מספר תעודת זהות ולגלות אם בעליו הוא חבר המפלגה. פירצה זו לא נסגרה, כאמור, ועדיין זמינה באתר. המפלגה לא הגיבה לפנייתי בנושא הפירצה.

הפירצה הגדולה היא פירצת אבטחה באותו כלי בדיקה מקוון. המתכנת תומר כהן גילה שהוא יכול לעקוף את הממשק הוובי של כלי הבדיקה ולשלוח שאילתה ישירות למאגר הנתונים שאליו הוא מתממשק. השאילתה הזאת לא עוברת דרך מבחן אני-לא-רובוט, ועל כן מאפשרת לכתוב סקריפט שיציף את המערכת בשאילתות כלליות (כל טווח המספרים האפשרי של תעודות הזהות) או ממוקדות (רק מספרים שמתאימים לאלגוריתם של מסת”ז וספרת ביקורת, או רשימת המסת”זים האמיתית מתוכנת רשומון שמכילה עותק דלוף של מרשם האוכלוסין), ולקצור כך את כל מאגר מתפקדי מפלגת העבודה, כ-58 אלף בעלי זכות הצבעה.

בנוסף, בר-זיק גילה שבאמצעות שאילתה ישירה הוא יכול לקבל מידע לא רק על חברי מפלגה, אלא גם על חברי מפלגה לשעבר, שהמפלגה משום מה ממשיכה לשמור את פרטיהם במאגר שלה. המפלגה לא הגיבה על פירצה זו.

הפירצה הגדולה נחסמה, פרסם הערב מפתח התוכנה יונתן ביטון. הוא העלה צילומסך של שאילתה ששלח לאתר, ותשובה שמכילה הודעת שגיאה שלפיה הוא נכשל במבחן האני-לא-רובוט (“invalid captcha”).

נראה שהבעיה טופלה pic.twitter.com/9DK9umXH6u

— Yonatan Bitton (@bityob) July 5, 2017

בר זיק בדק את התיקון ומדווח: “לאחר שבדקתי מספר מספרי תעודת זהות, וגם ניסיתי לשחזר את הפריצה, אני יכול להעיד שהפירצה סגורה. היא נסגרה על ידי שימוש תקין במנגנון ה-reCAPTCHA, המנגנון שאמור לוודא שמדובר באדם אמיתי מאחורי הבקשה. עכשיו, כאשר מתבצעת קריאה לשרת, נשלח גם פרמטר שיכול להיווצר רק בדפדפן ורק אם המשתמש עבר את הבדיקה של ה-reCAPTCHA. השרת בודק את הפרמטר, מוודא שהוא תקין ורק אז שולח את התוצאה המתאימה. לפיכך הטופס בטוח. נכון, באופן עקרוני אדם יכול להכנס אל האתר ולהכניס מספרי זהות כרצונו, אבל זה כבר לא יהיה סקריפט אוטומטי ולפיכך אי אפשר תוך שעה להוריד את כל מאגר הנתונים של המתפקדים. מוטב היה גם להטמיע מנגנון שבולם יותר מדי קריאות מאותה כתובת IP, אך בתור תיקון חירום, התיקון שלעיל מספיק”.

לסיכום, יממה או קצת יותר אחרי שהפירצות הובאה לתשומת לבה, מפלגת העבודה סגרה רק אחת מהן. המפלגה טרם מצאה לנכון להגיב לפניותיי העיתונאיות בנושא. איש מהמתמודדים על ראשות המפלגה חובבי ההספמה בסמסים לא התבטא בפומבי, לא לקח אחריות ולא התנצל על מה שעו”ד יהונתן קלינגר מהתנועה לזכויות דיגיטליות הסביר שיכול להביא לעונש של 5 שנות מאסר ולפיצוי אזרחי של עד 50 אלף שקל ללא הוכחת נזק לכל אדם שפרטיותו נפגעה מהמחדל. הרשות למשפט וטכנולוגיה במשרד המשפטים, הרגולטור לענייני פגיעה בפרטיות, טרם הגיבה לפנייתי בנושא. המאגר הביומטרי לא ידלוף.

🗳️ מפלגת העבודה שומרת פרטי חברים שעזבו, לא מוחקת גם כאלו שהתפקדו למפלגות אחרות

אנשים שהיו חברים במפלגת העבודה ועזבו אותה, חלקם בעקבות התפקדות למפלגות אחרות, לא נמחקו ממאגר המידע של המפלגה. כך עולה מבדיקה משותפת של רן בר זיק מהבלוג “אינטרנט ישראל” ושלי. הבדיקה נעשתה בהמשך לחשיפה כאן על פירצת הפרטיות בכלי לבדיקת חברות במפלגת העבודה, שמאפשרת הורדת עותק של מאגר המידע המלא של חברי המפלגה. כעת מתברר שהמאגר הזה מכיל מידע גם על חברים לשעבר.

הכלי המקוון, שמפלגת העבודה הפנתה אליו מאתרה הרשמי, אמור היה לאפשר לגולשים לברר אם הם יכולים להצביע בפריימריז למפלגה, שהתקיימו אתמול (ג’). אולם בגלל רשלנות בבנייתו, הוא איפשר לכל גולש לבדוק עבור כל מספר תעודת זהות אם בעליו הוא חבר המפלגה, ואם כן, מה שמו המלא, מה מינו (עבור חלק מהחברים) והאם הסדיר את התשלומים למפלגה עבור שנת 2017.

האתר הכיל מבחן אני-לא-רובוט (reCAPTCHA) כהגנה מפני קציר המוני של הנתונים על ידי בוטים, אולם המתכנת תומר כהן גילה כי ההגנה הזאת פעילה רק עבור גירסת הווב של כלי הבדיקה, וכי ניתן לעקוף אותה בשיגור שאילתה ישירה לבסיס הנתונים. בשיטה זו ניתן לשלוח שאילתות בצורה שיטתית – במספרים עוקבים, לפי אלגוריתם תעודות זהות (שמונה ספרות וחישוב ספרת ביקורת) או לפי מאגר מספרי תעודות זהות מאחת מגירסאות מרשם האוכלוסין שדלפו לרשת לאורך השנים (רשומון) – וכך להוריד למחשב את המאגר המלא של חברי מפלגת העבודה.

המתכנת רן בר זיק, שכתב פוסט טכני על הפירצה, בדק אותה בין השאר על ידי שאילתה עם המסת”ז שלו עצמו, וקיבל מבסיס הנתונים את שמו ומחרוזת מסויימת, אשר לפי בדיקתנו מצביעה על כך שבר זיק הוא חבר מפלגה. בר זיק שלח שאילתה עם המסת”ז של חברו אסף, וקיבל בחזרה תשובה דומה – את שמו המלא של אסף (שהתבקשנו לא לפרסם) ומחרוזת אחרת. אלא שבעוד בר זיק הוא חבר במפלגת העבודה, אסף הוא חבר לשעבר: “כתבתי להם מפורשות [שאני עוזב] וגם הפסקתי לשלם”.

ביקשנו מאנשים נוספים שעזבו את המפלגה רשות לבדוק את הת”ז שלהם בשאילתה ישירה מול בסיס הנתונים, וברוב המקרים קיבלנו את שמותיהם המלאים ומחרוזת זהה לזו של אסף, שמבדיקתנו עולה שהיא מעידה שהם חברים לשעבר במפלגה.

משמעות הדבר היא שמפלגת העבודה, במקום למחוק מהמאגר חברים שעזבו אותה, שומרת את שמותיהם המלאים ותעודות הזהות שלהם במאגר מידע שמשמש לבדיקת זכאות להצבעה בפריימריז, ושהמאגר הזה עדיין מקוון כשפעורה בו פירצת פרטיות, שעות אחרי שחשפנו אותה ואחרי שהסיבוב הראשון בבחירות המקדימות כבר הסתיים, ויש חמישה ימים עד הסיבוב השני, שבהם ניתן להוריד את המערכת הפרוצה מאוויר האינטרנט, לתקנה ולהחזירה. כלומר, מפלגת העבודה מסכנת לא רק את הפרטיות של חבריה, אלא גם של חבריה לשעבר, גם אחרי שהתבקשה להגיב על כך (וטרם הגיבה) וגם אחרי שהפירצה דווחה בפומבי.

בנוסף, כשבדקנו את המסת”זים של החברים לשעבר בכלי הבדיקה שבאתר – הדרך שבה המפלגה התכוונה שאנשים ישתמשו בו – התקבלה ההודעה “אינך כלול בספר הבוחרים”. כלומר, למשתמש הרגיל, שלא יודע איך לשלוח שאילתה ישירות לבסיס הנתונים, אין דרך לדעת שלמעשה הוא *כן* כלול בספר הבוחרים, אולם בסטטוס נסתר של חבר מפלגה לשעבר. כלומר, נפגעי הרשלנות של מפלגת העבודה אפילו לא יכלו לדעת עליה, משום שכלי הבדיקה הציג להם הודעה מטעה.

כפי שציינתי בפוסט על פירצת הפרטיות, מאגר מידע שמכיל מידע על חברות של אנשים במפלגה מחוייב בהגנות מיוחדות לפי חוק הגנת הפרטיות. עו”ד יהונתן מהתנועה לזכויות דיגיטליות הסביר שם כי הנגשת המידע הזה לציבור הרחב היא עבירה על חוק הגנת הפרטיות, שעשויה להביא לענישה פלילית של 5 שנות מאסר ופיצויים אזרחיים של עד 50 אלף שקל ללא הוכחת נזק.

“צר לי שהפרטיים האישיים שלי גלויים לכל. ובנוסף שהם נסחרים מיד ליד. זו אחת הסיבות בגללם הפסקתי את חברותי”, הגיב אסף לגילוי שפרטיו לא נמחקו ממאגר מפלגת העבודה. “קיבלתי אימיילים ומסרונים בלי סוף […] גם בשנים לאחר מכן. לא משנה כמה השבתי וביקשתי להסיר אותי מהמאגר. חשבתי בתום לב שסוף סוף הסירו אותי לפי בקשתי”.

“אני התפקדתי [למפלגת העבודה] אחרי המחאה החברתית”, סיפרה ליאת זנד. “חשבתי שחשוב להתפקד למפלגה גדולה ולנסות להשפיע. לא ידעתי עוד לאן זה ידרדר. השתתפתי פעם אחת בבחירות לפריימריז, האחרונות שהיו, וביטלתי לפני כשנה לדעתי את החברות שלי. פניתי אליהם דרך האתר, הם חזרו אלי, ביקשתי לבטל ולא שלחו לי שום דבר בפריימריז האלה, ירדתי מהרשימות שלהם. […] מאחר וחוץ מאראל מרגלית לא קיבלתי [סמסים] מאף אחד, וגם אצלו זה היה מאוד מתון, אני מניחה שברשימה שלהם אני לא נמצאת”, אמרה. כשסיפרתי לה שהיא מופיעה בבסיס הנתונים אמרה בהפתעה “לא נכון!” וצחקה.

“התפקדתי ממש לא מזמן כדי להשתתף בפריימריז”, סיפרה קרן גרינבלט. “קיבלתי כמה מכתבים פיזיים ומיילים שמודיעים שמצאו שאני פקודה בליכוד (לא) ובמרצ (לא חידשתי) (כל אחד במייל/מכתב נפרד), ושאם אני רוצה להשלים את ההתפקדות אני צריכה למסור להם הודעה בפקס או במייל על ביטול חברותי במפלגה האחרת. במכתבים האלה היה כתוב שאם לא אגיב הם יראו את זה כביטול התפקדות. כל זה לא הפריע להם לשלוח עשרות הודעות בחירות ולהעביר את המספר שלי למועמדים למרות שלכאורה ההתפקדות שלי לא הושלמה. השבתי להם במייל שלאור ריבוי ההודעות למרות שהורדתי את הסימון מקבלת מיילים ועדכונים במהלך תהליך ההתפקדות, החלטתי שאני מבטלת את התפקדותי, מבקשת למחוק את המספר שלי מכל המאגרים שלהם ושל המועמדים ומבקשת אישור על כך בכתב”. בינתיים התפקדה גרינבלט למפלגה אחרת, והפסיקה לקבל ספאם רק בעקבות פנייה רביעית, שמוענה ללשכת המזכ”ל. קשה לומר שהיא הופתעה כשסיפרנו לה שפרטיה ממשיכים להופיע במאגר המפלגה.

“הייתי [חברת מפלגת העבודה] שנה שעברה. השנה התפקדתי למרצ ולא חידשתי אצלם. הסמסים והטלפונים כמובן ממשיכים להגיע”, מספרת הילה, שביקשה לא לפרסם את שמה המלא, ששמור אצלנו. “אני לא מבינה איך מפלגה מרשה לעצמה להתנהל ככה. הבחירה שלי להתפקד למפלגה – או לא להתפקד אליה – היא אישית, ולא נעים לי שבני משפחה, חברים או אנשים מהעבודה יכולים לדעת לאיפה התפקדתי. הם מנסים להרחיק אנשים ממעורבות פוליטית? בשנת 2017 שמירה על הפרטיות היא אחת החובות הבסיסיות של כל גוף פוליטי”.

“עזבתי רשמית, והתפקדתי למרצ. נמאס לי מהספאם וידעתי שאני לא מצביעה להם אלא למרצ, אז ניסיתי לתמוך שם באנשים שרציתי לקדם. למרצ יש את הבעיות שלה, אבל לפחות אין טונות של ספאם”, סיפרה מ’, שביקשה ששמה (ששמור אצלנו) לא יפורסם. על אי מחיקת פרטיה מהמאגר אמרה: “זאת הפרה בוטה ומעליבה של הפרטיות שלי. אם מאז שביטלתי את חברותי חשבתי כמה פעמים לחזור, עכשיו כבר אין סיכוי שאעשה זאת”.

“אני חושבת שמספר התלונות והסבל שמפלגת העבודה גרמה, מצביעים על הניתוק שלה מהבוחרים וממי שהמציאות והפוליטיקה חשובות להם, אבל לא חיים בתוך המנגנונים המפלגתיים. האופן שבו התנהלו עם מספרי הטלפון של מתפקדות/ים, הן המפלגה והן מטות המועמדים, הוא חוסר כבוד ואטימות, והדבר קורה בכל סיבוב פריימריז מחדש”, אמרה גרינבלט. “אם המפלגה רוצה להמציא עצמה מחדש, כדאי לה להתחיל להקשיב לבוחרות הפוטנציאליות”.

“הפסקתי את חברותי כדי לעבור למפלגה אחרת. כולל הפסקת תשלום”, סיפרה מיכל לזובסקי, היחידה מהמרואיינים שלא כעסה על הגילוי. “תכלס, עד שלא כתבת על זה לא ידעתי ותכלס, זה לא ממש מזיז לי. האם עלי להיבדק אצל רופא בגלל זה? כאילו אני בפייסבוק וגוגל. אז מפלגת העבודה תפיל אותי?”

ממפלגת העבודה טרם נמסרה תגובה.

רוצים לברר אם מישהו חבר מפלגת העבודה? תנו מס’ ת”ז שלו ואתר המפלגה יגלה לכם, או שתורידו לכם את המאגר במלואו

מפלגת העבודה עורכת היום בחירות מקדימות לבחירת יושב ראש. המפלגה מספקת כלי מקוון שמאפשר למצביעים הפוטנציאליים לבדוק אם הם רשומים במפלגה ואם הסדירו את התשלומים לשנת 2017. אולם בכלי יש פירצת פרטיות, משום שהוא מאפשר לכל גולש לברר חברות במפלגה באמצעות מספר תעודת זהות של כל אדם, וכן הורדת רשימת המתפקדים במלואה באמצעות סקריפט. הגילוי התגלגל מדיווח ראשוני של הגולשת אורה פלד נקש.

בדף הבית של האתר הרשמי של המפלגה מופיעה אחרי הקיפול הפניה בלבן על רקע כחול כהה: “בדיקת זכאות הצבעה בבחירות ליו”ר מפלגת העבודה ומועמדה לראשות הממשלה”, שמלונקקת לכתובת https://www.haavoda.com/Member/Registrations?e=eyor. תחת הכותרת “בדיקת זכאות הצבעה בבחירות לתפקיד יו”ר העבודה” והשורה “רשאים להצביע חברי/ות מפלגת העבודה המופיעים בספר הבוחרים”, מתבקשים הגולשים להזין מסת”ז כולל ספרת ביקורת, ולעבור בדיקת אני-לא-רובוט (reCAPTCHA) [* ראו עדכון בהמשך].

מסת”ז של מי שאינו חבר מפלגת העבודה יחזיר את התשובה “אינך כלול בספר הבוחרים”. חברי מפלגה שהזינו את המסת”ז לבקשתי קיבלו הודעה שמאשרת שהם חברים, כולל שמם המלא ובחלק מהמקרים התייחסות שהעידה על מינם (“. משמעות הדבר היא שאפשר להזין מסת”זים בלי לדעת של מי הם (ואפילו מספרים אקראיים, תוך שימוש באלגוריתם לחישוב ספרת הביקורת), ולקבל עבור אלו מהם ששייכים לחברי מפלגת העבודה את השם המלא והמין (במפלגת העבודה רשומים כיום כ-58 אלף חברים בעלי זכות בחירה).

בדיקת שני מסת”זים מפוברקים שעומדים באלגוריתם ספרת הביקורת העלתה שהם הוזנו למערכת לבדיקות בתור חברי מפלגה בשם “בדיקה טסט” ו”בדיקת התפקדות” (“הנך חבר/ה, אך טרם הסדרת את תשלום דמי החבר לשנת 2017”).

עוד בעיה בכלי הבדיקה היא הקשר הלא-ברור שלו למפלגת העבודה. בעוד הדומיין של האתר הרשמי של המפלגה הוא havoda.org.il, כלי הבדיקה נמצא בדומיין אחר, haavoda.com. בדף הראשי של האתר יש איור של מפה ולוגו של מפלגת העבודה, שכל אחד יכול להשיג ולשים באתר שלו, ושדה לוגין, אבל אין שום דרך ליצור קשר עם בעלי האתר. בעוד רישום הדומיין (WHOIS) של האתר הרשמי של המפלגה מעלה שהוא רשום על שם המפלגה ויש בו פרטי התקשרות מלאים שלה, מי שרשם את הדומיין של כלי הבדיקה עשה זאת דרך שירות בשם Domains By Proxy, שנועד להסתיר את פרטי בעל הדומיין, ומספק פרטי התקשרות של חברת דומיינז ביי פרוקסי בסקוטסדייל, אריזונה, ואת כתובת האימייל haavoda.com@domainsbyproxy.com.

למעשה, הקשר היחיד הנראה לעין בין האתר הרשמי של מפלגת העבודה לבין אתר כלי הבדיקה הוא הלינק שהראשון נותן אל השני. לגולשים שהגיעו לכלי הבדיקה מלינק ישיר שקיבלו מחבר או דרך גוגל, אין דרך לוודא שמדובר באתר אותנטי של מפלגת העבודה ולא באתר מתחזה או זדוני.

לפי חוק הגנת הפרטיות, מידע על דעותיו של אדם – והדבר כולל חברות במפלגה, שמעידה על דעה פוליטיות – מוגדר “מידע רגיש”. מאגר שיש בו מידע כזה חייב להיות רשום אצל רשם מאגרי המידע, אסור להשתמש במידע הזה שלא למטרה שלשמה הוכנס למאגר, ובעל המאגר, מחזיק המאגר ומנהל המאגר, “כל אחד מהם אחראי לאבטחת המידע שבמאגר המידע”.

“העמדת כלי המאפשר לכל אחד המחזיק את מספר הזהות של חברו לברר האם האדם חבר במפלגת העבודה היא עבירה על חוק הגנת הפרטיות, שכן היא מפרה חובת סודיות מפורשת הקיימת בחוק ובהסכם”, מסביר עו”ד יהונתן קלינגר מהתנועה לזכויות דיגיטליות ובעברו מתמודד במפלגת העבודה. “הפרה זו עשויה לשלוח את מפתחי המערכת לחמש שנות מאסר, ולאפשר תביעה כנגדם על סך של עד 50,000 ש”ח ללא הוכחת נזק. לצערנו, חוק הגנת הפרטיות אינו מאפשר תביעה ייצוגית על פגיעה בפרטיות, ולכן אנחנו מאמינים כי יש לתקן את החוק ולאפשר הענשה של גורמים שמתרשלים בשמירה על המידע הפרטי שלנו”.

כדי למנוע פירצת פרטיות כזאת, שמהווה פוטנציאל לפגיעה בפרטיות חברי המפלגה, צריך היה להוסיף פקטור אימות לפני הבדיקה – למשל, מספר טלפון סלולרי, שאליו היתה נשלחת התשובה.

הגנת הפרטיות היחידה שהצלחתי למצוא באתר, למעט התקשורת המאובטחת (HTTPS) שאמורה להיות מובנת מאליה, היא מבחן האני-לא-רובוט, שמחייב אשרור ידני בכל בדיקה בנפרד ומונע קצירה המונית של פרטי חברי מפלגה.

[עדכון 16:47]

שבדיקה קצרה מראה שגם הקאפצ׳ה שהם שילבו שם לא ממש נחוצה. במילים אחרות, כנראה שאפשר לשאוב את כל מאגר הנתונים שלהם עם קוד די פשוט. @barzik pic.twitter.com/O23eZ8I8ti

— Tomer Cohen (@tomer) July 4, 2017

תומר כהן דיווח שהצליח לבצע שאילתות מול כלי הבדיקה תוך עקיפת בדיקת האני-לא-רובוט, כך שאפשר לכתוב סקריפט שיקצור את כל מאגר מתפקדי מפלגת העבודה – כאמור, כ-58 אלף מתפקדים. רן בר זיק סיפק הסבר טכני ופשוט להבנה בבלוגו “אינטרנט ישראל”.

כאשר אנו מפעילים את ה-reCAPTCHA, אנו נדרשים להטמיע אותה הן בדף שהגולש רואה באמצעות הדפדפן והן בשרת. גם באתר מפלגת העבודה ניתן לראות שיש שימוש ב- recaptcha. המשתמש הרגיל נדרש ללחוץ על אישור שהוא לא רובוט ורק אז לשגר את הפרטים. מה הבעיה? הבעיה היא שה-reCAPTCHA הזה לא מחובר לכלום. כלומר תוקף יכול לשגר את הבקשה לשרת ללא הדפדפן ולקבל תשובה. השרת אינו מוודא שה-reCAPTCHA הופעל בכלל. […] מה שהתוקף צריך לעשות זה לשגר בקשה אל השרת של מפלגת העבודה ולקבל את הפרטים.

אפשר לקחת את כל אלו שיש להם עד שמונה ספרות בתעודת הזהות (מבוגרים יותר, כמה צעירים מתפקדים?), כלומר, נשארנו עם עשר מיליון אפשרויות. ממש סביר.

— דוד (@DavidW300) July 4, 2017

סקריפט שרץ על רישומון ובודק את כל הת.ז

— NItzan Brumer (@nitzanb) July 4, 2017

סופסוף מישהו מספק לכם api נֹח ואתם מתלוננים?

— Ohad Eytan (@OhadEytan) July 4, 2017

[\עדכון]

אבל אי אפשר לצפות להרבה בתחום ההגנה על הפרטיות ממפלגה שח”כיה מספימים את החברים מזה שנים, שהמתמודדים על ראשותה מטרידים את חבריה בספאם סמסים, ושח”כית בה שמנסה לגייס את חברי המפלגה נגד ספאם הסמסים עשתה זאת באמצעות ספאם סמסים.

הנקמה ל#ספאמפלגה הוגשה לוהטת- תתחילו להתייחס בכבוד לפרטיות שלנו שם במפלגת העבודה בבקשה https://t.co/FRgoWbyaAw

— OraBora (@OraPeledN) July 4, 2017

הודעתי למפלגת העבודה על הבעייתיות בכלי הבדיקה. תגובתה תתפרסם כאן אם תתקבל.

– עדכון אחרון: 17:32

---

---

גטטקסי לא הבינו את הקטע הזה של לא להפקיר את פרטיות הלקוחות שלהם

בפרשת ווייז-קלנדיה-פרטיות, הזכרתי שחברת גטטקסי פגעה בפרטיות לקוחותיה כשחשפה את נסיעותיהם בפני עיתונאי כלכליסט במסגרת מאבק עסקי נגד המתחרה אובר.

כשקידמתי את הפוסט בטוויטר, תייגתי בו גם את גטטקסי. בוט שירות הלקוחות שלהם, ואם הוא לא בוט זה יותר עצוב, לא הצליח לפענח את המסר המורכב שבציוץ שלי.

לא עברו הרבה ימים וגטטקסי הראו שהם לא מפלים לטובה עיתונאים, וכל מי שרוצה יכול לקבל מידע על נוסעים שלהם. אהוד קינן חשף בנקסטר ששירות הלקוחות של גטטקסי מוסר דוחות מפורטים על נסיעות של לקוחות החברה לכל אחד שרק מבקש זאת. החברה מסרה דוחות לאנשים שסיפקו מספר טלפון של הלקוח, בלי לוודא שהמבקש הוא הלקוח וגם במקרה שבו המבקש אמר במפורש שהוא לא הלקוח.

בגטטקסי טענו שמדובר ב”אי הבנה נקודתי בקרב אחד מנציגי השרות”.

אני עדיין מחכה לעזרה שהם הציעו לי בטוויטר.

פרשת ווייז-קלנדיה והפגיעה בפרטיות » “קול העין”

התראיינתי על פרשת ווייז-קלנדיה והפגיעה בפרטיות הגולשים בתוכנית ”
” של העין השביעית וקול הקמפוס, בהנחיית אורן פרסיקו ונמרוד הלברטל, ששודרה ב-3.3.2016.

חיילים שנקלעו לנסיון לינץ’ של פלסטינים בהם במחנה הפליטים קלנדיה האשימו את אפליקציית הניווט ווייז על שניווטה אותם לשם. חברת ווייז הודיעה שהחיילים כיבו פיצ’ר שמונע נסיעה באזורים מסוכנים ומופעל כברירת מחדל, וסטו מהמסלול שהאפליקצייה התוותה להם. בתגובתה, החברה חשפה מידע פרטי של המשתמשים, וכן את העובדה שהיא יודעת ושומרת את המידע הזה, ושהיא מוכנה לחשוף אותו כדי להגן על תדמיתה, בלי נימוק של הצלת חיים או ציות לצו בית משפט.

הראיון מתחיל בדקה 49:38.

“פייסבוק הוא עכשיו ישות ההון הפתוח”

למה פתאום כולם מפרסמים “הצהרת זכויות” בפייסבוק, והאם זה בכלל יעזור להגן על זכויות היוצרים שלכם?

בשבוע האחרון נדבקה אומת הרשת העברית בווירוס רעיוני, מם שמשכפל ומפיץ את עצמו באמצעות הפחדה. “אני, [שם הכותב], בשל העובדה כי פייסבוק בחרה לערב תוכנה שתאפשר לגנוב מידע אישי שלי, מצהיר”, נפתח הסטטוס, שאחר כך מזכיר סעיפים של “קוד הקניין הרוחני”, וממשיך בהצהרה שלפיה “הזכויות שלי תקפות לגבי כל הנתונים האישיים שלי, שירים, צילומים, ציורים, תמונות, קריקטורות, קומיקס, טקסטים, מוזיקה וכו’, המפורסמים בפרופיל שלי ובנספחיו. לכל שימוש מסחרי נדרשת הסכמתי המפורשת בכתב”.

עוד קובע הסטטוס כי “על פייסבוק נאסר באיסור חמור לחשוף, להעתיק, להפיץ, לשדר, או לנקוט כל פעולה אחר נגדי על בסיס פרופיל זה ו/או התוכן שלו. האיסור והפעולות שהוזכרו לעיל חלים גם על עובדים, תלמידים, סוכנים, או אנשים בניהולו של פייסבוק”.

ההצהרה נחתמת בשורה האניגמטית “פייסבוק הוא עכשיו ישות ההון הפתוח”. המשפט הזה הוא תרגום עילג מאנגלית של “Facebook is now a publicly traded entity”, כלומר שפייסבוק היא מעתה יישות ציבורית שנסחרת בבורסה. אפשר להסיק מכך שהמם נולד ב-2012, בסמוך להנפקה הציבורית של פייסבוק. לפי האלמוני שיצר את המם, ההנפקה היא נקודת מפנה משפטית, שמצריכה הצהרת פרטיות וזכויות יוצרים מצד המשתמשים. כדי להפיץ את עצמה, ההצהרה מלווה בטקסט מאיים: “כל החברים מוזמנים לפרסם הודעה מסוג זה, ובאפשרותכם להעתיק גרסה זו. אם לא פרסמת את ההצהרה הזאת לפחות פעם אחת, לנוכח שתיקתך יתאפשר השימוש באלמנטים כגון תמונות שלך, כמו גם המידע הכלול בעדכון פרופיל”.

הטקסט המאיים שקרי, וההצהרה שמקדימה אותו חסרת משמעות מעשית. “הצהרת הזכויות שפורסמה, מלבד זאת שהיא תרגום ממש לא טוב של טקסט באנגלית, נעדרת תוקף משפטי מול פייסבוק”, מבהיר עו”ד יהונתן קלינגר, המתמחה בדיני רשת. “בשביל לשנות את היחסים המשפטיים המאוד חד-צדדים שלך מול פייסבוק תצטרך לבטל את תקנון השימוש של פייסבוק. אין מילות קסם שתוכל לומר כדי לבטל הסכם שחתמת עליו בלב מלא ובידיעה”.

ההסכם שקלינגר מדבר עליו הוא הסכם תנאי השימוש של פייסבוק, שמסדירים את התנהלות משתמשי הרשת החברתית והחברה המפעילה אותה. פייסבוק התייחסה לכך עם הולדת המם ב-2012, בתגובה להאפינגטון פוסט: “כפי שכתוב בתנאי השימוש שלנו, אנשים שמשתמשים בפייסבוק מחזיקים בבעלות על כל התוכן והמידע שהם מפרסמים בפייסבוק, והם יכולים לשלוט בדרך שבה הוא משותף דרך הגדרות הפרטיות והאפליקציה. לפי תנאי השימוש שלנו, אתם נותנים לפייסבוק רשות להשתמש, להפיץ ולחלוק דברים שאתם מפרסמים, בכפוך לתנאים ולהגדרות הפרטיות הרלוונטיות”.

חנן כהן דיווח בשבוע שעבר על המם באתר בדיקת השמועות שלו “לא רלוונטי”, ופירשן שם את המניעים לפרסום ההצהרה: “פרסום ההודעה על ידי משתמשי פייסבוק על האופן שבו הם רוצים שיתייחסו אליהם היא הבעה של אי נחת מהשליטה המוחלטת של פייסבוק בהתנהלות הדיגיטלית שלהם. האנשים שעוסקים בפיתוח תרבות האינטרנט מחפשים אלטרנטיבות לפייסבוק. כאשר האלטרנטיבות האלה יהיו מספיק נוחות עבור אנשים ‘רגילים’, פייסבוק ייאלצו לשנות את התנאים שלהם או שאנשים יעברו למקום אחר”.

---

התפרסם באתר וואלה, 21.9.2014

---

לדף הבא →

• מה זה פה?

  חדר 404 של עידו קינן הוא מגזין תרבות דיגיטלית, טכנולוגיה וחיי רשת. הקליקו למידע נוסף »

  Room 404 by Ido Kenan is an Israeli based digital culture magazine. Click for more info in English »

• רוצה להפיק פודקאסט?

  

• המלצת סייברסייבר (מ)

  

• פרנסה

  

• לאחרונה בחדר 404

  • ילד, רובוט התמיכה הרגשית שלך עומד למות 📻 האחראי על האינטרנט בגלצ
  • שליחות קטלנית בלי ביטוח רפואי 📻 האחראי על האינטרנט בגלצ
  • ה-NFL מזייפים את אלישה קיז, קנדה אייר מאשימים את הצ’טבוט ומפסידים 📻 האחראי על האינטרנט בגלצ
  • שתיקטוק 📻 האחראי על האינטרנט בגלצ
  • איך מדרגים בעברית? ⭐⭐⭐⭐⭐
  • שקר הביטקוין, קיץ חם במקרר של שופרסל, הצופן היווני ועוד עדכוני סייברסייבר
  • זום מסתבכת עם העובדים והמשתמשים 📻 האחראי על האינטרנט בגלצ
  • אילן מאסק ממשיך לחטוף יוזרים בטוויטר
  • ברכות לסופרת בינה מ. על כניסתה לרשימת רבי המכר של קינדל
  • פסיקה עלולה לתת למו”לים שליטה מוחלטת על השאלת ספרים דיגיטליים בספריות
  • תומכי נטלי דדון מבצעים לינצ’טרנט שנמוך דירוג בבית-קפה הלא-נכון
  • זעם נגד תרגום המכונה 📻 האחראי על האינטרנט בגלצ
  • מתמונות חתולים לפוליצר – חדשות באזזפיד נסגרים 📻 האחראי על האינטרנט בגלצ
  • תיק-תק לחסום את טיקטוק 📻 האחראי על האינטרנט בגלצ
  • 📺 זו תרבות ביטול על כלום 📻 האחראי על האינטרנט בגלצ

•