לפני כמה שבועות קרה משהו דרמטי - וסביר להניח שפספסתם את זה.
Cloudflare - אחת מחברות התשתית החשובות באינטרנט שלנו - שינתה שורה קטנה בהגדרות, בפועל? האינטרנט הפתוח קיבל חומת תשלום.
מהיום, כל אתר שמשתמש בשירותיה יחסום כברירת מחדל בוטים של בינה מלאכותית, כמו GPTbot של OpenAI או ClaudeBot של Anthropic.
בואו נסביר מה הקטע פה..
💡 רגע, מי זו Cloudflare?
Cloudflare היא סוג של ה"מאחורי הקלעים" של האינטרנט.
היא מספקת תשתיות שמאיצות, מגנות ומנהלות תעבורת רשת עבור מיליוני אתרים - כולל אתרי חדשות, ממשלות, פלטפורמות מסחר, בלוגים, ואפילו כנראה מה שאתם קוראים עכשיו. תחשבו עליה כמו האיש שביניכם לבין האתר החביב עליכם.
החברה מטפלת בלא פחות מ־20% (!) מתעבורת האינטרנט העולמית.
כשחברה כזו משנה דיפולט (הגדרות ברירת מחדל) - זה לא שינוי טכני. זה שינוי כללי המשחק.
🤖 אז מה זה בכלל "לחסום בוטים"?
בוטים כמו GPTbot נקראים סקרייפרים - תוכנות שסורקות את הרשת, קוראות עמודים, ואוספות מידע כדי להעשיר את המודלים של הבינה המלאכותית.
אופי הסריקה דומה לבוטים של גוגל כדי לזקק את האינפורמציה שנמצאת באתר הנסרק.
רק שיש הבדל קטן:
כשאתם מחפשים בגוגל – אתם מקבלים קישור (ותנועה לאתר).
כשאתם שואלים את ChatGPT - אתם מקבלים תשובה. בלי לינק. בלי קרדיט. בלי תנועה לאתר.
עד עכשיו, הגישה של הבוטים לאתרים הייתה כמעט חופשית לגמרי.
ועכשיו? הבוטים האלה יתקלו בקיר.
Cloudflare סוגרת בפניהם את הדלת – אלא אם בעלי האתרים בוחרים במפורש לפתוח אותה.
ובמקום שהתוכן יזרום בחינם – הוא יזרום לפי תנאים. או לפי מחירון? 🤔
⚖️ למה עכשיו?
כי ברקע מתנהלת תביעה תקדימית של ה־New York Times נגד OpenAI ו־Microsoft (כתבתי על זה באריכות כאן).
הטענה: גנבתם את התוכן שלנו. לא שילמתם. לא הפניתם. לא נתתם קרדיט.
אבל יש כאן אתגר משפטי רציני - בשלב האימון של המודלים (שבו הם קוראים בערך את כל האינטרנט), קשה להוכיח הפרת זכויות יוצרים, שכן ה-New York Times ואחרים מהווים שבריר האחוז מהתוכן שהמודל התאמן עליו.
לעומת זאת, בשלב ה-inference - נגיד כשאתם שואלים את ChatGPT שאלה ומקבלים תשובה - אם הוא בודק באתר של New York Times ומחזיר פסקה כמעט מילה במילה - זה כבר סיפור אחר.
💰 Cloudflare זיהתה כסף על הרצפה
במקום להילחם בבינה המלאכותית - היא פשוט ניצלה את היותה השומר של האינטרנט והציבה שער .
השינוי כביכול קטן, אך גאוני - מה שהיה "פתוח כברירת מחדל" – עכשיו סגור כברירת מחדל.
מי שירצה להפעיל מחדש את הגישה - יוכל לעשות את זה בלחיצת כפתור.
אבל איזה אינטרס יש ל-Ynet, למשל, לפתוח את הגישה לבוטים מבלי לקבל תשלום על כך..
או, יפה ששאלת, אדון Ynet - תוכל לקבל תשלום דרך מרקטפלייס חדש בשם Pay-Per-Crawl - הבוטים יצטרכו לשלם לאתר (ו-Cloudflare כמובן תגזור קופון) עבור כל סריקה.
שח-מט ♟️
🌐 אז לאן זה הולך?
האינטרנט כמו שהכרנו - מבוסס שיתוף ופתיחות - מתחיל להיסגר.
מודלים יצטרכו לשלם על כל גישה לתוכן, קצת כמו תמלוגים.
בעלי אתרים ירוויחו. וה"אינטרנט הפתוח" ייראה הרבה יותר כמו נטפליקס.