-
Notifications
You must be signed in to change notification settings - Fork 12
01. Introduction المقدمة
JusticeAI is an open source platform and suite of tools that strategically apply machine learning, computer vision, and metadata analysis to sort, identify, and analyze digital media. The software processes digital media libraries, creating an index of unique “fingerprints” (a signature of 300-500 characters) that represent the content of each piece of media but that cannot be reverse engineered to reproduce the original file. For video, the software captures the fingerprint of a sampling of frames in the video, detects the number of scenes in a video and fingerprints each, and finally, condenses the frame fingerprints into a single video-level fingerprint. These fingerprints can then be used to perform a number of functions, including video deduplication, scene matching, and basic object recognition. The platform provides user-friendly visualizations so users can interact with and understand the results of the media processing.
عبارة عن منصة مفتوحة المصدر ومجموعة من الأدوات التي تطبق بشكل استراتيجي التعلم الآلي ورؤية الكمبيوتر وتحليل البيانات الوصفية لفرز وتحديد وتحليل الوسائط الرقمية. ويعالج البرنامج مكتبات الوسائط الرقمية، بحيث يُنشئ فهرساً "للبصمات" الفريدة (بصمة من 300-500 رمز) التي تمثل محتوى كل واسطة من الوسائط ولكن لا يمكن هندستها عكسياً لإعادة إنتاج الملف الأصلي. وبالنسبة للفيديو، يلتقط البرنامج البصمة لعينة من الإطارات في الفيديو، ويكتشف عدد المشاهد في الفيديو وينشئ بصمات لكل منها، وأخيراً، يختزل بصمات الإطارات في بصمة واحدة على مستوى الفيديو. ويمكن بعد ذلك استخدام هذه البصمات لأداء عدد من الوظائف، بما في ذلك حذف مقاطع الفيديو المكررة، ومطابقة المشهد، والتعرف الأساسي على الأشياء. وتوفر هذه المنصة مرئيات سهلة الاستخدام حتى يتمكن المستخدمون من التفاعل مع نتائج عملية معالجة الوسائط وفهمها
The idea for JusticeAI was borne out of conversations Benetech had with Syrian civil society organizations and the UN’s “International, Impartial, and Independent Mechanism (IIIM) to assist in the investigation and prosecution of persons responsible for the most serious crimes under International Law committed in the Syrian Arab Republic since March 2011.”
Since 2011, Syrian journalists, media activists, civilian bystanders, and armed groups have been collecting footage of the conflict and posting the footage to YouTube and other social media platforms. Human rights organizations began scraping, archiving, and analyzing the online videos to advocate for an end to the conflict and to promote truth and justice for their country. Due to these digital innovations as well as the protracted and widespread nature of the violence, Syria quickly became the most documented conflict in history. When the UN General Assembly established the IIIM in December 2016, the amount of information that the newly formed entity was being mandated to collect, store, and analyze was staggering.
In an effort to support the efforts of human rights and war crimes investigators, Benetech set out to address challenges related to video and to create a platform where 1) civil society groups could gain insights into their data collections and securely coordinate by better understanding which parts of their collections overlap and 2) the IIIM could work more efficiently by gaining a birds-eye-view into the data landscape, enabling more targeted and informed ingestion of structured data.
جاءت فكرة من الحوارات التي أجرتها (بينيتيك) مع منظمات المجتمع المدني السورية و"الآلية الدولية المحايدة والمستقلة التابعة للأمم المتحدة للمساعدة في التحقيق والملاحقة القضائية للأشخاص المسؤولين عن أخطر الجرائم بموجب القانون الدولي، المرتكبة في الجمهورية العربية السوري
فمنذ عام 2011، يقوم صحفيون سوريون ونشطاء إعلاميون ومارّة مدنيون وجماعات مسلحة بجمع لقطات من النزاع ونشرها على موقع يوتيوب وغيره من منصات التواصل الاجتماعي. وبدأت منظمات حقوق الإنسان بجمع مقاطع الفيديو عبر الإنترنت وأرشفتها وتحليلها لمناصرة إنهاء النزاع وتعزيز الحقيقة والعدالة لبلدهم. وبسبب هذه الابتكارات الرقمية وكذلك طبيعة العنف طويل الأمد وواسع النطاق، سرعان ما أصبحت سوريا النزاع الأكثر توثيقاً في التاريخ. وعندما أنشَأَت الجمعية العامة للأمم المتحدة الآلية الـدولية المحايدة والمستقلة في كانون الأول/ديسمبر 2016، كانت كمية المعلومات التي تم تكليف هذه الهيئة المشكلة حديثاً بجمعها وتخزينها وتحليلها هائلة
وفي محاولة لدعم جهود محققي جرائم حقوق الإنسان وجرائم الحرب، شرعت (بينيتيك) في معالجة التحديات المتعلقة بمقاطع الفيديو وإنشاء منصة حيث 1) يمكن لمنظمات المجتمع المدني اكتساب معرفة حول مجموعات البيانات الخاصة بها والتنسيق بشكل آمن من خلال الحصول على فهم أفضل للأجزاء المتداخلة في مجموعاتها 2) يمكن أن تعمل الآلية الدولية المحايدة والمستقلة بكفاءة أكثر من خلال اكتساب نظرة عامة على مشهد البيانات، مما يتيح استيعاب بيانات مهيكلة بشكل أكثر استهدافاً واستنارة
The benefits of the JusticeAI platform and tools are numerous. They include:
- Automatic clustering of media according to duplicate, near duplicate, and related content.
- Ability to utilize processing results to sort, identify, and triage media for review.
- Ability to compare fingerprints across data siloes (within an organization or network of organizations) to determine which media is in common, thereby facilitating coordination and avoiding duplicative efforts.
- Ability to access the web application through a secure account in the cloud or by installing on your local server.
- Object recognition & reverse frame search "on the fly" without needing to train a new algorithm or reprocess videos, to catalogue media based on basic objects like helicopter, smoke plume, and tank.
- Detection of scenes in a video and creation of a fingerprint for each to increase clustering accuracy through scene-by-scene matching.
- Automatic extraction of media metadata, such as video length, EXIF data if available, a standard sha-256 hash, quality, and the existence of audio.
- Ability to minimize your staff’s exposure to graphic content by limiting the amount of media they need to review.
: توجد لمنصة وأدواتها فوائد متعددة. وتشمل
- التجميع التلقائي للوسائط وفقاً للمحتوى المكرر، شبه المكرر، والمحتوى ذي الصلة
- القدرة على الاستفادة من نتائج المعالجة لفرز، وتحديد، وتصنيف الوسائط للمراجعة
- القدرة على مقارنة البصمات عبر مستودعات البيانات (داخل منظمة أو شبكة من المنظمات) لتحديد الوسائط المشتركة، وبالتالي تسهيل التنسيق وتجنب ازدواجية الجهود
- القدرة على الوصول إلى تطبيق الويب من خلال حساب آمن في السحابة الإلكترونية أو عن طريق التثبيت على الخادم المحلي الخاص بكم
- التعرف على الأشياء والبحث عن إطار معكوس "على الطاير" دون الحاجة إلى تدريب خوارزمية جديدة أو إعادة معالجة مقاطع الفيديو، لفهرسة الوسائط استناداً إلى أشياء أساسية مثل طائرة مروحية وعمود دخان ودبابة
- اكتشاف المشاهد في مقطع فيديو وإنشاء بصمة لكل منها لزيادة دقّة التجميع من خلال مطابقتها مشهد تلو الآخر
- الاستخراج التلقائي للبيانات الوصفية للوسائط، مثل طول الفيديو وبيانات صيغة ملف صوري متبادل إن وجدت، وهاش خوارزمية (دالة التجزئة) القياسية والجودة ووجود الصوت
- القدرة على تقليل تعرّض موظفيكم لمحتوى بشع أو صادم عن طريق الحدّ من كمية الوسائط التي يحتاجون لمراجعتها
Although the JusticeAI platform provides a wide range of functionalities, it does not address all aspects of video as evidence. Among the functionalities we are frequently asked about, JusticeAI does not offer:
- Automated authentication. These tools cannot authenticate media automatically or verify whether a video is a deepfake. By clustering data, an investigator is empowered to more easily triangulate data, assisting with establishing provenance, geolocation, etc., but this tool does not automate these complex methods.
- Establishment of chain of custody. Chain of custody of digital media is multifaceted and is as much about human processes as it is about digital security and hashing. While there is a functionality in the tool to generate a cryptographic hash for each media file, this is not sufficient for chain of custody purposes.
- Facial Recognition. JusticeAI does not offer facial recognition in its suite of machine learning tools. A combination of ethical and practical considerations factored into our decision not to offer facial recognition. The “template creation/object recognition” feature enables users to identify whether a video frame contains a human, but cannot detect anything more specific than that.
- OCR and Transcription: JusticeAI currently does not have the ability to automatically transcribe text or speech contained in a video, but this may be an area Benetech explores in future iterations of the tools.
: على الرغم من أن منصة توفر مجموعة واسعة من الوظائف، إلا أنها لا تتناول جميع جوانب الفيديو كأدلة. ومن بين الوظائف التي نُسأل عنها كثيراً، ولا تقدمها منصة
- التثبّت الآلي. لا يمكن لهذه الأدوات التثبّت من صحة الوسائط تلقائياً أو التحقّق مما إذا كان الفيديو قد تعرّض لتزييف عميق. فمن خلال تجميع البيانات، يتم تمكين المحقق من تثليث البيانات بسهولة أكبر، والمساعدة في تحديد المصدر، وتحديد الموقع الجغرافي، وما إلى ذلك، ولكن هذه الأداة لا تقوم بأتمتة هذه الأساليب المعقدة
- إنشاء سلسلة العهدة. إنّ سلسلة العهدة الخاصة بالوسائط الرقمية متعددة الأوجه وتتعلق بالعمليات البشرية بقدر ما تتعلق بالأمن الرقمي والتجزئة. وعلى الرغم من وجود وظيفة في هذه الأداة لإنشاء تجزئة مشفّرة لكل ملف وسائط، إلا أن هذا لا يكفي لأغراض سلسلة العهدة
- التعرّف على الوجوه. لا تقدم منصة خاصية التعرف على الوجه في مجموعة أدوات التعلّم الآلي الخاصة بها. وقد اعتمدنا في قرارنا بعدم توفير خاصية التعرف على الوجه على مزيج من الاعتبارات الأخلاقية والعملية. وتتيح ميزة "إنشاء قالب/التعرف على الأشياء" للمستخدمين تحديد ما إذا كان إطار الفيديو يحتوي على إنسان، ولكن لا يمكنها اكتشاف أي شيء أكثر تحديداً من ذلك.
- التعرّف الضوئي على الحروف والتدوين: ليس لدى منصة القدرة حالياً على تدوين النص أو الكلام الموجود في مقطع فيديو تلقائياً، ولكن قد يكون هذا مجالاً تستكشفه (بينيتيك) في الإصدارات المقبلة لهذه الأدوات
The platform was built to support entities that hold media of human rights abuses and potential war crimes, but is useful for anyone working with a large digital media collection, particularly open source video with missing and/or inaccurate metadata. It is also useful for organizations and networks of organizations that are seeking to make secure connections between and among data silos. Although the JusticeAI open source software is available to anyone, Benetech focuses its support on partnerships with human rights defenders, international war crimes prosecutors, truth commissions and memorialization projects, reparations programs, investigative journalists, and other civil society actors working to shed light on state repression and promote justice and redress for victims of atrocities.
تم تصميم هذه المنصة لدعم الجهات التي تحتفظ بالوسائط الخاصة بانتهاكات حقوق الإنسان وجرائم الحرب المحتملة، ولكنها مفيدة لأي شخص يعمل مع مجموعة كبيرة من الوسائط الرقمية، وخاصة مقاطع الفيديو مفتوحة المصدر التي ليس لديها بيانات وصفية و/أو لديها بيانات وصفية غير دقيقة. كما أنه مفيد للمنظمات وشبكات المنظمات التي تسعى إلى إجراء عمليات ربط آمنة بين مستودعات البيانات. وعلى الرغم من أن برنامج مفتوح المصدر متاح لأي شخص، تركز (بينيتيك) دعمها على الشراكات مع المدافعين عن حقوق الإنسان والمدعين العامين لجرائم الحرب الدولية ولجان الحقيقة ومشاريع تخليد الذكرى وبرامج جبر الضرر والصحفيين الاستقصائيين والجهات الفاعلة الأخرى في المجتمع المدني التي تعمل على تسليط الضوء على القمع الذي تمارسه الدولة وتعزيز العدالة والإنصاف لضحايا الأعمال الوحشية
JusticeAI has been developed and is being distributed under a free/open source license.
تم تطوير منصّة ويتم توزيعها بموجب ترخيص مجاني/مفتوح المصدر.
Benetech would like to acknowledge that JusticeAI would not be possible without the videos filmed by people in Syria who risked and sometimes gave their lives to document what was happening around them as well as the tireless work of civil society organizations like the Syrian Archive and the Syria Justice and Accountability Centre. With the videos and feedback from our Syrian partners, we were able to train the algorithms that underpin the JusticeAI platform and improve the platform’s functionalities. Our hope is that these tools will in turn play a role in supporting meaningful advocacy and justice efforts for Syria and other parts of the world where repression and conflict undermine human dignity, truth, and a just peace.
تود (بينيتيك) أن تنوّه بأن إنشاء منصة لم يكن ممكنناً دون مقاطع الفيديو التي صوّرها أشخاص في سوريا خاطروا وأحياناً ضحّوا بحياتهم لتوثيق ما كان يحدث من حولهم بالإضافة إلى العمل الدؤوب لمنظمات المجتمع المدني مثل الأرشيف السوري والمركز السوري للعدالة والمساءلة. فمن خلال مقاطع الفيديو وردود الأفعال التي يقدّمها شركاؤنا السوريون، تمكنّا من تدريب الخوارزميات التي تدعم منصة وتحسّن وظائفها. ونأمل أن تلعب هذه الأدوات بدورها دوراً في دعم جهود المناصرة والعدالة الهادفة لسوريا وأجزاء أخرى من العالم حيث يُقَوّض القمع والنزاع الكرامة الإنسانية والحقيقة والسلام العادل