Skip to content

Commit d54bb61

Browse files
committed
Updated BDT text
1 parent e80d2cc commit d54bb61

File tree

2 files changed

+43
-8
lines changed
  • content
    • english/technical-tools
    • nederlands/technical-tools

2 files changed

+43
-8
lines changed

content/english/technical-tools/BDT.md

Lines changed: 1 addition & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -78,7 +78,7 @@ type: bias-detection-tool
7878

7979
#### What is the tool about?
8080

81-
The tool identifies potentially unfairly treated groups of similar users by an AI system. The tool returns clusters of users for which the system is underperforming compared to the rest of the data set. The tool makes use of <a href="https://en.wikipedia.org/wiki/Cluster_analysis" target="_blank">clustering</a> – an unsupervised statistal learning method. This means that no data are required on protected attributes of users, e.g., gender, nationality or ethnicity, to detect indirect discrimination, also referred to as higher-dimensional proxy or intersectional discrimination. The metric by which bias is defined can be manually chosen and is referred to as the `performance metric`.
81+
The tool identifies groups where an algorithm or AI system shows variations in performance. This type of monitoring is referred to as *anomaly detection*. To identify anomalous patterns, the tool uses <a href="https://en.wikipedia.org/wiki/Cluster_analysis" target="_blank">clustering</a>. Clustering is a form of _unsupervised learning_. This means detecting disparate treatment (bias) does not require any data on protected attributes of users – such as gender, nationality, or ethnicity. The metric used to measure bias can be manually selected and is referred to as the `bias metric`.
8282

8383
#### What data can be processed?
8484

@@ -116,8 +116,6 @@ Software of the used statistical methods is available in a seperate <a href="htt
116116
The tool returns a pdf report or `.json` file with identified clusters. It specifically focusses on the identified cluster with highest bias and describes this cluster by the features that characterizes it. These results serve as a starting point for a deliberative assessment by human experts to evaluate potential discrimination and unfairness in the AI system under review. The tool also visualizes the outcomes.
117117

118118
Try the tool below ⬇️
119-
<!-- This is quantitatively expressed by the (statistically significant) differences in feature means between the identified cluster and the rest of the data. -->
120-
121119

122120
{{< container_close >}}
123121

content/nederlands/technical-tools/BDT.md

Lines changed: 42 additions & 5 deletions
Original file line numberDiff line numberDiff line change
@@ -63,21 +63,58 @@ quick_navigation:
6363
url: '#info'
6464
- title: Tool
6565
url: '#web-app'
66-
- title: HBAC algoritme
66+
- title: Anomaliedetectie-algoritme
6767
url: '#HBAC'
6868
- title: FAQ
6969
url: '#FAQ'
7070
- title: Team
7171
url: '#team'
7272
---
7373

74-
{{< container_open title="Bias detectie tool – Wat is het?" icon="fas fa-search" id="info" >}}
74+
{{< container_open title="Bias detection tool" icon="fas fa-search" id="info" >}}
7575

76-
De bias detectie tool identificeert mogelijk ongelijk behandelde groepen door een AI-systeem. De tool werkt momenteel alleen voor AI-systemen die individuen in twee groepen opdelen, bijvoorbeeld de voorspelling of een financiële transactie wel/niet risicovol is. De tool vindt groepen gebruikers die door het algoritme systematisch een afwijkende voorspelling krijgen. Deze afwijking wordt berekend aan de hand van een bepaalde maat, bijvoorbeeld de hoeveelheid valspositieven (het algoritme voorspelt dat de financiële transactie verdacht is, maar is dat niet), valsnegatieven (het algoritme voorspelt dat de financiële transactie niet-verdacht is, maar is dat wel) of een combinatie van deze twee. De tool maakt gebruik van [clustering](https://nl.wikipedia.org/wiki/Clusteranalyse) (unsupervised machine learning), wat betekent dat geen toegang nodig is tot de bijzondere persoonsgegevens van individuen – zoals geslacht, nationaliteit of etniciteit – om afwijkingen met betrekking tot deze gronden te detecteren. Omdat de tool gebruik maakt van statistiek is het in staat om hoger-dimensionale vormen van ogenschijnlijk neutraal onderscheid – ook wel meervoudige proxy of intersectionele discriminatie genoemd – te detecteren.
76+
<br>
7777

78-
Via onderstaande web app kan de tool direct worden gebruikt. Mits de geüploade data voldoet aan de hieronder gespecificeerde structuur, voert de tool direct een clusteranalyse uit en retourneert het cluster met de grootste afwijking (volgens de gekozen metriek) naar de browser. De resultaten kunnen worden gedownload als pdf-bestand.
78+
#### Wat doet de tool?
7979

80-
Gebruik de tool hieronder ⬇️
80+
De tool detecteert groepen waarvoor een algoritme of AI-systeem afwijkend presteert. Naar deze vorm van monitoring wordt verwezen als *anomaliedetectie*. Voor het detecteren van afwijkende partonen maakt de tool gebruik van <a href="https://en.wikipedia.org/wiki/Cluster_analysis" target="_blank">clustering</a>. Clustering is een vorm van _unsupervised learning_. Dit betekent dat er geen gegevens nodig zijn over beschermde kenmerken van gebruikers – zoals geslacht, nationaliteit of etniciteit – om verdacht onderscheid (bias) te detecteren. De metriek aan de hand waarvan ondercheid wordt gemeten kan handmatig worden gekozen en wordt aangeduid als de `gelijkheidsmetriek`.
81+
82+
#### Welke data kan worden verwerkt?
83+
84+
Numerieke en categorische data kunnen worden geanalyseerd. Het type data wordt automatisch gedetecteerd door de tool. De kolom `prestatiemetriek` moet altijd numerieke waarden bevatten. De gebruiker moet in de app aangeven of een hogere of lagere waarde van de `prestatiemetriek` als beter wordt beschouwd.
85+
86+
De tool bevat een demo-dataset en een 'Probeer het uit'-knop. Meer informatie is te vinden in de app.
87+
88+
<div>
89+
<p><u>Example of numerical data set</u>:</p>
90+
<style type="text/css">.tg{border-collapse:collapse;border-spacing:0}.tg td{border-color:#000;border-style:solid;border-width:1px;font-size:14px;overflow:hidden;padding:10px 5px;word-break:normal}.tg th{border-color:#000;border-style:solid;border-width:1px;font-size:14px;font-weight:400;overflow:hidden;padding:10px 5px;word-break:normal}.tg .tg-uox0{border-color:#grey;font-weight:700;text-align:left;vertical-align:top}.tg .tg-uoz0{border-color:#grey;text-align:left;vertical-align:top} .tg-1wig{font-weight:700;text-align:left;vertical-align:top}.tg .tg-0lax{text-align:left;vertical-align:top}</style>
91+
<table class="tg">
92+
<thead>
93+
<tr>
94+
<th class="tg-uox0">feat_1</th><th class="tg-uox0">feat_2</th><th class="tg-uox0">...</th><th class="tg-uox0">feat_n</th><th class="tg-uox0">perf_metr</th>
95+
</tr>
96+
</thead>
97+
<tbody>
98+
<tr><td class="tg-uoz0">10</td><td class="tg-uoz0">1</td><td class="tg-uoz0">...</td><td class="tg-uoz0">0.1</td><td class="tg-uoz0">1</td></tr>
99+
<tr><td class="tg-uoz0">20</td><td class="tg-uoz0">2</td><td class="tg-uoz0">...</td><td class="tg-uoz0">0.2</td><td class="tg-uoz0">1</td></tr>
100+
<tr><td class="tg-uoz0">30</td><td class="tg-uoz0">3</td><td class="tg-uoz0">...</td><td class="tg-uoz0">0.3</td><td class="tg-uoz0">0</td></tr>
101+
</tbody>
102+
</table>
103+
</div>
104+
<br>
105+
106+
#### How is my data processed?
107+
108+
The tool is privacy preserving. It uses computing power of your own computer to analyze the attached data set. In this architectural setup, data is processed entirely on your device and it not uploaded to any third-party, such as cloud providers. This computing approach is called *local-first* and allows organisations to securely use tools locally. Instructions how the tool can be hosted locally, incl. source code, can be found <a href="https://github.com/NGO-Algorithm-Audit/local-first-web-tool" target="_blank">here</a>.
109+
110+
[![!pypi](https://img.shields.io/pypi/v/unsupervised-bias-detection?logo=pypi\&color=blue)](https://pypi.org/project/unsupervised-bias-detection/)
111+
Software of the used statistical methods is available in a seperate <a href="https://github.com/NGO-Algorithm-Audit/unsupervised-bias-detection" target="_blank">Github repository</a>, and is also available as <a href="https://pypi.org/project/unsupervised-bias-detection/" target="_blank">pip package</a> `unsupervised-bias-detection`.
112+
113+
#### What does the tool return?
114+
115+
The tool returns a pdf report or `.json` file with identified clusters. It specifically focusses on the identified cluster with highest bias and describes this cluster by the features that characterizes it. These results serve as a starting point for a deliberative assessment by human experts to evaluate potential discrimination and unfairness in the AI system under review. The tool also visualizes the outcomes.
116+
117+
Try the tool below ⬇️
81118

82119
{{< container_close >}}
83120

0 commit comments

Comments
 (0)