Catching crawling noise + ads

[TevenLeScao]

Some datasets (f.e. bigscience-catalogue-lm-data/lm_es_pseudocrawl-filtered_396_www_eldiario_es) happen to have a mix of:

• crawling noise
• ad javascript
  that results in code-like snippets that can be caught by looking for { and }s. I have seen some amount of typo { that are unrelated for some reason, I don't think we want to remove them but I don't think we really care either. I'd advocate either removing any line in the pseudocrawled newspaper datasets that contain }, or removing all of the {...} groups.

[TevenLeScao]

One example:

La inclusión en 2021 de la covid-19 como un tercer gigante en lo relativo a causas de muerte ha reducido la esperanza de vida un año hasta los 77,8 años, una de las peores del mundo desarrollado para un país donde millones no tienen acceso a coberturas médicas que permitan tratamientos asequibles.
Además, ha afectado con fuerza a la población hispana, que es más joven. Según una investigación de los Centros de Control de Enfermedades (CDC), si la mortalidad por la covid-19 se ajusta a la edad, son el grupo más afectado por la enfermedad, con ocho puntos de diferencia sobre la mayoría anglosajona.
window.FlourishConfig={app_url:"https://app.flourish.studio",public_url:"https://public.flourish.studio/",embeds_url:"https://flo.uri.sh/"},function(){"use strict";var t,r;function e(){if(null==t){var r=function(){var t=window.location;"about:srcdoc"==t.href&&(t=window.parent.location);var r={};return function(t,e,i){for(;i=e.exec(t);)r[decodeURIComponent(i[1])]=decodeURIComponent(i[2])}(t.search.substring(1).replace(/+/g,"%20"),/([^&=]+)=?([^&]*

[lvwerra]

Here two proposals:

1. Regex

We could use the following regex to kill everything between {...}:

test = """\
very good text
{bad, bad code}"""

re.sub(r'\{[^)]*\}', '', test)

Output:
'very good text\n'

However, even in you example this does not work as there is not a single curly bracket covering the whole code and the output would be like this:

La inclusión en 2021 de la covid-19 como un tercer gigante en lo relativo a causas de muerte ha reducido la esperanza de vida un año hasta los 77,8 años, una de las peores del mundo desarrollado para un país donde millones no tienen acceso a coberturas médicas que permitan tratamientos asequibles.
Además, ha afectado con fuerza a la población hispana, que es más joven. Según una investigación de los Centros de Control de Enfermedades (CDC), si la mortalidad por la covid-19 se ajusta a la edad, son el grupo más afectado por la enfermedad, con ocho puntos de diferencia sobre la mayoría anglosajona.
window.FlourishConfig=,function(){"use strict";var t,r;function e(){if(null==t){var r=function(){var t=window.location;"about:srcdoc"==t.href&&(t=window.parent.location);var r=;return function(t,e,i){for(;i=e.exec(t);)r[decodeURIComponent(i[1])]=decodeURIComponent(i[2])}(t.search.substring(1).replace(/+/g,"%20"),/([^&=]+)=?([^&]*

2. Check for { and } in each line

This is also fairly straight forward and avoids the typo where accidentally a single { was added:

fixed_lines = []
for line in text.split("\n"):
    if "{" in line and "}" in line:
        continue
    else:
        fixed_lines.append(line)
print("\n".join(fixed_lines))

This yields:

La inclusión en 2021 de la covid-19 como un tercer gigante en lo relativo a causas de muerte ha reducido la esperanza de vida un año hasta los 77,8 años, una de las peores del mundo desarrollado para un país donde millones no tienen acceso a coberturas médicas que permitan tratamientos asequibles.
Además, ha afectado con fuerza a la población hispana, que es más joven. Según una investigación de los Centros de Control de Enfermedades (CDC), si la mortalidad por la covid-19 se ajusta a la edad, son el grupo más afectado por la enfermedad, con ocho puntos de diferencia sobre la mayoría anglosajona.

I think 2 is more robust to a few missing brackets so we should use that one. What do you think?

[thomasw21]

There aren't any occurence of { or } in natural language? In the worst case scenario we can keep it as it is code which we already train on. Btw @lvwerra your script wouldn't catch code that have a few \n in them right? ie

window.FlourishConfig=,
function(){
   "use strict";
    var t,r;
    function e(){
         if(null==t){
              var r=function(){
                      var t=window.location;
                       "about:srcdoc"==t.href&&(t=window.parent.location);
                        var r=;
                       return function(t,e,i){for(;i=e.exec(t);)r[decodeURIComponent(i[1])]=decodeURIComponent(i[2])}(t.search.substring(1).replace(/+/g,"%20"),/([^&=]+)=?([^&]*

Maybe a stupid suggestion, can we run the stop words filter from @HugoLaurencon here, but line by line instead? I'd imagine that filter to be a pretty good filter for code.

[lvwerra]

I don't know about the occurrence of {, } in natural language and maybe just for the crawl it is ok to exclude? As there are plenty of other datasets that could still have them.

Yes you are right about the newlines. I have a look how often that occurs or if they are primarily on a single line.

[lvwerra]

I did a quick check on the above mentioned dataset:

• There are 352350 documents in total.
• 779 documents have a { in them (0.0022%)
• The majority of those is a line {{#user.isPartner}} {{/user.isPartner}}
• 94 are not the case above and have some other code. (0.0003%)

I think it is therefore pretty save to apply the above filter but is it even necessary at that scale? I can also check a few other datasets if you feel that the stats are special.

[thomasw21]

@TevenLeScao should be to decide on that one since he signaled the issue.